Skip to content

आपको कितने एनोटेटर चाहिए?

किसी एनोटेशन प्रोजेक्ट के लिए एनोटेटर की संख्या और overlap कैसे तय करें, सहमति, लागत और सांख्यिकीय भरोसे के बीच संतुलन बिठाते हुए, Potato की overlap सेटिंग्स के साथ।

कोई एक सही संख्या नहीं होती, पर फ़ैसला तीन चीज़ों पर टिका है: हर आइटम को कितने लोग लेबल करते हैं (overlap), कार्य कितना साफ़ है, और आपका बजट कितना है। साफ़ कार्यों में overlap कम चाहिए, व्यक्तिपरक कार्यों में ज़्यादा। यह मार्गदर्शिका मोटे नियम और उन्हें लागू करने की सेटिंग्स देती है।

Overlap बनाम कवरेज

हर एनोटेशन बजट दो लक्ष्यों में बँटता है:

  • कवरेज: ज़्यादा अलग-अलग आइटम लेबल करना (हर एक बार)।
  • Overlap: एक ही आइटम को कई बार लेबल करना, जिससे सहमति का अनुमान और नतीजे मिलाने की गुंजाइश मिलती है।

दोनों एक साथ अधिकतम नहीं हो सकते। एक आम तरीका यह है: सहमति मापने के लिए एक उपसमूह पर पूरा overlap रखें, और कार्य पर भरोसा बैठ जाने के बाद बाक़ी को एक-एक बार एनोटेट कराएँ।

मोटे नियम

  • वस्तुनिष्ठ कार्य (साफ़ श्रेणियाँ, ऊँची सहमति): ज़्यादातर आइटम के लिए 1 एनोटेटर, और गुणवत्ता पर नज़र रखने के लिए 5–10% नमूने पर 2–3× overlap।
  • कुछ हद तक व्यक्तिपरक कार्य: प्रति आइटम 3 एनोटेटर, जिनका फ़ैसला बहुमत या MACE से निकाला जाए।
  • बहुत व्यक्तिपरक कार्य (आपत्तिजनकता, भावना, पसंद): प्रति आइटम 5+ एनोटेटर, और लेबल वितरण को एक लेबल में समेटने के बजाय पूरा रखने पर विचार करें।

एनोटेटर बढ़ाने से किसी आइटम के समेकित लेबल का प्रसरण घटता है, पर हर अतिरिक्त एनोटेटर से फ़ायदा कम होता जाता है, 1 से 3 पर जाने में जितना मिलता है, 7 से 9 पर जाने में उससे कहीं कम।

Potato में overlap तय करना

Potato का कार्य आवंटन तय करता है कि हर आइटम कितने एनोटेटर को दिखेगा और आइटम कैसे बाँटे जाएँगे।

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

गुणवत्ता जाँच न भूलें

अगर कुछ एनोटेटर भरोसेमंद न हों तो सिर्फ़ गिनती बढ़ाने से बात नहीं बनती। Overlap के साथ gold standard और attention check भी रखें, ताकि नतीजे मिलाने से पहले कमज़ोर काम को कम वज़न दिया जा सके या हटाया जा सके।

आगे पढ़ें