इंटर-एनोटेटर सहमति की व्याख्या
इंटर-एनोटेटर सहमति की व्यावहारिक मार्गदर्शिका, percent agreement, Cohen का और Fleiss का kappa, और Krippendorff का alpha, किसे कब इस्तेमाल करें, और Potato इन्हें कैसे रिपोर्ट करता है।
इंटर-एनोटेटर सहमति (IAA) यह नापती है कि स्वतंत्र एनोटेटर कितनी बार एक ही लेबल देते हैं। यही वह मानक सबूत है जिससे पता चलता है कि एनोटेशन कार्य ठीक से परिभाषित है और उससे मिले लेबल भरोसेमंद हैं। कम सहमति का मतलब आम तौर पर यह होता है कि दिशानिर्देश साफ़ नहीं हैं, न कि यह कि एनोटेटर लापरवाह हैं।
इस विषय का सामान्य नाम inter-rater reliability है। Potato एडमिन डैशबोर्ड में सहमति लगातार निकालता रहता है, देखें गुणवत्ता नियंत्रण।
सिर्फ़ percent agreement से काम क्यों नहीं चलता
सबसे सरल माप percent agreement है, यानी वे आइटम जिन पर एनोटेटरों ने एक जैसा लेबल लगाया। दिक्कत यह है कि कुछ सहमति संयोग से बन जाती है। अगर दो एनोटेटर 90% बार “positive” ही चुनते हैं, तो बेतरतीब लेबल लगाने पर भी वे ज़्यादातर बार सहमत दिखेंगे। Chance-corrected माप इसी को ठीक करते हैं।
Chance-corrected गुणांक का रूप ऐसा होता है:
P_observed − P_expected
κ = ─────────────────────────
1 − P_expected
जहाँ P_observed असल सहमति है और P_expected वह सहमति है जिसकी संयोग से उम्मीद की जाती है। मान 1 पूर्ण सहमति है, 0 संयोग के बराबर।
जो तीन सचमुच काम आएँगे
- Cohen का kappa: दो एनोटेटर, श्रेणीबद्ध लेबल। किसी जोड़े के लिए पुराना और जाना-पहचाना विकल्प।
- Fleiss का kappa: दो से ज़्यादा एनोटेटर, श्रेणीबद्ध लेबल, जब अलग-अलग आइटम अलग-अलग रेटर देख सकते हैं।
- Krippendorff का alpha: सबसे व्यापक विकल्प। यह किसी भी संख्या में एनोटेटरों के साथ चलता है, अनुपस्थित डेटा संभाल लेता है, और nominal, ordinal, interval तथा ratio डेटा का समर्थन करता है। Potato डिफ़ॉल्ट रूप से यही रिपोर्ट करता है।
सरल श्रेणीबद्ध जोड़ों के लिए kappa इस्तेमाल करें, और जब एनोटेटर बहुत हों, overlap अधूरा हो, या लेबल क्रमित/सतत हों (जहाँ “एक कदम की चूक” को “चार कदम की चूक” से कम गिना जाना चाहिए), तब Krippendorff का alpha उठाएँ।
संख्या का मतलब निकालना
कोई सार्वभौमिक कट-ऑफ़ नहीं है, पर alpha/kappa के लिए एक आम मोटा पैमाना यह है:
- ≥ 0.80: भरोसा करने लायक।
- 0.67–0.80: अस्थायी नतीजों के लिए काम चल जाएगा, असहमतियों की छानबीन करें।
- < 0.67: लेबल पर भरोसा करने से पहले दिशानिर्देश दोबारा देखें।
इन्हें पास/फ़ेल की कसौटी नहीं, छानबीन शुरू करने का इशारा मानिए। हमेशा देखिए कि असहमति किन आइटम और किन लेबल से आ रही है।
Potato में इसे मापना
एनोटेटरों को एक साझा उपसमूह पर overlap कराइए, फिर सहमति रिपोर्टिंग चालू कीजिए:
agreement_metrics:
enabled: true
# Krippendorff's alpha is reported in the admin dashboard.Span और संरचित कार्यों के लिए सहमति उसी स्तर पर मापिए जो आपके लिए मायने रखता है (exact span मैच बनाम overlap), क्योंकि दस्तावेज़-स्तर के मेट्रिक सीमा-असहमति को छिपा देते हैं।
जब सहमति कम हो
- असहमति वाले आइटम पढ़िए, दिशानिर्देश अस्पष्ट है या आइटम सचमुच कठिन है?
- परिभाषाएँ कसिए और कठिन मामलों को उदाहरण के तौर पर जोड़िए। देखें एनोटेशन दिशानिर्देश लिखना।
- दोबारा pilot कीजिए। अगर सचमुच व्यक्तिपरक कार्यों पर सहमति कम ही बनी रहे, तो एक जवाब थोपने के बजाय असहमति को ही दर्ज करने पर विचार कीजिए।