Adjudication और असहमति का समाधान
एनोटेटर आपस में असहमत हों तो क्या करें, adjudication वर्कफ़्लो, बहुमत वोट से एकत्रीकरण, और MACE जैसे सांख्यिकीय मॉडल जो एनोटेटरों को उनकी दक्षता के हिसाब से भार देते हैं।
असहमति सामान्य बात है, और वह जानकारी देती है। उसे सुलझाने का मतलब है कई एनोटेटरों के लेबल को एक भरोसेमंद लेबल में बदलना, चाहे विशेषज्ञ समीक्षा से, एकत्रीकरण से, या ऐसे सांख्यिकीय मॉडल से जो हर एनोटेटर को उसकी विश्वसनीयता के हिसाब से भार दे। बहुत जल्दी एक ही उत्तर थोप देने पर यह संकेत हाथ से निकल जाता है कि कौन-से आइटम सचमुच कठिन हैं।
सुलझाने के तीन तरीके
-
बहुमत वोट। सरल और पारदर्शी: सबसे आम लेबल ले लीजिए। जब एनोटेटर लगभग बराबर हों और कार्य साफ़ हो, तब यह अच्छा चलता है, पर इसमें लापरवाह एनोटेटर और सावधान एनोटेटर एक ही बराबर गिने जाते हैं।
-
विशेषज्ञ adjudication। जिन आइटम पर असहमति है, उन्हें किसी विशेषज्ञ के पास भेजें जो आख़िरी फ़ैसला करे। सबसे सटीक, सबसे महँगा। इसे उन आइटम पर लगाएँ जो मायने रखते हैं और जहाँ एकत्रीकरण भरोसेमंद नहीं है।
-
सांख्यिकीय एकत्रीकरण। MACE (Multi-Annotator Competence Estimation) जैसे मॉडल हर एनोटेटर की विश्वसनीयता का अनुमान उसकी सहमति के पैटर्न से लगाते हैं और एक भारित “सर्वोत्तम अनुमान” लेबल के साथ प्रति एनोटेटर एक दक्षता स्कोर देते हैं। इससे spammers का भार अपने आप घट जाता है, बिना हर आइटम को हाथ से जाँचे। इसके पीछे का विचार क्राउडसोर्स लेबल के लिए latent-variable मॉडल में देखें।
एक व्यावहारिक वर्कफ़्लो
- ओवरलैपिंग एनोटेशन इकट्ठा करें (हर आइटम पर कई लोग)।
- बहुमत वोट या MACE से एकत्रीकरण करके ड्राफ़्ट लेबल निकालें और कम सहमति वाले आइटम फ़्लैग करें।
- सिर्फ़ फ़्लैग किए गए आइटम विशेषज्ञ adjudication को भेजें।
- जो सीखने को मिले, उसे वापस दिशानिर्देशों में डालें।
Potato में ऐसा adjudication वर्कफ़्लो है जिसमें समीक्षक सभी एनोटेटरों के लेबल साथ-साथ देखता है और तय किया गया उत्तर दर्ज करता है।
जब असहमति ही डेटा हो
व्यक्तिपरक कार्यों में, जैसे हास्य, आपत्तिजनकता, भावना, टिकी हुई असहमति लोगों के बीच के असली फ़र्क़ को दिखा सकती है, न कि त्रुटि को। ऐसे मामलों में एक ही उत्तर पर सिमटने के बजाय लेबल का पूरा वितरण रखने पर विचार करें (इसे कभी-कभी soft labels या perspectivist एनोटेशन कहा जाता है)। Potato सहमति थोपने के बजाय वितरण दर्ज करने का समर्थन करता है।