बिना गोल्ड लेबल के गुणवत्ता नियंत्रण

एनोटेशन की गुणवत्ता जाँचने का मानक तरीक़ा यह है कि ऐसे आइटम बो दिए जाएँ जिनका जवाब आपको पहले से पता है, और फिर देखा जाए कि कौन ग़लती करता है। यह चलता है, पर इसे बनाना महँगा है, यह सिर्फ़ उन्हीं मामलों की जाँच करता है जिन्हें आपने बोने की सोची थी, और तजुर्बेकार एनोटेटर बोए हुए आइटम पहचानना सीख जाते हैं। दो तकनीकें बिना एक भी गोल्ड आइटम के गुणवत्ता का संकेत दे देती हैं: पीयर-प्रेडिक्शन स्कोरिंग, जो एनोटेटरों से पूछती है कि बाक़ी लोग क्या कहेंगे, और काउंटरफैक्चुअल प्रोबिंग, जो पूछती है कि क्या लेबल एक छोटे संपादन के बाद भी टिकता है। Potato दोनों देता है, Truth Serum और बाउंड्री लैब के रूप में।

गोल्ड स्टैंडर्ड और ध्यान जाँच “मुझे कैसे पता चले कि मेरे एनोटेटर ध्यान दे रहे हैं” का डिफ़ॉल्ट जवाब हैं, और वे अपनी जगह कमाते भी हैं। पर उनकी तीन असली क़ीमतें हैं।

आपको उन्हें बनाना पड़ता है, यानी विशेषज्ञ का समय ऐसे आइटम लेबल करने में जाता है जिन्हें आप पहले से समझते हैं। वे सिर्फ़ उन्हीं विफलताओं को ढकते हैं जिनका आपने पहले से अंदाज़ा लगाया था। और किसी भी लंबे चलने वाले टास्क में एनोटेटर देर-सबेर उन्हें पहचान लेते हैं। जो गोल्ड आइटम दोबारा इस्तेमाल हो जाता है, वह कुछ भी मापना बंद कर देता है।

नीचे दी गई दोनों तकनीकें इन तीनों से बच निकलती हैं, और इनमें से किसी को भी LLM की ज़रूरत नहीं।

पीयर प्रेडिक्शन: पूछिए कि बाक़ी लोग क्या कहेंगे

एनोटेटर के लेबल चुन लेने के बाद Truth Serum एक और चीज़ पूछता है:

आपने Sarcastic चुना। बाक़ी एनोटेटरों में से कितने प्रतिशत आपके जैसा ही लेबल चुनेंगे?

एक स्लाइडर। एक क्लिक। वह एक अतिरिक्त संख्या हैरतअंगेज़ ढंग से बहुत काम कर जाती है।

Truth Serum का प्रेडिक्शन कार्ड

अनुमान जानकारी क्यों देता है

यह तरीक़ा surprisingly popular सिद्धांत है (Prelec, Seung & McCoy 2017, Nature; जो Prelec के Bayesian truth serum, 2004 पर आधारित है)। दावा यह है कि सच का सबसे अच्छा अनुमान सबसे लोकप्रिय जवाब नहीं होता, बल्कि वह जवाब होता है जो लोगों के अनुमान से ज़्यादा लोकप्रिय निकलता है।

तर्क कुछ यूँ चलता है। जिस व्यक्ति की सही राय अल्पमत में होती है, वह आम तौर पर जानता है कि वह अल्पमत में है। उसे दिखता है कि ज़्यादातर लोग अलग जवाब क्यों देंगे, और जब आप उससे अनुमान लगाने को कहते हैं तो वह यही बताता है। दूसरी तरफ़ जो व्यक्ति किसी आम ग़लतफ़हमी के साथ बैठा है, वह मान लेता है कि सब उससे सहमत हैं। इसलिए जब कोई जवाब अपनी ही अनुमानित लोकप्रियता से आगे निकल जाता है, तो वह फ़ासला इस बात का सबूत है कि उसे चुनने वाले लोग कुछ ऐसा जानते हैं जो भीड़ नहीं जानती।

बहुमत ठीक वहीं सबसे बुरी तरह नाकाम होता है जहाँ एक आश्वस्त भीड़ ग़लत होती है और जानकार अल्पमत सही। surprisingly-popular स्कोरिंग इसी हालत के लिए बनी है।

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

जहाँ तक हमें पता है, पीयर-प्रेडिक्शन स्कोरिंग देने वाला Potato पहला एनोटेशन टूल है।

इससे आपको क्या मिलता है

तीन चीज़ें, और इनमें से किसी के लिए कोई आंसर की नहीं चाहिए थी।

एक “जहाँ भीड़ के ग़लत होने की संभावना है” क़तार। हर वह आइटम जिसका surprisingly-popular लेबल उसके बहुमत लेबल से अलग है। यही वे आइटम हैं जिन पर किसी विशेषज्ञ का ध्यान देना बनता है, और आम तौर पर वे आपके डर से कहीं कम निकलते हैं।

प्रति एनोटेटर अंशांकन स्कोर। हर व्यक्ति ने सहमति का जो अनुमान लगाया था, वह उसे असल में मिली सहमति से कितनी दूर बैठता है। जो लगातार अनुमान लगाता है कि 90% लोग उससे सहमत होंगे और लगातार 55% पाता है, वह आपको अपनी आत्म-जागरूकता के बारे में कुछ बता रहा है। यह आपने बिना कुछ बोए जान लिया।

SP-संरेखण। हर एनोटेटर का लेबल कितनी बार surprisingly-popular निर्णय से मेल खाता है, जो इस बात का मोटा सरोगेट है कि वह महज़ सहमत होने वाला नहीं बल्कि जानकार है।

उद्धृत करने से पहले एक चेतावनी: यह सरलीकृत own-answer-prediction रूपांतर है, जिसमें हर एनोटेटर सभी लेबलों पर पूरा वितरण देने के बजाय सिर्फ़ अपने चुने हुए लेबल की लोकप्रियता का अनुमान लगाता है। और min_annotators: 3 एक न्यूनतम सीमा है, सिफ़ारिश नहीं। पाँच या उससे ज़्यादा पर जाकर निर्णय शोर भरे रहना बंद करते हैं।

काउंटरफैक्चुअल प्रोब: पूछिए कि क्या लेबल संपादन के बाद टिकता है

Truth Serum वे आइटम ढूँढ़ता है जिन पर भीड़ ग़लत रही। बाउंड्री लैब कुछ और ढूँढ़ता है: वे जगहें जहाँ आपकी कोडबुक अस्पष्ट है, और वे एनोटेटर जो सचमुच पढ़ ही नहीं रहे।

जिस क्षण कोई लेबल तय होता है, Potato टेक्स्ट का एक न्यूनतम संपादन दिखाता है और पूछता है कि क्या लेबल अब भी टिकता है।

आपने Polite कहा। क्या यह इस संपादन के बाद भी टिकेगा?

बाउंड्री लैब की एक प्रोब

जवाब देने में एक क्लिक लगता है। पर चूँकि आपने पूछ लिया, अब सामान्य एनोटेशन से तीन ऐसी चीज़ें निकलती हैं जो सादा लेबल निर्यात नहीं दे सकता।

कॉन्ट्रास्ट सेट, उपोत्पाद के रूप में

उत्तर दी गई हर प्रोब एक लेबल किया हुआ (मूल, काउंटरफैक्चुअल) जोड़ा है। यही कॉन्ट्रास्ट सेट है: वैसा काउंटरफैक्चुअल-संवर्धित डेटा जो मॉडल की मज़बूती बढ़ाता हुआ पाया गया है (Gardner et al. 2020, Evaluating Models' Local Decision Boundaries via Contrast Sets; Kaushik et al. 2020)।

कॉन्ट्रास्ट सेट बनाना आम तौर पर एक अलग और महँगा काम होता है। यहाँ वे उसी लेबलिंग से गिर पड़ते हैं जो आप वैसे भी कर रहे थे।

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

sources सूची एक फ़ॉलबैक शृंखला है। आप अपने डेटा के साथ क्यूरेट किए गए काउंटरफैक्चुअल भेज सकते हैं, उन्हें किसी LLM से बनवा सकते हैं, या नियम-आधारित स्तर से शाब्दिक रूपांतरणों के ज़रिए बनवा सकते हैं, जैसे निषेध पलटना, तीव्रता-वाचक शब्दों की अदला-बदली और विनम्रता के मार्कर। वही आख़िरी स्तर वजह है कि बाउंड्री लैब बिना किसी LLM कॉन्फ़िगर किए चलता है, और इसी वजह से किसी ने API key न लगाई हो तो सुविधा टूटने के बजाय धीरे-धीरे कमज़ोर पड़ती है।

अदृश्य गुणवत्ता नियंत्रण

कुछ प्रोब इन्वेरिएंस प्रोब होते हैं: ऐसे पैराफ़्रेज़ जो अर्थ बनाए रखते हैं। “मीटिंग से पहले मुझे स्लाइड भेज दीजिए” (Send me the slides before the meeting) बन जाता है “मीटिंग से पहले, स्लाइड मुझे भेज दीजिए” (Before the meeting, send me the slides)।

एक सुसंगत एनोटेटर उन पर कभी नहीं पलटता। जो पलटता है वह या तो ध्यान से पढ़ नहीं रहा, या उसके पास इस बात का स्थिर विचार नहीं है कि लेबल का मतलब क्या है। दोनों ही सूरत में आप यह जानना चाहेंगे, और आपने यह एक भी नक़ली आइटम बोए बिना जान लिया। प्रोब सामान्य काम से अलग नहीं दिखती, क्योंकि वह है ही सामान्य काम।

डैशबोर्ड उन एनोटेटरों को चिह्नित कर देता है जिनकी इन्वेरिएंस प्रोब पर टिकने की दर 60% से नीचे है।

सीमा-संबंधी तर्क

जब कोई लेबल सचमुच पलटता है, तो एनोटेटर बताता है कि किस चीज़ ने रेखा पार की: “please आदेश को नरम कर देता है।” ये तर्क जमा होकर ठीक-ठीक इसका नक़्शा बना देते हैं कि आपका दिशानिर्देश कहाँ अधूरा है, और बेहतर दिशानिर्देश का इनपुट यही है।

डैशबोर्ड लेबल के अनुसार सीमा संवेदनशीलता भी बताता है: हर लेबल पर लक्षित न्यूनतम संपादनों में से कितने सचमुच पलटे। 90% पलटाव दर वाला लेबल चाकू की धार पर टिका है और शायद उसे साफ़ परिभाषा चाहिए। 10% वाला लेबल मज़बूत है।

आप किसे इस्तेमाल करें?

ये अलग-अलग सवालों के जवाब देते हैं, और साथ-साथ भी चलते हैं।

अगर आपकी चिंता यह है कि “कठिन मामलों में आम राय वाला लेबल ग़लत हो सकता है,” तो Truth Serum से शुरू करें। अगर वह यह है कि “मुझे नहीं लगता मेरी कोडबुक इतनी सटीक है, और मुझे भरोसा नहीं कि सब पढ़ भी रहे हैं,” तो बाउंड्री लैब से।

इनमें से कोई भी साइकोमेट्रिक्स की जगह नहीं लेता, जो बताता है कि हर लेबल पर कितना भरोसा करना है और किन एनोटेटरों को कितना वज़न देना है। तीनों मिलकर आपको ऐसा अध्ययन देते हैं जिसमें गुणवत्ता बीच-बीच में जाँचने के बजाय लगातार मापी जाती है, और जिसमें कोई भी माप ऐसी आंसर की पर टिका नहीं है जिसे आपको पहले बनाना पड़ा हो।

आगे पढ़ें

• Truth Serum और बाउंड्री लैब — पूरा कॉन्फ़िगरेशन
• एरर बार वाले लेबल — IRT पोस्टीरियर और कोडबुक-गड़बड़ी पकड़ने वाला
• गोल्ड स्टैंडर्ड और ध्यान जाँच — पुराना तरीक़ा, और वह कब अब भी सही रहता है
• गुणवत्ता नियंत्रण
• एनोटेशन दिशानिर्देश लिखना