ब्लाइंड आइटमों से मापना कि LLM सुझाव एनोटेटरों को कैसे एंकर करते हैं

जो एनोटेटर किसी LLM का सुझाया गया लेबल देखता है, वह अक्सर वही लेबल देता है, इसलिए लोगों और मॉडल के बीच सहमति तब ज़्यादा होती है जब सुझाव स्क्रीन पर हो, बनिस्बत तब के जब वह न हो। आइटमों के एक यादृच्छिक नमूने पर सुझाव छिपाइए, उन ब्लाइंड आइटमों पर सहमति मापिए, और यह तय करने के लिए कि मॉडल पर कितना भरोसा करना है, कुल सहमति के बजाय ब्लाइंड सहमति का उपयोग कीजिए।

एंकरिंग वह प्रवृत्ति है जिसमें पहले देखी गई कोई संख्या या उत्तर बाद के किसी फ़ैसले को अपनी ओर खींचता है। एनोटेशन में एंकर एक प्री-लेबल होता है, यानी मॉडल का एक सुझाव जिसे एनोटेटर स्वीकार करता है या सुधारता है। एंकरिंग रबर-स्टैम्पिंग से अलग है, जिसमें एनोटेटर सुझावों को बिना पढ़े स्वीकार कर लेता है। हर सुझाव पढ़ने वाला सावधान एनोटेटर भी एंकर हो सकता है, क्योंकि किसी अस्पष्ट आइटम पर सुझाया गया उत्तर पहले से पेज पर होता है। टाइमिंग संकेत रबर-स्टैम्पिंग पकड़ लेते हैं, जैसा Agreement Cannot Catch Rubber-Stamping में बताया गया है। लेकिन एंकर हुआ एनोटेटर किसी आइटम पर सामान्य समय लगा सकता है, इसलिए टाइमिंग एंकरिंग को स्वतंत्र फ़ैसले से अलग नहीं करती।

सुझाव लेबल बदलते हैं, इसके प्रमाण

एक पूर्व-पंजीकृत प्रयोग (Schroeder et al., 2025) ने व्यक्तिपरक कामों पर 350 क्राउडवर्करों से 7,000 एनोटेशन एकत्र किए, 4 स्थितियों, 2 मॉडलों और 2 डेटासेट में। LLM सुझाव दिखाने से एनोटेटर तेज़ नहीं हुए, लेकिन उनका स्वयं बताया गया विश्वास बढ़ गया। एनोटेटरों ने सुझावों को इतनी बार अपनाया कि बिना सुझाव देखे काम करने वाले एनोटेटरों की तुलना में लेबल वितरण उल्लेखनीय रूप से बदल गया। जब LLM की सहायता से बने लेबलों से उसी LLM का मूल्यांकन किया गया, तो उसका बताया गया प्रदर्शन उल्लेखनीय रूप से बढ़ गया।

इसलिए किसी मॉडल और उसके सुझाव देख चुके समीक्षकों के बीच सहमति आंशिक रूप से मॉडल की अपने आप से सहमति है। उस संख्या पर टिका कोई भी फ़ैसला, जैसे सहमति 90% पार होते ही बाकी कॉर्पस मॉडल को सौंप देना, एक बढ़े हुए आँकड़े पर लिया जाता है।

ब्लाइंड आइटम और एंकरिंग अंतर

एनोटेशन शुरू होने से पहले, आइटमों का एक यादृच्छिक हिस्सा चुनिए जिस पर एनोटेटर बिना सुझाव के लेबल लगाता है। बाकी पर सुझाव हमेशा की तरह दिखता है। दोनों की तुलना से तीन संख्याएँ मिलती हैं:

ब्लाइंड सहमति, मॉडल और उसके सुझाव के बिना दिए गए लेबलों के बीच, जो अनुमान लगाती है कि मॉडल कितनी बार सही है;
दिखाई गई सहमति, मॉडल और स्क्रीन पर उसके सुझाव के साथ दिए गए लेबलों के बीच; और
एंकरिंग अंतर, दिखाई गई सहमति में से ब्लाइंड सहमति घटाकर, जो अनुमान लगाता है कि सुझाव लोगों को कितना खिसकाता है।

ब्लाइंड आइटम यादृच्छिक रूप से चुने जाने चाहिए और पूरे अध्ययन के लिए तय रहने चाहिए। सबसे कठिन आइटम चुनने से, या एनोटेटर को यह तय करने देने से कि वह कब देखे, ब्लाइंड नमूना अप्रतिनिधिक हो जाता है, और तब ब्लाइंड सहमति बाकी कॉर्पस के बारे में कुछ अनुमान नहीं लगाती। कोई लेबल तभी ब्लाइंड गिना जाता है जब एनोटेटर ने उस आइटम का कोई सुझाव कभी न देखा हो, इसलिए असहमति के बाद दोबारा लगाया गया लेबल दिखाए गए लेबलों में गिना जाता है।

ब्लाइंड हिस्सा गति और प्रमाण के बीच एक समझौता है। हर ब्लाइंड आइटम पर वह समय नहीं बचता जो सुझाव बचाता है, और बहुत कम ब्लाइंड आइटम ब्लाइंड सहमति को शोर भरा बना देते हैं। Potato के डिफ़ॉल्ट हैं 20% हिस्सा और कम से कम 20 ब्लाइंड आइटम। उस हिस्से पर 20 आइटम का अध्ययन केवल लगभग 4 ब्लाइंड आइटम देता है, इसलिए न्यूनतम सीमा उतनी रखें जितनी कॉर्पस दे सके।

Solo Mode में ब्लाइंड सुझाव

Solo Mode Potato का वह सेटअप है जिसमें एक विशेषज्ञ किसी LLM के साथ काम करता है। LLM कॉर्पस पर लेबल लगाता है, विशेषज्ञ उसके साथ-साथ लेबल लगाता है, और जब विशेषज्ञ की उससे सहमति end_human_annotation_agreement पार कर जाती है, तो Solo Mode बचे हुए आइटम LLM को सौंप देता है। Potato 2.11 से पहले वह सहमति उन लेबलों पर मापी जाती थी जो सुझाव दिखते रहने के दौरान दिए गए थे। 2.11 से, solo_mode.suggestions नियंत्रित करता है कि सुझाव कब दिखे:

yaml

solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample आइटमों के एक तय 20% हिस्से पर सुझाव छिपाता है, जो अध्ययन के लिए एक बार चुना जाता है, ताकि पेज दोबारा लोड करने या रीस्टार्ट करने पर वही आइटम ब्लाइंड रहें। after_label सुझाव कभी पहले नहीं दिखाता, और जब विशेषज्ञ और LLM असहमत होते हैं, तो समाधान पेज LLM का लेबल और उसका तर्क दिखाता है। 20 ब्लाइंड तुलनाएँ हो जाने के बाद, हैंडऑफ़ कुल सहमति के बजाय ब्लाइंड सहमति की तुलना थ्रेशोल्ड से करता है।

डैशबोर्ड का Blind Agreement कार्ड ब्लाइंड और दिखाई गई सहमति अगल-बगल दिखाता है, उनके बीच का अंतर भी, और यह भी कि विशेषज्ञ ने कितनी बार Accept बटन से सुझाव लिया। अंतर तब बताया जाता है जब दोनों तरफ़ कम से कम 5 तुलनाएँ हों। बड़े धनात्मक अंतर का मतलब है कि विशेषज्ञ LLM से तब ज़्यादा बार सहमत होता है जब वह उसका उत्तर देख सकता है। ऐसी स्थिति में ज़्यादा आइटम ब्लाइंड रखें या after_label पर चले जाएँ।

लेबलिंग इंजन में ब्लाइंड कैलिब्रेशन

Potato का लेबलिंग इंजन, जो 2.11 में ही नया है, यही नियम हर उस लेबल पर लागू करता है जिसे वह प्रमाण के रूप में उपयोग करता है। कैलिब्रेशन, प्रमाणन और ऑडिट अनुरोध दर्ज समावेशन प्रायिकताओं के साथ यादृच्छिक रूप से चुने जाते हैं, और जब तक किसी व्यक्ति के पास ऐसा अनुरोध होता है, सर्वर उस आइटम का हर मशीन उत्तर रोक कर रखता है। प्री-एनोटेशन, इनलाइन जज और AI सहायक सब बंद रहते हैं, और सहेजने के बाद भी वह आइटम उस व्यक्ति के लिए ब्लाइंड रहता है। इंजन मशीन लेबलों को केवल इन्हीं ब्लाइंड लेबलों के आधार पर प्रमाणित करता है।

सत्यापन अनुरोध इसका उल्टा मामला हैं। वे मशीन का उत्तर दिखाते हैं, व्यक्ति से उसे रखने या बदलने को कहते हैं, और पहले से भरा उत्तर दर्ज करते हैं, ताकि आप माप सकें कि लोग उसे कितनी बार स्वीकार करते हैं। इंजन सत्यापन उत्तरों का उपयोग प्रमाणन के लिए कभी नहीं करता, क्योंकि वे अपनी बनावट से ही एंकर होते हैं। humans.verify_visibility: blind सेट करने पर सत्यापन अनुरोध भी बिना उत्तर के परोसे जाते हैं, लेकिन तब वह समय नहीं बचता जो सुझाव बचाता है।

ब्लाइंड नमूने की सीमाएँ

ब्लाइंड नमूना मॉडल को बिना सहायता वाले लोगों के मुकाबले मापता है, जो सही संदर्भ तभी है जब बिना सहायता वाले लोग उस काम पर भरोसेमंद हों। किसी व्यक्तिपरक काम पर, जहाँ सावधान एनोटेटर आपस में असहमत होते हैं, ब्लाइंड सहमति की एक सीमा 100% से नीचे होती है, और कोई मॉडल उस सीमा पर हो सकता है। कम ब्लाइंड सहमति को कमज़ोर मॉडल मानने से पहले, लोगों से मॉडल की सहमति की तुलना लोगों की आपसी सहमति से करें, जैसा LLM जज सहमति में बताया गया है।

ब्लाइंड नमूना उन लेबलों को भी जैसा है वैसा छोड़ देता है जो सुझाव के साथ दिखाए गए थे। वे लेबल एंकर ही रहते हैं, और जो डेटासेट ज़्यादातर उन्हीं से बना हो, उसमें मॉडल की प्राथमिकताएँ आ जाती हैं। डेटासेट के साथ ब्लाइंड सहमति और एंकरिंग अंतर बताएँ, और पहले आइटम पर लेबल लगने से पहले display: blind_sample सेट करें, क्योंकि सुझाव दिखते हुए लेबल किए गए आइटम बाद में ब्लाइंड नहीं बनाए जा सकते।

आगे पढ़ें

Agreement Cannot Catch Rubber-Stamping, बिना पढ़े स्वीकार करने वाले एनोटेटरों के लिए टाइमिंग संकेतों पर
LLM प्री-एनोटेशन, समीक्षित प्री-लेबलों में ऑटोमेशन पूर्वाग्रह पर
ब्लाइंड मानव नमूने से LLM लेबलों को प्रमाणित करना, ब्लाइंड नमूने के आधार पर मशीन लेबलों को प्रमाणित करने पर

संदर्भ

Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323