ब्लाइंड मानव नमूने से LLM लेबलों को प्रमाणित करना

हर एक को जाँचे बिना यह तय करने के लिए कि कौन-से LLM लेबल रखने हैं, लोगों से एक ब्लाइंड यादृच्छिक नमूने पर लेबल लगवाइए, उस नमूने के आधे हिस्से पर एक विश्वास थ्रेशोल्ड चुनिए, और दूसरे आधे पर परखिए कि थ्रेशोल्ड से ऊपर वाले लेबलों में त्रुटि दर आपके लक्ष्य से कम है। व्यापकता के आँकड़ों के लिए, मॉडल के अनुमान को उसी नमूने पर उसकी त्रुटियों से सुधारिए। इससे एक ऐसा अंतराल मिलता है जो मॉडल चाहे जितना अच्छा हो, मान्य रहता है।

LLM लेबलों को जाँचने का एक आम तरीका यह है कि कुछ दर्जन आउटपुट पढ़ लिए जाएँ और अगर वे सही दिखें, तो डेटासेट को "एक LLM ने डेटा पर लेबल लगाए और हमने कुछ नमूने जाँचे" जैसे वाक्य के साथ जारी कर दिया जाए। वह वाक्य यह नहीं बताता कि लेबल कितनी बार गलत हैं, और कोई समीक्षक यह नहीं जान सकता कि वह जाँच 15% की त्रुटि दर पकड़ पाती या नहीं। जो जाँच किसी संख्या का आधार बन सके, वह तीन सवालों के जवाब देती है: कौन-से मशीन लेबल रखने हैं, मशीन लेबलों से निकाली गई कोई दर कितनी दूर है, और क्या कोई मॉडल किसी व्यक्ति की जगह ले सकता है।

नमूना जाँचों और समीक्षित प्री-लेबलों में पूर्वाग्रह

दो आदतें मशीन लेबल को उससे बेहतर दिखाती हैं जितना वह है। पहली है उन आइटमों को जाँचना जिन पर मॉडल सबसे कम आश्वस्त था। इन आइटमों को जाँचने से त्रुटियाँ जल्दी मिलती हैं, लेकिन जाँचे गए आइटम डेटासेट का नमूना नहीं हैं, इसलिए उन पर त्रुटि दर बाकी के बारे में कुछ अनुमान नहीं लगाती। दूसरी है उन लेबलों पर सहमति मापना जो लोगों ने तब दिए जब मॉडल का उत्तर स्क्रीन पर था। सुझाव उत्तर को अपनी ओर खींचता है, इसलिए समीक्षित प्री-लेबलों पर मापी गई सहमति ब्लाइंड रूप से मापी गई सहमति से ऊँची आती है। LLM प्री-एनोटेशन इस ऑटोमेशन पूर्वाग्रह को ज़्यादा विस्तार से समझाता है।

इसलिए जो जाँच किसी संख्या का आधार बने, उसमें तीन गुण होने चाहिए। जाँचे गए आइटम ज्ञात समावेशन प्रायिकताओं के साथ यादृच्छिक रूप से चुने जाते हैं। उन पर लेबल लगाने वाले लोग मॉडल का उत्तर नहीं देख सकते। जो लेबल कोई नियम चुनते हैं, वे उन लेबलों से अलग होते हैं जो उसे परखते हैं।

सेलेक्टिव प्रेडिक्शन और सेलेक्टिव रिस्क

सेलेक्टिव प्रेडिक्शन का मतलब है कि मॉडल केवल उन आइटमों पर लेबल लगाता है जहाँ उसका विश्वास किसी थ्रेशोल्ड को पार करता है, और बाकी पर परहेज़ करता है, जो लोगों के पास जाते हैं। जिस मात्रा को नियंत्रित करना है, वह सेलेक्टिव रिस्क है, यानी मॉडल जो लेबल रखता है उनमें त्रुटि दर। उदाहरण के लिए, जो थ्रेशोल्ड 4% त्रुटि दर पर 70% आइटम रखता है, वह उस मॉडल से ज़्यादा उपयोगी हो सकता है जो 12% पर सब कुछ लेबल करता है।

थ्रेशोल्ड को उन्हीं लेबलों पर चुनने और परखने से यह बढ़ा-चढ़ाकर दिखता है कि वह कितना अच्छा काम करता है, इसलिए मानव नमूने को बाँटा जाता है। एक आधा हिस्सा, dev स्प्लिट, थ्रेशोल्ड चुनता है। दूसरा आधा, cert स्प्लिट, उसे इस दावे के एकपक्षीय द्विपद परीक्षण से परखता है कि स्वीकार किए गए लेबलों में त्रुटि लक्ष्य से ऊपर है। अगर वह दावा खारिज हो जाता है, तो थ्रेशोल्ड बताए गए विश्वास पर प्रमाणित होता है। Learn-then-Test (Angelopoulos et al., 2025) थ्रेशोल्ड चुनने को एक मल्टीपल-टेस्टिंग समस्या मानता है। इसकी एक प्रक्रिया उम्मीदवार थ्रेशोल्डों को एक तय क्रम में परखती है और पहले विफल होने वाले पर रुक जाती है, जिससे वह गारंटी खोए बिना कई थ्रेशोल्ड आज़मा सकती है।

इन परीक्षणों को ज़्यादातर नमूना जाँचों से बड़े नमूने चाहिए। मान लीजिए लक्ष्य है 90% विश्वास के साथ अधिकतम 10% गलत, और यह एक अकेले मॉडल का पहला परीक्षण है जिसमें प्रति-वर्ग विभाजन नहीं है, जिसे Potato लगभग 0.06 के स्तर पर चलाता है (अगला खंड बताता है क्यों)। cert स्प्लिट में 100 स्वीकार किए गए लेबलों के साथ, परीक्षण तभी पास होता है जब अधिकतम 5 गलत हों। 5% के लक्ष्य के लिए 100 में अधिकतम 1 गलत लेबल चाहिए, या 200 में अधिकतम 4। जिस मॉडल की वास्तविक त्रुटि दर 7% है, वह 100 स्वीकार किए गए cert लेबलों के साथ यह पहला परीक्षण लगभग 29% बार पास करता है, और 300 के साथ लगभग 56% बार।

बार-बार के परीक्षण और त्रुटि बजट

पहले परीक्षण के बाद भी लोग लेबल लगाते रहते हैं, और पास होने तक परीक्षण दोबारा चलाने से गलत प्रमाणपत्र की 10% संभावना कहीं ज़्यादा बड़ी हो जाएगी। एक उपाय यह है कि हर परीक्षण को त्रुटि बजट का घटता हुआ हिस्सा दिया जाए। Potato परीक्षण संख्या k को अनुमत त्रुटि का 6 / (pi^2 k^2) हिस्सा देता है, इसलिए पहले परीक्षण को 61% मिलता है, दूसरे को 15%, और हर संभव परीक्षण पर इन हिस्सों का योग पूरा बजट होता है। नया प्रॉम्प्ट या नया मॉडल आज़माना एक नया परीक्षण गिना जाता है, क्योंकि वह संयोग से पास होने का एक और मौका है।

prediction-powered inference से व्यापकता

कई अध्ययनों को डेटासेट से ज़्यादा एक दर चाहिए, जैसे टॉक्सिक पोस्टों का हिस्सा या सफल होने वाले एजेंट रनों का हिस्सा। जब भी मॉडल की त्रुटियाँ एक ओर झुकती हैं, मशीन लेबलों की गिनती एक पक्षपाती दर देती है। केवल मानव नमूने की गिनती एक निष्पक्ष दर देती है, लेकिन चौड़े अंतराल के साथ।

Prediction-powered inference (Angelopoulos et al., 2023) दोनों को जोड़ता है। यह हर आइटम पर मशीन लेबलों से दर निकालता है, फिर उसे मानव-लेबल वाले नमूने पर मॉडल की औसत त्रुटि से सुधारता है। मॉडल की गुणवत्ता चाहे जैसी हो, अंतराल मान्य रहता है। PPI++ यह समायोजित करता है कि मशीन लेबलों को कितना वज़न मिले, इसलिए अच्छा मॉडल अंतराल को उससे सँकरा कर देता है जितना अकेले लोग कर पाते, और खराब मॉडल उसे चौड़ा नहीं करता। जब मानव नमूना असमान प्रायिकताओं से चुना गया हो, तो Horvitz-Thompson डिफ़रेंस एस्टिमेटर यही भूमिका निभाता है।

Potato के साथ आने वाले एजेंट-ट्रेस उदाहरण में, एक LLM जज ने उदाहरण के लिए लिखे गए 288 सिंथेटिक एजेंट ट्रेस को रेट किया, जिनमें से हर एक का एक संदर्भ परिणाम था, और कहा कि 76% सफल रहे। उसी जज और एक मानव नमूने से prediction-powered अंतराल 0.66 [0.57, 0.76] था, और डेटा में संदर्भ दर 0.60 थी। जज अलग-अलग ट्रेस में से 80% पर सही था, फिर भी उसने दर को 16 अंक बढ़ाकर बताया, क्योंकि उसकी त्रुटियाँ "सफलता" की ओर झुकी थीं।

alternative annotator test

जब लोग असहमत हों, तब एक तय सटीकता लक्ष्य गलत सवाल हो सकता है। अगर दो सावधान एनोटेटर 85% आइटमों पर सहमत होते हैं, तो किसी भी लेबलर को 95% "सही" साबित नहीं किया जा सकता, क्योंकि संदर्भ भी शोर भरा है। alternative annotator test (Calderon et al., 2025) इसके बजाय एक सापेक्ष सवाल पूछता है। हर व्यक्ति को बारी-बारी से बाहर रखकर, यह परखता है कि क्या मॉडल बाकी लोगों से कम से कम उतनी बार सहमत होता है जितनी बार बाहर रखा गया व्यक्ति, एक मार्जिन के भीतर। इसके लिए ऐसे आइटम चाहिए जिन पर कई लोगों ने लेबल लगाए हों, और Potato का कार्यान्वयन कम से कम तीन एनोटेटरों के लिए रुकता है, जिनमें से हर एक के 30 आइटम हों। LLM जज सहमति इस तुलना के kappa-आधारित संस्करण को और जज के कैलिब्रेशन को जाँचने के तरीके को समझाता है।

Potato के लेबलिंग इंजन में कॉन्ट्रैक्ट

संस्करण 2.11 से, Potato का लेबलिंग इंजन ये परीक्षण कॉन्ट्रैक्ट के रूप में चलाता है। यह ब्लाइंड यादृच्छिक नमूना चुनता है, हर मशीन उत्तर छिपाकर उसे एनोटेटरों को परोसता है, उसे dev और cert में बाँटता है, और लेबल आते-आते प्रमाणित करता है। यह कॉन्फ़िग किसी LLM के सेंटिमेंट लेबल वहाँ रखता है जहाँ 90% विश्वास के साथ अधिकतम 10% गलत हों, और हर लेबल की व्यापकता 90% अंतराल के साथ बताता है:

assignment_strategy: engine
 
labeling_engine:
  enabled: true
  sources:
    - id: llm
      kind: llm
      endpoint_type: vllm
      model: google/gemma-4-12B-it-qat-w4a16-ct
      base_url: http://localhost:8001/v1
      confidence: {method: logprob}
  contracts:
    - id: accuracy
      kind: selective_risk
      schema: sentiment
      error: 0.1
      confidence: 0.9
    - id: prevalence
      kind: ppi
      schema: sentiment
      confidence: 0.9
  budgets:
    human_labels: 400

0.9 का confidence हर कॉन्ट्रैक्ट के लिए Potato का डिफ़ॉल्ट है। स्रोत विश्वास को टोकन लॉग प्रायिकताओं से पढ़ता है, क्योंकि थ्रेशोल्ड को ऐसा विश्वास चाहिए जो सही उत्तरों को गलत उत्तरों से अलग करे, और Potato के दिए तरीकों में मॉडल का शब्दों में बताया गया विश्वास सबसे कम भरोसेमंद है। Potato का टेक्स्ट उदाहरण 481 समीक्षाएँ चलाता है, जिसमें Laya पहले है और यह LLM आखिरी स्तर है। उस रन में 10% वाला कॉन्ट्रैक्ट 165 मानव लेबलों पर पूरा हुआ, और इंजन ने 316 मशीन लेबल स्वीकार किए, सभी LLM से, क्योंकि Laya का थ्रेशोल्ड कभी तय नहीं हुआ। संदर्भ लेबलों के मुकाबले उनकी मापी गई त्रुटि 7.6% थी। potato label certificate config.yaml छापता है कि क्या परखा गया, कितने लेबलों पर, और किन मॉडल और प्रॉम्प्ट संस्करणों के साथ।

ब्लाइंड-नमूना प्रमाणन की सीमाएँ

इनमें से हर गारंटी उन लोगों से सहमति के बारे में है जिन्होंने नमूने पर लेबल लगाए। अगर वे लापरवाह हैं या ठीक से प्रशिक्षित नहीं हैं, तो पूरा हुआ कॉन्ट्रैक्ट लापरवाह लोगों से सहमति को प्रमाणित करता है, इसलिए किसी प्रमाणपत्र पर भरोसा करने से पहले ओवरलैप और गुणवत्ता नियंत्रण से एनोटेटरों को जाँचें।

जो विश्वास कभी नहीं बदलता, उसमें थ्रेशोल्ड के पास अलग करने को कुछ नहीं होता। एजेंट-ट्रेस उदाहरण में जज ने हर ट्रेस को 1.0 का विश्वास दिया, इसलिए कोई थ्रेशोल्ड पास नहीं हो सका, और Potato ऐसे कॉन्ट्रैक्ट को सब कुछ स्वीकार करने के बजाय infeasible चिह्नित करता है। व्यापकता अंतराल ने उसी डेटा पर फिर भी काम किया, क्योंकि वह विश्वास पर निर्भर नहीं करता।

व्यक्तिपरक कामों में, जहाँ लोग ऐसे कारणों से असहमत होते हैं जो डेटा का हिस्सा होने चाहिए, हो सकता है कि हर आइटम का एक ही सही उत्तर न हो। इसके बजाय मॉडल के लेबल वितरण की तुलना इस बात से करें कि लोग किस तरह बँटते हैं, जिसे Potato का distributional कॉन्ट्रैक्ट स्प्लिट-हाफ़ नॉइज़ सीलिंग के मुकाबले बताता है। पहले पास के बाद potato label status config.yaml चलाएँ, ताकि पता चले कि पास हो पाने से पहले हर कॉन्ट्रैक्ट को और कितने मानव लेबल चाहिए।

आगे पढ़ें

• लेबलिंग इंजन कॉन्ट्रैक्ट, हर कॉन्ट्रैक्ट के विकल्पों और विफलता के तरीकों के साथ
• LLM जज सहमति और LLM प्री-एनोटेशन
• एरर बार वाले लेबल, खुद मानव लेबलों में अनिश्चितता पर
• AI ऑटो-लेबलिंग की तुलना, इस पर कि छह एनोटेशन टूल मशीन लेबलों के बारे में क्या बताते हैं

संदर्भ

1. Angelopoulos, A. N., Bates, S., Candès, E. J., et al. (2025). Learn then test: Calibrating predictive algorithms to achieve risk control. The Annals of Applied Statistics. https://doi.org/10.1214/24-AOAS1998
2. Angelopoulos, A. N., Bates, S., Fannjiang, C., et al. (2023). Prediction-powered inference. Science, 382(6671). https://doi.org/10.1126/science.adi6000
3. Angelopoulos, A. N., Duchi, J. C., and Zrnic, T. (2023). PPI++: Efficient prediction-powered inference. arXiv. https://arxiv.org/abs/2311.01453
4. Calderon, N., Reichart, R., and Dror, R. (2025). The alternative annotator test for LLM-as-a-judge: How to statistically justify replacing human annotators with LLMs. Proceedings of ACL 2025. https://aclanthology.org/2025.acl-long.782/