Potato 2.7: लेबल कैसे बनते हैं, इसे मापना

एनोटेशन टूल लेबल जमा करता है। यही उसका काम है, और Potato 2022 से यह करता आया है। पर लेबल किसी निर्णय का नतीजा होता है, और बीते दशक के ज़्यादातर हिस्से में निर्णय खुद अदृश्य रहा है: आपको जवाब मिलता है, वह तर्क नहीं, न वह भरोसा और न वह असहमति जिससे वह जवाब निकला।

Potato 2.7 एक ही विचार पर टिका है। एनोटेशन टूल को यह मापना चाहिए कि निर्णय कैसे लिए जाते हैं, सिर्फ़ यह दर्ज नहीं करना चाहिए कि वे क्या थे। यह दोनों तरह के निर्णायकों पर लागू होता है: एनोटेट करने वाले इंसान, और जिनका मूल्यांकन हो रहा है वे AI मॉडल।

Potato 2.7

एरर बार वाले लेबल

साइकोमेट्रिक्स इंजन एनोटेशन आते-आते एक आइटम रिस्पॉन्स थ्योरी मॉडल फ़िट करता है, और सिर्फ़ सहमति के पैटर्न से हर एनोटेटर की क्षमता और हर आइटम की कठिनाई का अनुमान लगाता है। न गोल्ड लेबल, न कोई LLM।

sarcastic (2 of 3 votes) के बजाय आपके निर्यात में लिखा आता है sarcastic, p = 0.94 [0.88 – 0.97]। यह प्रायिकता तौलती है कि किसने वोट दिया, सिर्फ़ यह नहीं कि कितनों ने।

yaml

assignment_strategy: psychometric
psychometrics:
  enabled: true
  confidence_threshold: 0.95   # items above this stop consuming budget

मॉडल से दो चीज़ें निकलती हैं। जिन आइटमों का पोस्टीरियर पहले ही आश्वस्त है वे परोसे जाने बंद हो जाते हैं, इसलिए अतिरेक वहीं जाता है जहाँ उसकी सचमुच ज़रूरत है। और जब किसी आइटम का विभेदन ऋणात्मक हो जाता है, यानी भीड़ से असहमत होने वाले लोग ही आपके सबसे अच्छे एनोटेटर हैं, तो आम तौर पर वह टूटा हुआ दिशानिर्देश होता है, ख़राब एनोटेटर नहीं। डैशबोर्ड उसे संभावित कोडबुक गड़बड़ी के रूप में चिह्नित कर देता है।

अंशांकन बैठक, टूल के ही भीतर

हर एनोटेशन टीम नॉर्मिंग सत्र करती है, और वे लगभग हमेशा स्क्रीन-शेयर पर होते हैं जिनका नतीजा किसी के नोट्स में पड़ा रह जाता है। मल्टीप्लेयर रूम उस सत्र को Potato के भीतर ले आते हैं और उसे मापने लायक बना देते हैं।

सब ब्लाइंड वोट देते हैं। होस्ट खुलासा करता है। समूह बहस करता है। कोई भी अपना वोट बदल सकता है, और खुलासे के बाद हर बदलाव इस बात के सापेक्ष दर्ज होता है कि उस क्षण बहुमत क्या था, जिससे प्रति-सदस्य अनुरूपता का रिकॉर्ड बनता है। एक लाइव Krippendorff's α मीटर ब्लाइंड वोटों और मौजूदा वोटों, दोनों पर एक साथ चलता है, इसलिए दोनों का अंतर होते-होते बता देता है कि चर्चा का असल में कितना मोल था।

Huddle रूम खुद को उन आइटमों से भर लेते हैं जिन पर आपकी टीम अभी असहमत है। Shadow रूम प्रशिक्षुओं को किसी वरिष्ठ एनोटेटर को काम करते देखने देते हैं, हाइलाइट समेत।

बिना गोल्ड लेबल के गुणवत्ता नियंत्रण

दो सुविधाएँ एक ही समस्या पर अलग-अलग दिशाओं से हमला करती हैं, और इनमें से कोई भी नक़ली आइटम नहीं बोता।

Truth Serum हर लेबल के बाद एक अतिरिक्त सवाल पूछता है: बाक़ी एनोटेटरों में से कितने प्रतिशत वही चुनेंगे जो आपने चुना? ये अनुमान surprisingly-popular आकलक को चलाते हैं (Prelec, Seung & McCoy 2017, Nature), जो ठीक वहीं बहुमत से बेहतर निकलता है जहाँ एनोटेशन कठिन होता है: जब एक आश्वस्त भीड़ ग़लत होती है और जानकार अल्पमत सही। जहाँ तक हमें पता है, पीयर-प्रेडिक्शन स्कोरिंग देने वाला Potato पहला एनोटेशन टूल है।

बाउंड्री लैब लेबल तय होते ही एक न्यूनतम काउंटरफैक्चुअल संपादन दिखाता है और पूछता है कि क्या लेबल उसके बाद भी टिकता है। जवाब देने में एक क्लिक लगता है, और सामान्य एनोटेशन से ही उपोत्पाद के रूप में कॉन्ट्रास्ट सेट (Gardner et al. 2020) बनने लगते हैं। कुछ प्रोब अर्थ-संरक्षक पैराफ़्रेज़ होते हैं, और जो एनोटेटर उन पर पलट जाता है वह आपको कुछ बता रहा है, बिना एक भी गोल्ड आइटम बोए।

इंसानी तर्क, शब्दशः दर्ज

Think-Aloud मोड एनोटेटरों को काम करते-करते बोलने देता है। स्पीच-टू-टेक्स्ट लोकल ही faster-whisper से चलता है, इसलिए कुछ भी मशीन से बाहर नहीं जाता और प्रति-टोकन कोई ख़र्च नहीं आता। ट्रांसक्रिप्ट शब्दशः और जान-बूझकर बिना सारांश बनाए सहेजा जाता है, क्योंकि थिंक-अलाउड प्रोटोकॉल को दूसरे शब्दों में ढालना उसी चीज़ को नष्ट कर देता है जिसे आप जुटाने निकले थे।

बात केवल तर्क की नहीं है। यह इस बात का रिकॉर्ड है कि कोई व्यक्ति किसी लेबल तक कैसे तर्क करता है, जो उस प्रोसेस-रिवॉर्ड टूलिंग का इंसानी समकक्ष है जो यह खंडों में बाँटती है कि कोई मॉडल कैसे तर्क करता है। एक ही आइटम, दो सोच की शृंखलाएँ।

दो और, फिर एजेंट

पेपर मोड किसी परियोजना को एक ही कमांड से कंपाइल होने लायक LaTeX डेटासेट रिपोर्ट में बदल देता है: लेबल वितरण, एनोटेटर तालिका, सही उद्धरणों के साथ सहमति आँकड़े, समय, और असली संख्याओं वाला एक ईमानदार सीमाओं का अनुच्छेद।

bash

python -m potato.paper config.yaml -o paper_export

पॉकेट मोड मोबाइल एनोटेशन को पहले दर्जे का बना देता है: टच डिवाइस को अंगूठा-क्षेत्र के बटनों और ऑफ़लाइन सिंक वाला एक स्वाइप होने वाला कार्ड स्टैक मिलता है। जिन टास्क को सचमुच डेस्कटॉप चाहिए (स्पैन, बाउंडिंग बॉक्स, वीडियो), उन्हें कभी घटाकर फ़ोन पर नहीं डाला जाता। उन्हें इसके बजाय एक चेतावनी मिलती है।

AI एजेंटों का मूल्यांकन

2.7 का दूसरा आधा हिस्सा इसी दर्शन को मॉडलों की तरफ़ मोड़ देता है। एजेंट-मूल्यांकन सूट अब किसी मल्टी-एजेंट रन को सपाट ट्रांसक्रिप्ट के बजाय एक टीम के रूप में एनोटेट करता है: क्लिक करने लायक इंटरैक्शन ग्राफ़, एजेंटों के आर-पार विफलता का श्रेय, हैंडऑफ़ समीक्षा, प्रति-एजेंट और टीम स्कोरकार्ड, टूल-प्रतिस्पर्धा की समयरेखा, और एजेंटों के आर-पार उभरते व्यवहार की टैगिंग।

मल्टीमॉडल एजेंटों को अपनी अलग सतहें मिलती हैं: क्लिक ग्राउंडिंग के साथ GUI और computer-use ट्रैजेक्टरी, बार्ज-इन पहचान के साथ फ़ुल-डुप्लेक्स वॉइस समयरेखा, लाइव IoU के साथ वीडियो में समय की ग्राउंडिंग, और दस्तावेज़-तालिका संरचना।

अगर आपको सूची के बजाय पूरा वॉकथ्रू चाहिए, तो हमने मल्टी-एजेंट विफलताओं की डिबगिंग पर एक लिखा है।

दोनों हिस्से कहाँ मिलते हैं

ये दोनों एक ही विचार हैं जो दो अलग निर्णायकों पर तानकर लगाए गए हैं, और 2.7 इन्हें आपस में जोड़ देता है।

Think-Aloud दर्ज करता है कि कोई व्यक्ति किसी लेबल तक कैसे तर्क करता है। प्रोसेस-रिवॉर्ड एनोटेशन पकड़ता है कि कोई मॉडल क़दम-दर-क़दम कैसे तर्क करता है। इन्हें एक ही आइटम पर आमने-सामने रखिए और आप देख सकते हैं कि इंसानी और मशीनी निर्णय कहाँ अलग हो जाते हैं।

और कोई LLM जज उतना ही भरोसेमंद है जितने भरोसेमंद वे मानव लेबल हैं जिनके सामने आपने उसे परखा था। जज–मानव संरेखण डैशबोर्ड बताता है कि आपका जज लोगों से कितना सहमत है; साइकोमेट्रिक्स और Truth Serum उन लोगों के लेबलों को विश्वास अंतराल दे देते हैं। “जज इंसानों से सहमत है” एक अंदाज़ा रहना बंद कर देता है और अंतराल जुड़ा हुआ एक दावा बन जाता है।

बाक़ी सब कुछ

दस्तावेज़ों के आर-पार घटना एनोटेशन, बातचीत और ट्रेस पर टर्न-स्तरीय एनोटेशन, पूर्ण-पृष्ठ संपादक वाला एक जीवंत कोडबुक, वैकल्पिक OCR के साथ PDF में पन्नों के आर-पार लिंकिंग, प्रति-समूह योजनाओं वाली RBAC भूमिकाएँ, और दस भाषाओं में एडमिन तथा एनोटेटर डैशबोर्ड।

इंस्टॉल भी हल्का हो गया है। AI SDK अब आलस से लोड होते हैं, इसलिए सादा pip install potato-annotation कोई भी AI SDK नहीं खींचता और बूट का समय लगभग 2.0 सेकंड से गिरकर 0.7 रह जाता है।

इसे लेना

bash

pip install --upgrade potato-annotation

Potato निःशुल्क है, GPL-3.0-or-later के अंतर्गत ओपन-सोर्स है, और आप इसे खुद होस्ट कर सकते हैं। ऊपर बताई सातों सुविधाएँ वैकल्पिक हैं, किसी ख़ास टास्क से बँधी नहीं हैं, और इनमें से किसी को भी LLM की ज़रूरत नहीं। यह तब मायने रखता है जब आपका डेटा आपकी संस्था से बाहर नहीं जा सकता, या आपका बजट प्रति-टोकन बिल नहीं उठा सकता।

Potato 2.0 ACL 2026 (System Demonstrations) में प्रकाशित हुआ था। अगर Potato आपके शोध में काम आता है, तो उद्धरण के लिए वही पेपर है।

त्वरित शुरुआत से शुरू करें, नया क्या है देखें, या एरर बार वाले लेबल और बिना गोल्ड लेबल के गुणवत्ता नियंत्रण पर गहराई से लिखे लेख पढ़ें।

संदर्भ

Dražen Prelec, H. Sebastian Seung, and John McCoy (2017). A solution to the single-question crowd wisdom problem. Nature. https://doi.org/10.1038/nature21054

Matt Gardner et al. (2020). Evaluating Models' Local Decision Boundaries via Contrast Sets. Findings of the Association for Computational Linguistics: EMNLP 2020. https://aclanthology.org/2020.findings-emnlp.117/

David Jurgens, Michael Chen, and Lina Iyer (2026). Potato 2.0: A Comprehensive Annotation Platform with AI-in-the-Loop Support. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations). https://aclanthology.org/2026.acl-demo.37/