अपने लेबलों पर प्रशिक्षित मॉडल से मॉडल-सहायित लेबलिंग

आपके अपने एनोटेशन पर प्रशिक्षित मॉडल के प्री-लेबल कब समय बचाते हैं, प्री-लेबल एनोटेटरों को कैसे एंकर करते हैं, और होल्ड-आउट समूह प्रभाव को कैसे मापता है।

मॉडल-सहायित लेबलिंग उन लेबलों पर मॉडल प्रशिक्षित करके एनोटेशन तेज़ करती है जो आपके एनोटेटर पहले दे चुके हैं, और नए आइटमों पर मॉडल की भविष्यवाणियाँ प्री-लेबल के रूप में दिखाती है ताकि उन्हें पुष्ट या सुधारा जाए। प्री-लेबल एनोटेटर को मॉडल के उत्तर की ओर भी खींचता है, इसलिए प्री-लेबल इस्तेमाल करने वाले अध्ययन को कुछ एनोटेटरों को होल्ड-आउट रखना चाहिए और मापना चाहिए कि उत्तर कितने खिसकते हैं।

v2.14.0 में नया

प्री-लेबल वह एक लेबल है जो किसी मॉडल ने किसी आइटम के लिए तब प्रस्तावित किया जब किसी व्यक्ति ने उस आइटम पर लेबल नहीं लगाया था। मॉडल-सहायित लेबलिंग, जिसे प्री-लेबलिंग भी कहते हैं, एक human-in-the-loop कार्यप्रवाह है जिसमें एनोटेटर उन प्री-लेबल को स्वीकार करते हैं, संपादित करते हैं या अस्वीकार करते हैं, और स्वीकार किए तथा सुधारे गए लेबल डेटासेट बनते हैं। यह गाइड उस स्थिति को कवर करती है जहाँ मॉडल प्रोजेक्ट के अपने एनोटेशन पर प्रशिक्षित होता है और अधिक एनोटेशन आने पर दोबारा प्रशिक्षित होता है। LLM और विज़न प्री-एनोटेशन गाइड प्रॉम्प्ट किए गए सामान्य-उद्देश्य मॉडल के प्री-लेबल कवर करती है, और सक्रिय अधिगम गाइड कवर करती है कि अगले कौन-से आइटम लेबल किए जाएँ।

आपके लेबलों पर प्रशिक्षित मॉडल LLM प्री-एनोटेशन से कैसे अलग है

LLM या पहले से प्रशिक्षित विज़न मॉडल प्रॉम्प्ट और कुछ उदाहरणों के मार्गदर्शन में पहले ही आइटम से प्री-लेबल कर सकता है। आपके लेबलों पर प्रशिक्षित मॉडल शून्य से शुरू होता है और उसे पहले लेबल किए आइटमों का आरंभिक सेट चाहिए। Potato का sklearn-text ट्रेनर प्रशिक्षण स्प्लिट में 10 से कम आइटम हों तो फ़िट करने से मना कर देता है, और Hugging Face के टेक्स्ट, टोकन और चित्र वर्गीकारक 20 से नीचे मना करते हैं। बदले में, प्रशिक्षित मॉडल वे लेबल सीमाएँ सीखता है जो आपके एनोटेटर आपके आइटमों पर सचमुच खींचते हैं। हर रन होल्ड-आउट आइटमों पर स्कोर होता है, और किसी एनोटेटर के प्री-लेबल देखने से पहले स्कोर Training पेज पर होता है। छोटा वर्गीकारक आपकी अपनी मशीन पर प्रति आइटम बिना लागत के भी चलता है।

आरंभिक सेट बढ़ने के दौरान LLM सुझाव अध्ययन की शुरुआत सँभाल सकते हैं, और जब प्रशिक्षित मॉडल का होल्ड-आउट स्कोर उन्हीं लेबलों से LLM की सहमति को पार कर ले, तब प्रशिक्षित मॉडल कमान सँभाल सकता है। सक्रिय अधिगम दोनों के साथ जुड़ता है, क्योंकि सक्रिय अधिगम आइटमों का क्रम चुनता है और प्री-लेबलिंग हर आइटम पर काम बदलती है।

प्री-लेबल कब समय बचाते हैं

प्री-लेबलिंग तब समय बचाती है जब लेबल पढ़कर पुष्ट करना उसे बनाने से तेज़ हो। दो एनोटेटरों वाले पार्ट-ऑफ़-स्पीच टैगिंग प्रयोग में Fort और Sagot (2010) ने एक एनोटेटर को प्री-एनोटेशन के बिना लगभग 7.5 मिनट प्रति 10 वाक्य और टैगर का आउटपुट सुधारते समय लगभग 2.5 मिनट मापा। केवल 50 वाक्यों पर प्रशिक्षित टैगर 81.6% सटीकता तक पहुँचा, और उस टैगर के प्री-एनोटेशन से बचा समय 37,990 वाक्यों पर प्रशिक्षित 96.4% वाले टैगर से बचे समय से सार्थक रूप से अलग नहीं था। केवल 10 वाक्यों पर प्रशिक्षित टैगर ने अन्य टैगरों की तुलना में एनोटेशन को सार्थक रूप से धीमा किया, और वह टैगर 66.5% सटीक था। Lingren et al. (2014) ने क्लिनिकल नामित इकाई एनोटेशन के लिए प्रति इकाई 13.85% से 21.5% समय बचत पाई, सहमति या एनोटेटर के प्रदर्शन में कोई सार्थक बदलाव नहीं। Mikulová et al. (2022) ने पाया कि सटीक पार्सर से प्री-एनोटेशन ने निर्भरता एनोटेशन को तेज़ और अधिक सुसंगत बनाया।

किसी प्रोजेक्ट के अपने लेबलों पर प्रशिक्षित मॉडल के लिए, Fort और Sagot का परिणाम सुझाता है कि पहले कुछ दर्जन लेबल किए आइटमों पर प्रशिक्षित मॉडल पहले ही समय बचा सकता है। संयोग के पास अटका मॉडल समय खर्च कराता है, इसलिए पहले प्री-लेबल संयोग से काफ़ी ऊपर के होल्ड-आउट स्कोर तक रुकने चाहिए।

प्री-लेबल कब नुकसान करते हैं

प्री-लेबल गति के साथ उत्तर भी बदलते हैं। एंकरिंग किसी सुझाए उत्तर का बाद के निर्णय पर खिंचाव है, और रबर-स्टैम्पिंग सुझावों को बिना पढ़े स्वीकार करना है, जो ऑटोमेशन बायस का एक रूप है। Fort और Sagot के प्रयोग में, अधिक सटीक एनोटेटर की सटीकता 81.6% वाले टैगर के प्री-एनोटेशन के साथ 98.1% से 95.8% पर गिर गई, और सर्वश्रेष्ठ टैगर के साथ उसी एनोटेटर ने व्यवस्थित त्रुटियाँ कीं जो टैगर की अपनी त्रुटियों से मेल खाती थीं (भूतकालिक कृदंत की जगह विशेषण)। व्यक्तिपरक कार्यों पर LLM सुझावों के पूर्व-पंजीकृत अध्ययन में Schroeder et al. (2025) ने पाया कि एनोटेटर तेज़ नहीं हुए और सुझावों को इतनी बार अपनाया कि लेबल वितरण खिसक गया। जब सहायता वाले लेबल मूल्यांकन के संदर्भ के रूप में इस्तेमाल हुए, तब LLM की मापी गई सटीकता भी बढ़ी।

स्वीकार किए प्री-लेबल पर दोबारा प्रशिक्षण एक फ़ीडबैक चक्र जोड़ता है। जो प्री-लेबल एनोटेटर बिना बदले सहेजता है वह उस एनोटेटर का उत्तर बन जाता है, और अगला प्रशिक्षण रन उस उत्तर से किसी भी अन्य लेबल की तरह सीखता है। इसलिए जो त्रुटि एनोटेटर स्वीकार कर लेते हैं वह प्रशिक्षण डेटा के रूप में लौटती है, और अगला मॉडल नए आइटमों पर वही त्रुटि दोहरा सकता है। सहमति के माप इस चक्र को नहीं पकड़ सकते, क्योंकि जो एनोटेटर एक ही प्री-लेबल स्वीकार करते हैं वे निर्माण से ही सहमत होते हैं। समीक्षा और रबर-स्टैम्पिंग में अंतर कैसे पहचानें बिना पढ़े स्वीकार करने वाले एनोटेटरों के समय-संकेत बताता है, और LLM सुझाव एनोटेटरों को कैसे एंकर करते हैं, इसे मापना पढ़ने वाले पर भी खिंचाव पड़ने वाले एनोटेटरों के लिए ब्लाइंड आइटम बताता है।

डिज़ाइन के विकल्प

चार सेटिंग तय करती हैं कि प्री-लेबल किसी अध्ययन की मदद करते हैं या नहीं: विश्वास की न्यूनतम सीमा, किन आइटमों को प्री-लेबल मिलते हैं, कितने एनोटेटर होल्ड-आउट रखे जाते हैं, और मॉडल कितनी बार दोबारा प्रशिक्षित होता है।

विश्वास सीमा

विश्वास की न्यूनतम सीमा से नीचे भविष्यवाणी छिपा दी जाती है और एनोटेटर आइटम पर शुरू से लेबल लगाता है। ऊँची सीमा कम प्री-लेबल और सही प्री-लेबल का बड़ा हिस्सा दिखाती है। सीमा तभी कुछ मायने रखती है जब मॉडल के विश्वास मान कैलिब्रेटेड हों। कैलिब्रेटेड मॉडल की 0.8 विश्वास पर की गई भविष्यवाणियाँ होल्ड-आउट आइटमों पर लगभग 80% बार सही होती हैं। Potato का sklearn-text रन में कम से कम 50 प्रशिक्षण आइटम होने पर वर्गीकारक के विश्वास मान डिफ़ॉल्ट रूप से कैलिब्रेट करता है, 1,000 आइटम से नीचे Platt स्केलिंग और वहाँ से आइसोटोनिक रिग्रेशन के साथ। सीमा होल्ड-आउट आइटमों से तय करें, उस विश्वास पर जिसके ऊपर मॉडल इतनी बार सही हो कि प्री-लेबल जाँचना आइटम पर लेबल लगाने से तेज़ हो।

किन आइटमों को प्री-लेबल मिलते हैं

Potato मॉडल के अपने प्रशिक्षण आइटमों को कभी प्री-लेबल नहीं करता, क्योंकि मॉडल प्रशिक्षण डेटा के बारे में ऐसे कारणों से आश्वस्त होता है जो नए डेटा के बारे में कुछ नहीं बताते। इस नियम के अलावा, अंतर-एनोटेटर सहमति मापने वाले आइटमों और गोल्ड आइटमों से प्री-लेबल दूर रखें। साझा प्री-लेबल वाले आइटमों पर सहमति प्री-लेबल को मापती है, और स्क्रीन पर प्री-लेबल के साथ उत्तर दिया गया गोल्ड आइटम एनोटेटर जितना ही मॉडल को मापता है। बाकी आइटमों में, कम विश्वास वाले पहले के क्रम में छाँटी गई समीक्षा कतार एनोटेटरों को मॉडल की संभावित गलतियों पर लगाती है। हर आइटम को कम विश्वास वाले पहले के क्रम में परोसने वाली कतार उस अध्ययन में बैठती है जहाँ हर आइटम को अब भी मानव लेबल चाहिए।

प्रभाव मापने के लिए एनोटेटरों को होल्ड-आउट रखना

एंकरिंग उसी तरह के आइटम पर उन्हीं एनोटेटरों के, प्री-लेबल के साथ दिए उत्तरों की प्री-लेबल के बिना दिए उत्तरों से तुलना करके मापी जाती है। Potato का ai_support.holdout एनोटेटर-आइटम जोड़ियों के एक यादृच्छिक हिस्से से हर तरह की सहायता रोक लेता है, और प्रशिक्षण के प्री-लेबल रोके गए रूपों में हैं। Potato हर आइटम के बजाय हर जोड़ी पर चयन करता है, और तब ज़्यादातर आइटमों को कुछ सहायता वाले और कुछ होल्ड-आउट एनोटेटर मिलते हैं। साल्ट वाला हैश हर जोड़ी को पुनः आरंभ के बाद भी उसी समूह में रखता है। radio, multiselect, likert और select स्कीमों के लिए एडमिन डैशबोर्ड का AI influence टैब दोनों समूहों की तुलना इन बातों पर करता है कि उत्तर कितनी बार मॉडल से मेल खाते हैं, कितनी बार गोल्ड से मेल खाते हैं, और हर समूह के भीतर सहमति। मॉडल के उत्तर वाले आइटमों पर हर समूह के 10 उत्तर हो जाने पर टैब मॉडल सहमति के अंतर की रिपोर्ट 95% बूटस्ट्रैप अंतराल के साथ देता है। अंश और साल्ट एनोटेशन शुरू होने से पहले सेट करें, क्योंकि अध्ययन के बीच दोनों में से कुछ भी बदलने से समूह दोबारा बँट जाते हैं। AI प्रभाव मापना होल्ड-आउट द्वारा रोकी गई हर सहायता सतह सूचीबद्ध करता है।

कितनी बार दोबारा प्रशिक्षित करें

बार-बार दोबारा प्रशिक्षण प्री-लेबल को ताज़ा दिशानिर्देश निर्णयों और सुधारों के साथ अद्यतन रखता है, और हर दोबारा प्रशिक्षण एनोटेटरों को दिखने वाले प्री-लेबल भी बदल देता है। Potato का auto_retrain तब रन शुरू करता है जब update_frequency नए एनोटेशन (डिफ़ॉल्ट 25) आ गए हों और पिछले रन के खत्म होने के बाद min_interval_s सेकंड (डिफ़ॉल्ट 600) बीत चुके हों। बड़ा update_frequency कंप्यूट बचाता है और काम के लंबे दौर में प्री-लेबल स्थिर रखता है। अध्ययन भर split_seed स्थिर रखें, क्योंकि सीड बदलने से होल्ड-आउट आइटम प्रशिक्षण में चले जाते हैं और एक रन का होल्ड-आउट स्कोर अगले से अतुलनीय हो जाता है। Potato समीक्षक द्वारा सुधारे हर आइटम को हर बाद के रन के प्रशिक्षण स्प्लिट में भी रखता है। तब सुधार अगले मॉडल को सिखाता है और मॉडल को स्कोर करने में कभी इस्तेमाल नहीं होता।

Potato में मॉडल-सहायित लेबलिंग

Potato का मॉडल प्रशिक्षण एडमिन Training पेज से अध्ययन के अपने एनोटेशन पर मॉडल फ़िट करता है, मॉडल को होल्ड-आउट आइटमों पर स्कोर करता है, और मॉडल की भविष्यवाणियाँ प्री-लेबल के रूप में आइटमों में राइट-बैक करता है। राइट-बैक एनोटेशन पेज पर मॉडल का उत्तर पहले से चुना हुआ दिखाता है। प्री-लेबल तभी एनोटेटर का उत्तर बनता है जब एनोटेटर उसे संपादित करे या आगे बढ़े। तब तक आइटम पूरा नहीं गिना जाता। ये ब्लॉक sentiment नाम की radio स्कीम वाली config में स्वचालित दोबारा प्रशिक्षण और 20% होल्ड-आउट के साथ मॉडल-सहायित लेबलिंग जोड़ते हैं:

yaml

model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas उन स्कीमों के नाम देता है जिनकी भविष्यवाणियाँ एनोटेटर देखते हैं। सूची डिफ़ॉल्ट रूप से खाली होती है, और जब तक सूची किसी स्कीम को नामित न करे, एनोटेटर कोई भविष्यवाणी नहीं देखते। include_unlabeled: true उन आइटमों पर भी भविष्यवाणी करता है जिन पर अभी किसी ने लेबल नहीं लगाया, और प्री-लेबल उन्हीं आइटमों पर समय बचाता है। इस सेटिंग के बिना रन केवल अपने होल्ड-आउट आइटमों पर भविष्यवाणी करता है। min_confidence से कम की भविष्यवाणियाँ सहेजी जाती हैं और दिखाई नहीं जातीं। होल्ड-आउट ब्लॉक ai_support.enabled बंद होने पर भी काम करता है।

assignment_strategy: model_review प्री-लेबल वाले आइटम समीक्षा के लिए कम विश्वास वाले पहले परोसती है, और assignment_strategy: llm_confidence हर आइटम उसी क्रम में परोसती है। समीक्षक हर प्री-लेबल पर accept, correct या reject निर्णय दर्ज करता है। अस्वीकार किया प्री-लेबल आइटम से हट जाता है और दोबारा नहीं दिखाया जाता। DELETE /admin/training/api/runs/<run_id>/predictions रन के लिखे हर प्री-लेबल को वापस लेता है। चक्र में मॉडल राइट-बैक, समीक्षा कतार, अधिग्रहण क्रम और auto_retrain चरण-दर-चरण समझाता है, और अपस्ट्रीम राइट-बैक संदर्भ वे हर जाँच सूचीबद्ध करता है जो कोई भविष्यवाणी एनोटेटर को दिखने से पहले पास करती है।

आगे पढ़ें

मॉडल प्रशिक्षण का अवलोकन, Training पेज और प्रशिक्षण चक्र
अपना पहला मॉडल प्रशिक्षित करें, sklearn-text के साथ बिना GPU का ट्यूटोरियल
एनोटेशन डेटा से प्रशिक्षित मॉडल तक
LLM और विज़न प्री-एनोटेशन
एनोटेशन के लिए सक्रिय अधिगम
समीक्षा और रबर-स्टैम्पिंग में अंतर कैसे पहचानें
LLM सुझाव एनोटेटरों को कैसे एंकर करते हैं, इसे मापना

संदर्भ

Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323