AI ऑटो-लेबलिंग की तुलना: Label Studio, CVAT, Labelbox, Prodigy, Argilla और Potato

यहाँ तुलना किए गए सभी छह टूल मॉडल लेबल इंपोर्ट या जनरेट कर सकते हैं और उन्हें समीक्षा के लिए लोगों के पास भेज सकते हैं, इसलिए यह तुलना इस पर केंद्रित है कि हर टूल अपने रखे गए लेबलों के बारे में क्या मापता है। अक्टूबर 2026 में हमने जो दस्तावेज़ पढ़े, उनमें टूल ग्राउंड ट्रुथ के मुकाबले या एनोटेटरों के बीच सटीकता, प्रिसिज़न, रिकॉल या सहमति को बिंदु मानों के रूप में बताते हैं, और उनमें से कोई भी मशीन-लेबल की गुणवत्ता पर कोई अंतराल या त्रुटि सीमा नहीं बताता।

यहाँ ऑटो-लेबलिंग का मतलब है कोई भी सुविधा जो किसी आइटम पर किसी व्यक्ति से पहले या उसकी जगह मॉडल का लेबल लगाती है, चाहे मॉडल कोई डिटेक्टर हो, कोई क्लासिफ़ायर हो या काम के साथ प्रॉम्प्ट किया गया कोई LLM। इस तुलना के हर टूल में इसका कोई न कोई रूप है, और टूल तीन सवालों पर अलग-अलग हैं, जो किसी एक को चुनने से पहले पूछने लायक हैं:

1. मशीन लेबल किसी प्रोजेक्ट में कैसे आते हैं, चाहे भविष्यवाणियों के रूप में इंपोर्ट हों, किसी जुड़े हुए मॉडल से जनरेट हों, या टूल के भीतर किसी LLM प्रॉम्प्ट से बनें।
2. कोई व्यक्ति उनकी समीक्षा कैसे करता है, और क्या लेबल लगाते समय व्यक्ति को मॉडल का उत्तर दिखता है।
3. टूल इस बारे में क्या बताता है कि मशीन लेबल कितनी बार गलत होते हैं, किस संदर्भ के मुकाबले, और कितनी अनिश्चितता के साथ।

नीचे का हर खंड अक्टूबर 2026 तक टूल के अपने दस्तावेज़ से लिया गया है, और जहाँ उद्धरण है वहाँ लिंक दिया गया है। जहाँ हमें दस्तावेज़ में कुछ नहीं मिला, वहाँ हम यही कहते हैं, क्योंकि कोई सुविधा दस्तावेज़ित हुए बिना भी मौजूद हो सकती है।

Label Studio

Label Studio मॉडलों को एक ML बैकएंड से जोड़ता है, जो एक SDK है जो आपके मॉडल को वेब सर्वर के रूप में लपेटता है, और भविष्यवाणियों को predictions कुंजी के तहत model_version और score के साथ इंपोर्ट करता है। इंपोर्ट की गई भविष्यवाणियाँ बदली नहीं जा सकतीं, और स्कोर पूरी भविष्यवाणी पर लागू होता है। Enterprise और Starter Cloud संस्करण Prompts जोड़ते हैं, जो LLM प्रॉम्प्ट से भविष्यवाणियाँ जनरेट करता है और उन्हें स्कोर देता है, और ML पेज "LLM की सहायता से ऑटो-लेबलिंग और मॉडल मूल्यांकन" के लिए एक Enterprise सुविधा का वर्णन करता है।

समीक्षा एक Enterprise वर्कफ़्लो है। क्वालिटी गाइड कहती है कि "एनोटेशन समीक्षा वर्कफ़्लो केवल Label Studio Enterprise Edition में उपलब्ध है", जिसमें स्वीकार करने, अस्वीकार करने और ठीक करके स्वीकार करने की कार्रवाइयाँ हैं, और टास्क को मॉडल के विश्वास के अनुसार क्रम में लगाने का एक विकल्प है। समीक्षा सैंपलिंग सेटिंग्स प्रायिकता-आधारित दरों के रूप में लागू होती हैं, और अनिश्चितता सैंपलिंग सबसे कम विश्वास वाली भविष्यवाणियों को पहले लोगों के पास भेजती है।

गुणवत्ता के लिए, Label Studio Enterprise एनोटेशन और मॉडल भविष्यवाणियों की तुलना ग्राउंड ट्रुथ से करता है "ताकि 0 और 1 के बीच एक सटीकता स्कोर निकाला जा सके", और इसके सहमति मैट्रिक्स में मॉडल संस्करण शामिल हो सकते हैं। Prompts ग्राउंड ट्रुथ के मुकाबले कुल सटीकता और F1, मूल्यांकित टास्क की संख्या, और इन्फ़रेंस लागत बताता है, हर एक बिंदु स्कोर के रूप में। इसका Prompts overview जोड़ता है कि "प्रॉम्प्ट मूल्यांकन के लिए आपके पास जितना ज़्यादा डेटा होगा, आप परिणामों को लेकर उतने ही ज़्यादा आश्वस्त हो सकते हैं", लेकिन कोई अंतराल नहीं बताता।

CVAT

CVAT का ऑटोमैटिक एनोटेशन किसी डिटेक्टर या री-आइडेंटिफ़िकेशन मॉडल से डेटा को प्री-एनोटेट करता है, एक वैकल्पिक विश्वास थ्रेशोल्ड के साथ। कौन-से मॉडल उपलब्ध हैं, यह संस्करण पर निर्भर करता है। AI मॉडल तालिका Community संस्करण के लिए Nuclio फ़ंक्शन सूचीबद्ध करती है, और CVAT Online और Enterprise के लिए Hugging Face और Roboflow के थर्ड-पार्टी मॉडल और नेटिव AI-एजेंट फ़ंक्शन।

मानव समीक्षा के लिए, CVAT में समस्याएँ रिपोर्ट करने के लिए एक रिव्यू मोड और एक वैलिडेशन चरण है, और consensus कई एनोटेटरों के काम को 0 से 1 तक के सहमति स्कोर के साथ एक परिणाम में मिला देता है। CVAT का ग्राउंड-ट्रुथ और हनीपॉट गुणवत्ता नियंत्रण, जो CVAT Online और Enterprise के लिए चिह्नित है, एनोटेशन जॉब की तुलना एक ग्राउंड-ट्रुथ जॉब से करता है और सटीकता, प्रिसिज़न और रिकॉल बताता है। दस्तावेज़ इस तरीके को सांख्यिकीय बताता है, जो एक छोटे हिस्से से पूरे डेटासेट की गुणवत्ता का अनुमान लगाता है, और कहता है कि "आम तौर पर 5-15% डेटा काफ़ी होता है"। क्वालिटी रिपोर्ट टास्क के हर जॉब की तुलना ग्राउंड-ट्रुथ जॉब से करती है, इसलिए वह ऑटोमैटिक एनोटेशन के आउटपुट को केवल उतना ही आँकती है जितना वह उन जॉब में शामिल है, और हमें ऐसी कोई रिपोर्ट नहीं मिली जो मशीन एनोटेशन को मानव एनोटेशन से अलग करे।

Labelbox

Labelbox प्री-लेबल इंपोर्ट करता है, जिन्हें वह "सुझाए गए एनोटेशन जो प्रोग्राम के ज़रिए किसी Labelbox प्रोजेक्ट में इंपोर्ट किए जाते हैं" बताता है, ताकि लोग उनकी समीक्षा करें। इसकी Foundry सुविधा किसी मॉडल से लेबल जनरेट करती है, एक विश्वास थ्रेशोल्ड के साथ "जो मॉडल को बताता है कि कोई लेबल सुझाने से पहले उसे कितना निश्चित होना चाहिए"। Foundry, Educational सदस्यताओं को छोड़कर, सभी प्लान पर उपलब्ध है।

Foundry भविष्यवाणियों के उपयोग की गाइड उन्हें लोगों तक भेजने के दो तरीके सुझाती है। एक विश्वास के आधार पर छानता है, जैसे 0.75 से नीचे का सब कुछ समीक्षा के लिए भेजना। दूसरा "समीक्षा के लिए भविष्यवाणियों का एक यादृच्छिक नमूना" भेजता है, जो "व्यवस्थित समस्याएँ पकड़ने और समग्र सटीकता मेट्रिक्स निकालने में मदद करता है"। Labelbox के मॉडल मेट्रिक्स भविष्यवाणियों और ग्राउंड ट्रुथ से 0 से 1 तक के थ्रेशोल्ड पर प्रिसिज़न, रिकॉल, F1, IoU और एक कन्फ़्यूज़न मैट्रिक्स निकालते हैं। इसका deprecations पेज कहता है कि Model experiments सुविधा 15 जुलाई से उपलब्ध नहीं है, बिना कोई साल बताए, जबकि मेट्रिक्स गाइड अब भी कस्टम मेट्रिक्स को Experiment टाइप की ओर भेजती है, इसलिए जाँच लें कि आपके वर्कस्पेस में मॉडल-रन मेट्रिक्स अब भी उपलब्ध हैं।

Prodigy

Prodigy लूप में एक मॉडल के इर्द-गिर्द बना है। ner.correct जैसी रेसिपी किसी व्यक्ति को सुधारने के लिए spaCy मॉडल की भविष्यवाणियाँ दिखाती हैं, ner.teach और textcat.teach उन उदाहरणों को प्राथमिकता देती हैं जिन पर मॉडल सबसे कम निश्चित है, और ner.model-annotate मॉडल के लेबलों को ऐसे दर्ज करती है जैसे किसी एनोटेटर ने लगाए हों। spacy-llm पर बनी LLM रेसिपी उसी सुधार वर्कफ़्लो के लिए लेबल बनाती हैं, और दस्तावेज़ चेतावनी देता है कि "LLM के एनोटेशन गलत हो सकते हैं। एनोटेशन को सँवारने के लिए आपको अब भी लूप में रहना चाहिए।"

review रेसिपी एनोटेटरों के बीच टकराव सुलझाकर एक अंतिम एनोटेशन बनाती है, और metric.iaa.* रेसिपी एनोटेटरों के बीच प्रतिशत सहमति, Krippendorff's alpha और Gwet's AC2 बताती हैं। दस्तावेज़ यह नहीं बताता कि उन सहमति आँकड़ों में मॉडल के model-annotate लेबल शामिल करने हैं या नहीं। प्रॉम्प्ट या मॉडलों की तुलना के लिए, ab.llm.tournament में लोग आउटपुट की जोड़ियों को परखते हैं और यह Glicko रेटिंग सिस्टम से संयोजनों को रैंक करता है। Prodigy का प्राइसिंग पेज एक Personal और एक Company लाइसेंस सूचीबद्ध करता है, जिनमें वही इंस्टॉलर, वेब ऐप्लिकेशन और प्लगइन हैं, और केवल Company लाइसेंस OpenID Connect के साथ SSO जोड़ता है।

Argilla

Argilla मॉडल के आउटपुट को रिकॉर्ड से सुझावों के रूप में जोड़ता है, जिनमें से हर एक के साथ एक स्कोर, उसे बनाने वाला एजेंट, और model या human टाइप होता है। एनोटेशन व्यू में, सुझाव पहले से भरे उत्तरों के रूप में दिखते हैं, जिन पर एक स्पार्कल आइकन होता है, और जब डेटासेट में विश्वास स्कोर हों तो वे भी दिखते हैं। Argilla 1.x में एक मेट्रिक्स मॉड्यूल था जो उत्तरों की तुलना सुझावों से करता था और सटीकता, F1 और Krippendorff's alpha जैसे मेट्रिक्स बताता था। Argilla 2.x के दस्तावेज़ में हमें सहमति या मॉडल-मेट्रिक रिपोर्टिंग नहीं मिली। सिंथेटिक डेटा और AI फ़ीडबैक, जिसमें LLM जजिंग शामिल है, अलग distilabel लाइब्रेरी में हैं।

Potato

Potato LLM और विज़न मॉडलों को ai_support के ज़रिए जोड़ता है, और संस्करण 2.9 से यह दर्ज करता है कि मॉडल ने पहले क्या उत्तर दिया (pre_annotation_seeds) और एनोटेटर ने क्या सहेजा (final_annotation), इसलिए स्वीकृति दर आपके अपने डेटा से आती है। icl_labeling किसी LLM को वे एनोटेशन उदाहरण के रूप में देता है जिन पर आपके एनोटेटर पहले से सहमत हैं, उससे बाकी पर लेबल लगवाता है, और उसके लेबलों का एक नमूना ब्लाइंड सत्यापन के लिए लोगों के पास वापस भेजता है, जिसमें हर स्कीमा की सटीकता ट्रैक होती है।

किसी मॉडल या LLM जज के लिए, Potato का जज कैलिब्रेशन मॉडल के लेबल वहाँ रखता है जहाँ एनोटेटर उन्हें देख नहीं सकते, ब्लाइंड मानव लेबलिंग के लिए एक यादृच्छिक या स्तरीकृत नमूना चुनता है, और मानव गोल्ड लेबल के मुकाबले सटीकता, मानव-मॉडल, मॉडल-मॉडल और मानव-मानव जोड़ियों के लिए Cohen's kappa, Krippendorff's alpha, और अपेक्षित कैलिब्रेशन त्रुटि व Brier स्कोर के रूप में कैलिब्रेशन बताता है। मॉडल के kappa की तुलना मानव एनोटेटरों के आपसी kappa से करने पर पता चलता है कि मॉडल लगभग किसी दूसरे एनोटेटर जितना अच्छा करता है या नहीं, जैसा LLM जज सहमति समझाता है। Solo Mode में एक विशेषज्ञ किसी LLM के साथ-साथ लेबल लगाता है, और जब उनकी सहमति एक थ्रेशोल्ड पार कर जाती है, तो बाकी कॉर्पस उसे सौंप दिया जाता है। बाकी टूलों की तरह, ये सुविधाएँ बिंदु अनुमान बताती हैं, और त्रुटि दर पर अंतराल टूल के बाहर निकालना पड़ता है, जैसा आखिरी खंड बताता है।

तीन सवालों पर छह टूल

तालिका छहों की तुलना तीन सवालों पर करती है, अक्टूबर 2026 तक हर प्रोजेक्ट के प्रकाशित दस्तावेज़ से:

किसी भी टूल में मशीन लेबलों की जाँच

आप जो भी टूल उपयोग करें, जिस संख्या का आप बचाव कर सकते हैं, वह उन्हीं तीन कदमों से आती है। मानव जाँच के लिए आइटम यादृच्छिक रूप से चुनें, कम-विश्वास वाले सिरे से नहीं, क्योंकि सबसे कठिन आइटमों का नमूना बाकी पर त्रुटि दर के बारे में कुछ नहीं बताता। लोगों से उस नमूने पर मॉडल का उत्तर देखे बिना लेबल लगवाएँ, क्योंकि दिखता हुआ सुझाव उत्तर को अपनी ओर खींचता है। फिर नमूने पर त्रुटि दर को एक विश्वास अंतराल के साथ बताएँ, Wilson जैसे किसी binomial proportion interval का उपयोग करके, ताकि पाठक देख सके कि क्या 200 जाँचे गए लेबल आपके दावे का समर्थन करते हैं।

Labelbox की यादृच्छिक-नमूना रूटिंग, CVAT के यादृच्छिक रूप से चुने गए ग्राउंड-ट्रुथ फ़्रेम (Online और Enterprise) और Potato का जज कैलिब्रेशन नमूना, जो स्तरीकृत भी हो सकता है, पहले से यादृच्छिक रूप से चुनते हैं। बाकी टूलों में, आइटम ID का एक यादृच्छिक उपसमूह एक्सपोर्ट करें, भविष्यवाणियाँ छिपाकर उसे एक अलग टास्क के रूप में असाइन करें, और अंतराल टूल के बाहर निकालें।

आगे पढ़ें

• एनोटेशन टूलों की तुलना, सुविधाओं की व्यापक तुलना के लिए
• LLM प्री-एनोटेशन, लोगों के सुझावों की समीक्षा करते समय ऑटोमेशन पूर्वाग्रह पर
• LLM जज सहमति, किसी जज की तुलना लोगों की आपसी सहमति से करने पर