टेक्स्ट एनोटेशन टूल की तुलना: ओपन-सोर्स और सशुल्क NLP टूल

टेक्स्ट एनोटेशन टूल एनोटेटरों को दस्तावेज़ दिखाता है और वे जो चिह्नित करते हैं उसे दर्ज करता है: पूरे टेक्स्ट के लिए एक लेबल, नामित इकाइयों जैसे हाइलाइट किए गए स्पैन, और स्पैन के बीच लिंक। Potato, INCEpTION, doccano और Label Studio का Community Edition मुफ़्त में सेल्फ़-होस्ट किए जा सकते हैं, और सभी नामित इकाई पहचान और संबंध संभालते हैं। टूल सबसे ज़्यादा तब अलग होते हैं जब किसी प्रोजेक्ट में बहुत से एनोटेटर हों। Potato उन्हें Prolific या किसी SONA सब्जेक्ट पूल से भर्ती करता है, असली काम से पहले उन्हें प्रशिक्षित करता और जाँचता है, और उन सभी के बीच संयोग के लिए सुधारी गई स्पैन सहमति रिपोर्ट करता है, बिना किसी सशुल्क प्लान के। ज्ञान-आधार से लिंक करने में INCEpTION आगे है, और एनोटेशन करते हुए spaCy मॉडल प्रशिक्षित करने में Prodigy। brat और Argilla में अब नई सुविधाएँ नहीं जुड़ रहीं।

ज़्यादातर टेक्स्ट कार्य तीन में से किसी एक रूप के होते हैं। टेक्स्ट वर्गीकरण पूरे दस्तावेज़ को एक लेबल देता है। नामित इकाई पहचान और दूसरे स्पैन कार्य टेक्स्ट के हिस्सों को चिह्नित करते हैं। संबंध निष्कर्षण और कोरेफ़रेंस रिज़ॉल्यूशन स्पैन को आपस में जोड़ते हैं। इस पेज के सभी टूल स्पैन संभालते हैं, और सबसे ज़्यादा फ़र्क़ जोड़ने के काम में दिखता है।

यह पेज सिर्फ़ टेक्स्ट के बारे में है। सभी डेटा प्रकारों की एक पेज पर तुलना AI एनोटेशन टूल की तुलना में है।

किन टेक्स्ट एनोटेशन टूल की तुलना करनी चाहिए?

सुविधाएँ आमने-सामने

एनोटेशन के मामले में, सक्रिय रूप से बनाए रखे जा रहे पाँचों टूल लगभग बराबर हैं:

बहुत से एनोटेटरों के साथ अध्ययन चलाने में वे बराबर नहीं हैं:

डैश का अर्थ है कि सितंबर 2026 में हमें उस टूल के दस्तावेज़ीकरण, मूल्य पृष्ठ या रिपॉज़िटरी में इसके बारे में कुछ नहीं मिला। अगर कोई सेल ग़लत है, तो हमें बताएँ।

टेक्स्ट के लिए Potato कहाँ आगे है

लेबल के आसपास का अध्ययन। बहुत सा टेक्स्ट एनोटेशन क्राउडवर्करों के साथ किया गया शोध होता है: भावना, रुख़, आपत्तिजनक भाषा, मॉडल आउटपुट की गुणवत्ता। प्रतिभागी Prolific या SONA से आते हैं और पूर्णता कोड या क्रेडिट लेकर जाते हैं। असली काम से पहले वे सहमति देते हैं, स्क्रीनिंग या जनसांख्यिकीय प्रश्नों के उत्तर देते हैं, और फ़ीडबैक वाले अभ्यास आइटम तब तक करते हैं जब तक उत्तीर्ण न हो जाएँ। इसके बाद गोल्ड आइटम और ध्यान जाँच असली आइटमों के साथ चलती हैं। Potato यह सब अपने YAML कॉन्फ़िगरेशन से सेट करता है, और इसका Prolific इंटीग्रेशन उन आइटमों को फिर से बाँटता है जिन्हें प्रतिभागियों ने बीच में छोड़ दिया, और सर्वर व्यस्त होने पर अध्ययन रोक सकता है। यहाँ के बाक़ी टूल मानकर चलते हैं कि एनोटेटर पहले से आपकी टीम में हैं। देखें क्राउडसोर्स्ड स्टडी चलाना, प्रशिक्षण चरण और Gold Standard और Attention Check।

ऐसी स्पैन सहमति जिसे रिपोर्ट किया जा सके। Prodigy जो जोड़ीवार F1 निकालता है, वह एक बार में दो एनोटेटरों की तुलना करता है और संयोग के लिए सुधार नहीं करता। Potato का प्रति-कैरेक्टर लेबल पर α और उसका γ लेबल के साथ-साथ यह भी आँकते हैं कि हर स्पैन कहाँ शुरू और ख़त्म होता है, संयोग के लिए सुधार करते हैं, और सभी एनोटेटरों को एक साथ लेते हैं। INCEpTION ख़ुद Krippendorff का यूनिटाइज़िंग α देता है, एनोटेटर जोड़ियों के मैट्रिक्स के रूप में।

उत्तर किसने लिखा। अगर कोई मुक्त-टेक्स्ट उत्तर टाइप करने के बजाय चिपकाया गया था, तो हो सकता है कि एनोटेटर ने उसे ख़ुद न लिखा हो। Potato की कीस्ट्रोक लॉगिंग दर्ज करती है कि हर उत्तर कैसे बना, और लेखन-प्रक्रिया फ़्लैग उन उत्तरों को चिह्नित करते हैं जो ज़्यादातर चिपकाकर आए, ऐसी सीमाओं के साथ जिन्हें आप पढ़ और बदल सकते हैं।

टेक्स्ट लेबल पर सहमति

एक ही इकाई को चिह्नित करने वाले दो एनोटेटर शायद ही कभी उसकी सटीक सीमाओं पर सहमत होते हैं, और जो मेट्रिक लेबल की तुलना टोकन-दर-टोकन करता है, वह सीमा के हर अंतर को लेबल पर असहमति मान लेता है। इसलिए कोई टूल स्पैन पर सहमति को कैसे आँकता है, यह उतना ही मायने रखता है जितना यह कि वह सहमति रिपोर्ट करता है या नहीं।

• Potato BIO टैग पर टोकन-स्तर का κ, सटीक और आंशिक मिलान पर स्पैन F1, प्रति-कैरेक्टर लेबल पर Krippendorff का α, और Mathet et al. (2015) का एक सरलीकृत γ रिपोर्ट करता है। आख़िरी दो यह भी आँकते हैं कि स्पैन कहाँ शुरू और ख़त्म होता है, सिर्फ़ यह नहीं कि उसे क्या नाम दिया गया। देखें स्पैन पर सहमति मापना।
• INCEpTION Cohen का κ, Fleiss का κ और Krippendorff का α निकालता है, यूनिटाइज़िंग रूप सहित, जो एनोटेटर जोड़ियों के मैट्रिक्स के रूप में दिखते हैं, और असहमतियाँ सुलझाने के लिए उसमें क्यूरेशन इंटरफ़ेस है।
• Prodigy metric.iaa.doc रेसिपी से दस्तावेज़ लेबल के लिए प्रतिशत सहमति, Krippendorff का α और Gwet का AC2 रिपोर्ट करता है, और metric.iaa.span से स्पैन के लिए जोड़ीवार F1। इसकी review रेसिपी निर्णय का काम करती है।
• Label Studio सहमति को अपने सशुल्क प्लान तक सीमित रखता है। उसके Enterprise संस्करण के लिए सूचीबद्ध मेट्रिक हैं: सटीक मिलान, संख्यात्मक अंतर, IoU और स्पैन ओवरलैप।
• doccano में कोई सहमति मेट्रिक नहीं है।

सामान्य स्थिति के लिए देखें इंटर-एनोटेटर सहमति की व्याख्या।

टूल विस्तार से

INCEpTION

TU Darmstadt का INCEpTION, WebAnno का उत्तराधिकारी है और भाषावैज्ञानिक काम के लिए सबसे नज़दीकी तुलना है। इसमें संबंध लेयर, कोरेफ़रेंस के लिए चेन लेयर, दस्तावेज़-स्तर का एनोटेशन, और ऐसे कॉन्सेप्ट फ़ीचर हैं जो किसी एनोटेशन को Wikidata या DBpedia जैसे नॉलेज बेस की किसी प्रविष्टि से जोड़ते हैं। नॉलेज बेस से जोड़ने में यह Potato से आगे है। इसके रिकमेंडर एनोटेशन सुझाते हैं, और सक्रिय शिक्षण इसमें बना हुआ है। यह एक Java ऐप्लिकेशन है और इस पेज के बाक़ी टूल से इसे डिप्लॉय करने में ज़्यादा मेहनत लगती है। सिस्टम का विवरण Eckart de Castilho et al. (EMNLP 2024) में है।

Prodigy

Explosion का Prodigy लूप में मॉडल के साथ एनोटेशन के इर्द-गिर्द बना है और spaCy से यहाँ के किसी भी दूसरे टूल से ज़्यादा क़रीब से जुड़ा है। यह वर्गीकरण, स्पैन, rel.manual रेसिपी से संबंध, और coref.manual से कोरेफ़रेंस संभालता है, और spacy-llm के ज़रिए LLM तक पहुँचता है। कार्य Python रेसिपी में परिभाषित होते हैं। इस पेज पर यही अकेला सशुल्क टूल है।

Label Studio

Label Studio का टेक्स्ट सपोर्ट एक ऐसे टूल का हिस्सा है जो इमेज, ऑडियो, वीडियो और टाइम सीरीज़ भी संभालता है। उसका Relations टैग लेबल किए गए क्षेत्रों को जोड़ता है। Community Edition मुफ़्त और ओपन-सोर्स है। सहमति, ग्राउंड ट्रुथ से जाँच और क्वालिटी डैशबोर्ड सशुल्क प्लान में हैं, जिनकी शुरुआत $99 प्रति माह वाले Starter से होती है।

doccano

टेक्स्ट के लिए doccano सबसे जल्दी सेट होता है। इसके प्रोजेक्ट प्रकार हैं: दस्तावेज़ वर्गीकरण, सीक्वेंस लेबलिंग, सीक्वेंस-टू-सीक्वेंस, इंटेंट पहचान और स्लॉट भरना, और स्पीच-टू-टेक्स्ट। सीक्वेंस लेबलिंग प्रोजेक्ट ओवरलैप होने वाले स्पैन और संबंधों की अनुमति दे सकते हैं। इसमें कोरेफ़रेंस या इवेंट एनोटेशन नहीं है, और न ही सहमति मेट्रिक।

brat

कई NLP कॉर्पस brat में बनाए गए, और उसका standoff फ़ॉर्मैट इकाइयाँ, n-ary इवेंट, बाइनरी संबंध, समतुल्यता समूह, एट्रिब्यूट और नॉर्मलाइज़ेशन समेटता है। आख़िरी रिलीज़ नवंबर 2012 की v1.3 है, और master पर आख़िरी कमिट अक्टूबर 2021 का है। इसका स्टैंडअलोन सर्वर Python का cgi मॉड्यूल इम्पोर्ट करता है, जिसे Python 3.13 में हटा दिया गया, इसलिए मौजूदा Python पर यह बिना किसी जुगाड़ के शुरू नहीं होता। brat कॉर्पस पढ़ना अब भी काम का है। brat में नया प्रोजेक्ट शुरू करना कहीं मुश्किल से उचित ठहरता है।

Argilla

Argilla भाषा मॉडल के लिए फ़ीडबैक और पसंद डेटा पर केंद्रित है और Hugging Face Datasets से जुड़ता है। यह टेक्स्ट वर्गीकरण, टोकन वर्गीकरण और जनरेट किए गए टेक्स्ट के मूल्यांकन को सपोर्ट करता है। इसकी रिपॉज़िटरी में अब लिखा है कि मूल लेखक दूसरे प्रोजेक्ट पर चले गए हैं, और प्रोजेक्ट को बग फ़िक्स और पैच मिलते रहेंगे, पर नई सुविधाएँ नहीं।

शोध प्रणालियाँ

कई एनोटेशन सिस्टम ACL सिस्टम डेमो के रूप में प्रकाशित हुए हैं। Thresh सारांश, सरलीकरण और मशीन अनुवाद जैसे बारीक टेक्स्ट-मूल्यांकन कार्य YAML में कॉन्फ़िगर करता है। GATE Teamware 2 एनोटेटर प्रशिक्षण और गुणवत्ता जाँच के साथ दस्तावेज़ वर्गीकरण संभालता है।

हर प्रोजेक्ट के दस्तावेज़ीकरण, कीमत पेज और रिपॉज़िटरी से अगस्त और सितंबर 2026 में जाँचा गया।

एक टूल से दूसरे टूल में कॉर्पस ले जाना

संस्करण 2.9 से Potato brat standoff, doccano JSONL, Prodigy की db-out फ़ाइलें और CoNLL इम्पोर्ट करता है, इसलिए इनमें से किसी में शुरू हुआ प्रोजेक्ट Potato में आगे चल सकता है। मौजूदा लेबल पूर्व-एनोटेशन के रूप में आते हैं। brat के संबंध और इवेंट इम्पोर्ट नहीं होते, बल्कि इम्पोर्ट की चेतावनियों में सूचीबद्ध होते हैं। देखें प्रोजेक्ट इम्पोर्ट करना।

दूसरी दिशा में, Potato CoNLL-2003, CoNLL-U, Hugging Face डेटासेट, JSONL, CSV और Parquet एक्सपोर्ट करता है। देखें ML के लिए एनोटेशन एक्सपोर्ट करना।

Potato में इकाई और संबंध का कार्य

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link entities स्कीम के स्पैन के बीच टाइप वाली कड़ियाँ खींचता है, और allowed_source_labels एनोटेटर को ग़लत तरह की इकाइयाँ जोड़ने से रोकता है। इवेंट और n-ary संबंध संबंध और इवेंट निष्कर्षण में हैं, और चेन कोरेफ़रेंस रिज़ॉल्यूशन में।

टेक्स्ट के लिए Potato क्या नहीं करता

• इसका नॉलेज बेस से जोड़ना INCEpTION से सरल है।
• यह एनोटेटरों के काम करते समय spaCy मॉडल अपडेट नहीं करता, जैसा Prodigy की रेसिपी कर सकती हैं।
• इसमें spaCy एक्सपोर्टर नहीं है। CoNLL या JSONL से कन्वर्ट करें।
• brat से इम्पोर्ट करते समय संबंध और इवेंट छोड़ दिए जाते हैं।

अक्सर पूछे जाने वाले प्रश्न

मुझे कौन-सा टेक्स्ट एनोटेशन टूल इस्तेमाल करना चाहिए?

एक अकेले NER या वर्गीकरण प्रोजेक्ट के लिए doccano में सबसे कम मेहनत लगती है। इकाइयों को नॉलेज बेस से जोड़ने वाले भाषावैज्ञानिक एनोटेशन के लिए INCEpTION सबसे पूरा है। ऐसे अध्ययन के लिए जिसमें हर आइटम पर कई एनोटेटर हों, क्राउडवर्कर हों और सहमति का आँकड़ा रिपोर्ट करना हो, Potato यह सब बिना सशुल्क प्लान के देता है।

अकादमिक एनोटेशन अध्ययन के लिए कौन-सा टेक्स्ट एनोटेशन टूल उपयुक्त है?

अगर अध्ययन एनोटेटर भर्ती करता है, उनकी स्क्रीनिंग और प्रशिक्षण करता है, और उसे सहमति रिपोर्ट करनी है, तो Potato अपने मुफ़्त संस्करण में इनमें से हर चरण संभालता है। जब एनोटेशन ख़ुद जटिल भाषाई संरचना हो, जैसे इकाइयों को ज्ञान-आधार से जोड़ना, तब INCEpTION बेहतर है। Prodigy उस छोटी टीम के लिए ठीक है जो एनोटेशन करते हुए spaCy मॉडल प्रशिक्षित करना चाहती है।

कौन-से टेक्स्ट एनोटेशन टूल Prolific या Amazon Mechanical Turk के साथ काम करते हैं?

Potato में Prolific अंतर्निहित है, और साथ में SONA और अन्य पैनल भी। Mechanical Turk 30 सितंबर 2026 को बंद हो गया, इसलिए अब कोई भी टूल वहाँ से भर्ती नहीं कर सकता। Potato URL से प्रतिभागी ID पढ़ता है, काम पूरा होने पर पूर्णता कोड दिखाता है या प्रतिभागी को वापस भेजता है, और Prolific की API के ज़रिए Prolific अध्ययन संभाल सकता है। INCEpTION में अतिथि एनोटेटरों के लिए प्रायोगिक आमंत्रण लिंक हैं, जिन्हें क्राउडवर्करों से साझा किया जा सकता है, पर वह पूर्णता कोड संभालने का कोई दस्तावेज़ नहीं देता। Prodigy, Label Studio और doccano किसी क्राउडसोर्सिंग इंटीग्रेशन का दस्तावेज़ नहीं देते।

क्या Prodigy का कोई ओपन-सोर्स विकल्प है?

Potato, INCEpTION और doccano मुफ़्त और ओपन-सोर्स हैं। जहाँ Prodigy Python रेसिपी इस्तेमाल करता है, वहाँ Potato YAML में कॉन्फ़िगर होता है, और यह Prodigy की db-out फ़ाइलें इम्पोर्ट करता है, इसलिए Prodigy में पहले से जुटाए गए एनोटेशन साथ आ जाते हैं।

कौन-से टेक्स्ट एनोटेशन टूल इंटर-एनोटेटर सहमति रिपोर्ट करते हैं?

Potato और INCEpTION अपने मुफ़्त संस्करणों में करते हैं, और Prodigy के लाइसेंस में उसकी metric.iaa रेसिपी शामिल हैं। Label Studio सहमति को अपने सशुल्क प्लान तक सीमित रखता है, और doccano में यह नहीं है। स्पैन वाले कार्यों में देखें कि माप सीमाओं और संयोग, दोनों का ध्यान रखता है या नहीं। Krippendorff का यूनिटाइज़िंग α और γ दोनों का ध्यान रखते हैं, और प्रति-कैरेक्टर लेबल पर α भी, जिसे Potato सरलीकृत γ के साथ रिपोर्ट करता है। जोड़ीवार F1 संयोग के लिए सुधार नहीं करता।

क्या brat का अब भी रखरखाव होता है?

नहीं। इसकी आख़िरी रिलीज़ नवंबर 2012 में v1.3 थी, और इसका स्टैंडअलोन सर्वर Python 3.13 पर बिना जुगाड़ के शुरू नहीं होता। संस्करण 2.9 से Potato brat कॉर्पस इम्पोर्ट करता है और मौजूदा इकाइयों को पूर्व-एनोटेशन के रूप में रखता है।

क्या मैं मुफ़्त टूल में कोरेफ़रेंस एनोटेट कर सकता हूँ?

हाँ। INCEpTION में कोरेफ़रेंस के लिए चेन लेयर हैं, और Potato में coreference स्कीम है जो उल्लेखों को चेन में समूहित करती है। doccano कोरेफ़रेंस सपोर्ट नहीं करता।

आगे पढ़ें

• AI एनोटेशन टूल की तुलना, सभी डेटा प्रकार एक पेज पर
• ऑडियो एनोटेशन टूल की तुलना
• इमेज एनोटेशन टूल की तुलना
• वीडियो एनोटेशन टूल की तुलना
• AI एजेंट मूल्यांकन टूल की तुलना
• वर्ल्ड मॉडल और रोबोट एपिसोड मूल्यांकन टूल की तुलना
• क्राउडसोर्स्ड स्टडी चलाना
• स्पैन एनोटेशन
• नामित इकाई पहचान