مقارنة أدوات التعليق على النصوص: أدوات معالجة اللغات الطبيعية المفتوحة المصدر والمدفوعة

تعرض أداة التعليق على النصوص المستندات على الموصِّفين وتسجّل ما يحدّدونه: تسمية للنص كله، ومقاطع مظلَّلة مثل الكيانات المسمّاة، وروابط بين المقاطع. يمكن استضافة Potato وINCEpTION وdoccano والإصدار المجتمعي من Label Studio مجانًا، وكلها تتعامل مع التعرّف على الكيانات المسمّاة والعلاقات. وتختلف الأدوات أكثر ما تختلف حين يضم المشروع موصِّفين كثيرين. يجنّدهم Potato عبر Prolific أو مجمّع مشاركين في SONA، ويدرّبهم ويفرزهم قبل المهمة الفعلية، ويُبلغ عن اتفاق على المقاطع مصحَّح للصدفة بينهم جميعًا، دون خطة مدفوعة. يتقدّم INCEpTION في الربط بقواعد المعرفة، ويتقدّم Prodigy في تدريب نموذج spaCy أثناء التعليق. ولم يعد brat وArgilla يضيفان ميزات جديدة.

تأخذ معظم مهام النصوص أحد ثلاثة أشكال. تصنيف النصوص يعطي المستند كله تسمية. التعرّف على الكيانات المسمّاة ومهام المقاطع الأخرى تحدّد أجزاء من النص. استخراج العلاقات وحلّ الإحالة المشتركة يربطان المقاطع بعضها ببعض. كل الأدوات في هذه الصفحة تتعامل مع المقاطع، وأكبر اختلاف بينها في الربط.

تتناول هذه الصفحة النصوص فقط. أما المقارنة التي تجمع كل أنواع البيانات في صفحة واحدة ففي مقارنة أدوات التعليق بالذكاء الاصطناعي.

أي أدوات التعليق على النصوص تستحق المقارنة؟

الميزات جنبًا إلى جنب

في التعليق نفسه، تتقارب الأدوات الخمس التي لا تزال تُصان:

ولا تتقارب حين يتعلق الأمر بإدارة دراسة بموصِّفين كثيرين:

تعني الشرطة أننا لم نجد شيئًا عن ذلك في توثيق الأداة أو صفحة أسعارها أو مستودعها في سبتمبر 2026. إن كانت إحدى الخانات خاطئة، أخبرنا.

أين يتقدّم Potato في النصوص

الدراسة المحيطة بالتسميات. كثير من التعليق على النصوص بحث يُجرى مع عمال المنصات الجماعية: المشاعر، والموقف، واللغة المسيئة، وجودة مخرجات النماذج. يأتي المشاركون من Prolific أو SONA ويغادرون برمز إكمال أو برصيد. وقبل المهمة الفعلية يعطون موافقتهم، ويجيبون عن أسئلة فرز أو أسئلة ديموغرافية، ويتدرّبون على عناصر مع ملاحظات حتى ينجحوا. ثم تسير العناصر المرجعية وفحوص الانتباه جنبًا إلى جنب مع العناصر الحقيقية. يُعِدّ Potato كل ذلك من إعدادات YAML، ويعيد تكامله مع Prolific توزيع العناصر التي تركها المشاركون، ويمكنه إيقاف الدراسة مؤقتًا حين يكون الخادم مشغولًا. أما الأدوات الأخرى هنا فتفترض أن الموصِّفين أعضاء في فريقك أصلًا. انظر إجراء دراسة تعهيد جماعي ومراحل التدريب والمعايير الذهبية وفحوص الانتباه.

اتفاق على المقاطع يمكن نشره. يقارن مقياس F1 بين الأزواج، الذي يحسبه Prodigy، موصِّفَين في كل مرة ولا يصحّح للصدفة. أما ألفا على تسميات كل محرف وγ في Potato فيقيّمان أين يبدأ كل مقطع وأين ينتهي إلى جانب تسميته، ويصحّحان للصدفة، ويأخذان جميع الموصِّفين معًا. ويوفّر INCEpTION ألفا التقطيع الخاصة بكريبندورف نفسها، على هيئة مصفوفة لأزواج الموصِّفين.

من كتب الإجابة. إذا لُصقت إجابة حرة بدل كتابتها، فربما لم يكتبها الموصِّف. يسجّل تتبّع ضربات المفاتيح في Potato كيف أُنتجت كل إجابة، وتنبيهات عملية الكتابة تميّز الإجابات التي جاء معظمها باللصق، بعتبات يمكنك قراءتها وتغييرها.

الاتفاق على تسميات النصوص

نادرًا ما يتفق موصِّفان يحدّدان الكيان نفسه على حدوده الدقيقة، والمقياس الذي يقارن التسميات رمزًا برمز يحسب كل فرق في الحدود خلافًا على التسمية. لذلك فإن طريقة الأداة في حساب الاتفاق على المقاطع لا تقلّ أهمية عن كونها تُبلغ عن الاتفاق أصلًا.

• Potato يُبلغ عن κ على مستوى الرموز فوق وسوم BIO، وعن F1 للمقاطع بالتطابق التام والجزئي، وعن ألفا كريبندورف على تسميات كل محرف، وعن γ مبسَّطة من Mathet وآخرين (2015). يقيس الأخيران أين يبدأ المقطع وأين ينتهي، لا اسمه فقط. راجع قياس الاتفاق على المقاطع.
• INCEpTION يحسب κ كوهين وκ فلايس وألفا كريبندورف، بما فيها صيغة التقطيع، ويعرضها مصفوفةً لأزواج الموصِّفين، وله واجهة تنقيح لحسم الخلافات.
• Prodigy يُبلغ عبر وصفة metric.iaa.doc عن نسبة الاتفاق وألفا كريبندورف وAC2 لغويت لتسميات المستندات، وعبر metric.iaa.span عن F1 بين الأزواج للمقاطع. ووصفته review تتولّى التحكيم.
• Label Studio يحصر الاتفاق في خططه المدفوعة. والمقاييس المدرجة لنسخته Enterprise هي التطابق التام والفرق العددي وIoU وتداخل المقاطع.
• doccano لا يوفّر أي مقياس للاتفاق.

للحالة العامة، راجع شرح الاتفاق بين الموصِّفين.

الأدوات بالتفصيل

INCEpTION

INCEpTION، من الجامعة التقنية في دارمشتات، خلَف WebAnno وهو أقرب ما يُقارَن به في العمل اللغوي. فيه طبقات للعلاقات، وطبقات سلاسل للإحالة المشتركة، وتوصيف على مستوى المستند، وسمات مفاهيمية تربط التوصيف بمدخل في قاعدة معرفة مثل Wikidata أو DBpedia. وهو متقدّم على Potato في الربط بقواعد المعرفة. تقترح أنظمة التوصية فيه توصيفات، مع تعلّم نشط مدمج. وهو تطبيق Java ويتطلب جهدًا أكبر في النشر من بقية أدوات هذه الصفحة. النظام موصوف في Eckart de Castilho وآخرين (EMNLP 2024).

Prodigy

بُني Prodigy، من شركة Explosion، حول التوصيف مع نموذج داخل الحلقة، وهو أوثق ارتباطًا بـ spaCy من أي أداة أخرى هنا. يغطي التصنيف والمقاطع والعلاقات عبر وصفة rel.manual والإحالة المشتركة عبر coref.manual، ويصل إلى نماذج LLM عبر spacy-llm. تُعرَّف المهام في وصفات Python. وهو الأداة المدفوعة الوحيدة في هذه الصفحة.

Label Studio

دعم النصوص في Label Studio جزء من أداة تتعامل أيضًا مع الصور والصوت والفيديو والسلاسل الزمنية. يربط وسم Relations فيها بين المناطق الموسومة. النسخة المجتمعية مجانية ومفتوحة المصدر. أما الاتفاق ومراجعة البيانات المرجعية ولوحات الجودة ففي الخطط المدفوعة، بدءًا من Starter بـ 99 دولارًا شهريًا.

doccano

doccano أسرع هذه الأدوات إعدادًا للنصوص. أنواع مشاريعه هي تصنيف المستندات، ووسم التسلسلات، والتحويل من تسلسل إلى تسلسل، واكتشاف النية مع ملء الخانات، وتحويل الكلام إلى نص. يمكن لمشاريع وسم التسلسلات أن تسمح بالمقاطع المتداخلة وبالعلاقات. لا يوفّر توصيفًا للإحالة المشتركة أو للأحداث، ولا مقاييس للاتفاق.

brat

بُنيت مدوّنات كثيرة في معالجة اللغات الطبيعية باستخدام brat، وتنسيقه المنفصل (standoff) يغطي الكيانات والأحداث متعددة الأطراف والعلاقات الثنائية ومجموعات التكافؤ والسمات والتوحيد القياسي. آخر إصدار هو v1.3 في نوفمبر 2012، وآخر إيداع في الفرع master في أكتوبر 2021. يستورد خادمه المستقل وحدة cgi في Python، وقد أُزيلت في Python 3.13، لذلك لا يعمل على إصدار حديث من Python دون حلّ بديل. لا تزال قراءة مدوّنة brat مفيدة. أما بدء مشروع جديد في brat فيصعب تبريره.

Argilla

يركّز Argilla على بيانات التغذية الراجعة والتفضيلات لنماذج اللغة، ويتكامل مع Hugging Face Datasets. يدعم تصنيف النصوص وتصنيف الرموز وتقييم النصوص المولَّدة. وتذكر مستودعاته الآن أن مؤلفيه الأصليين انتقلوا إلى مشاريع أخرى، وأن المشروع سيحصل على إصلاحات للأخطاء وتحديثات، لكن دون ميزات جديدة.

أنظمة بحثية

نُشرت عدة أنظمة توصيف بوصفها عروضًا لأنظمة في مؤتمرات ACL. يضبط Thresh مهام تقييم نصي دقيق بملفات YAML، للتلخيص والتبسيط والترجمة الآلية. ويتولى GATE Teamware 2 تصنيف المستندات مع تدريب الموصِّفين وفحص الجودة.

جرى التحقق من التوثيق وصفحة الأسعار والمستودع لكل مشروع في أغسطس وسبتمبر 2026.

نقل مدوّنة بين الأدوات

منذ الإصدار 2.9، يستورد Potato تنسيق brat المنفصل وملفات JSONL من doccano وملفات db-out من Prodigy وملفات CoNLL، فيمكن لمشروع بدأ في أي منها أن يستمر في Potato. تصل التسميات الموجودة بوصفها توصيفات مسبقة. أما علاقات brat وأحداثه فتُذكر في تحذيرات الاستيراد ولا تُستورد. راجع استيراد مشروع.

وفي الاتجاه المعاكس، يصدّر Potato بتنسيقات CoNLL-2003 وCoNLL-U ومجموعات بيانات Hugging Face وJSONL وCSV وParquet. راجع تصدير التوصيفات للتعلّم الآلي.

مهمة كيانات وعلاقات في Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

يرسم span_link روابط ذات أنواع بين مقاطع مخطط entities، ويمنع allowed_source_labels الموصِّف من ربط أنواع خاطئة من الكيانات. يتناول استخراج العلاقات والأحداث الأحداث والعلاقات متعددة الأطراف، ويتناول حلّ الإحالة المشتركة السلاسل.

ما لا يفعله Potato مع النصوص

• ربطه بقواعد المعرفة أبسط من ربط INCEpTION.
• لا يحدّث نموذج spaCy أثناء عمل الموصِّفين كما تستطيع وصفات Prodigy.
• ليس فيه مصدِّر لـ spaCy. حوّل من CoNLL أو JSONL.
• يتخطى الاستيراد من brat العلاقات والأحداث.

الأسئلة الشائعة

أي أداة للتعليق على النصوص ينبغي أن أستخدمها؟

لمشروع واحد للتعرّف على الكيانات أو للتصنيف، يتطلب doccano أقل جهد. وللتوصيف اللغوي الذي يربط الكيانات بقاعدة معرفة، INCEpTION هو الأكمل. ولدراسة يعمل فيها عدة موصِّفين على كل عنصر، مع عمال حشد ورقم اتفاق يجب الإبلاغ عنه، يوفّر Potato كل ذلك دون خطة مدفوعة.

أي أداة للتعليق على النصوص تناسب دراسة أكاديمية؟

إذا كانت الدراسة تجنّد موصِّفين وتفرزهم وتدرّبهم، ويجب أن تُبلغ عن الاتفاق، فإن Potato يغطي كل خطوة من هذه الخطوات في نسخته المجانية. ويناسب INCEpTION أكثر حين يكون التعليق نفسه بنية لغوية معقدة، مثل ربط الكيانات بقاعدة معرفة. ويناسب Prodigy فريقًا صغيرًا يريد تدريب نموذج spaCy أثناء التعليق.

أي أدوات التعليق على النصوص تعمل مع Prolific أو Amazon Mechanical Turk؟

يدمج Potato منصة Prolific، إلى جانب SONA ولوحات مشاركين أخرى. وقد أُغلق Mechanical Turk في 30 سبتمبر 2026، فلم يعد بوسع أي أداة التجنيد عليه الآن. ويقرأ Potato معرّف المشارك من الرابط، ويعرض رمز إكمال أو يعيد المشارك عند انتهاء المهمة، ويمكنه إدارة دراسة على Prolific عبر واجهة Prolific البرمجية. ولدى INCEpTION روابط دعوة تجريبية لموصِّفين ضيوف يمكن مشاركتها مع عمال المنصات، لكنه لا يوثّق التعامل مع رموز الإكمال. ولا يوثّق Prodigy ولا Label Studio ولا doccano أي تكامل مع منصات التعهيد الجماعي.

هل هناك بديل مفتوح المصدر لـ Prodigy؟

Potato وINCEpTION وdoccano مجانية ومفتوحة المصدر. يُضبط Potato بملفات YAML حيث يستخدم Prodigy وصفات Python، ويستورد ملفات db-out من Prodigy، فتنتقل التوصيفات التي جُمعت في Prodigy.

أي أدوات التعليق على النصوص تُبلغ عن الاتفاق بين الموصِّفين؟

يفعل ذلك Potato وINCEpTION في نسختيهما المجانيتين، وتشمل رخصة Prodigy وصفات metric.iaa. ويقصر Label Studio الاتفاق على خططه المدفوعة، ولا يوفّره doccano. وفي مهام المقاطع، تحقّق مما إذا كان المقياس يراعي الحدود والصدفة. ألفا التقطيع لكريبندورف وγ يراعيان الأمرين، وكذلك ألفا على تسميات كل محرف، وهي ما يعرضه Potato إلى جانب γ مبسَّطة. أما F1 بين الأزواج فلا يصحّح للصدفة.

هل لا يزال brat يُصان؟

لا. آخر إصدار له كان v1.3 في نوفمبر 2012، ولا يعمل خادمه المستقل على Python 3.13 دون حلّ بديل. منذ الإصدار 2.9، يستورد Potato مدوّنات brat ويحتفظ بالكيانات الموجودة بوصفها توصيفات مسبقة.

هل يمكنني توصيف الإحالة المشتركة بأداة مجانية؟

نعم. في INCEpTION طبقات سلاسل للإحالة المشتركة، وفي Potato مخطط coreference يجمع الإشارات في سلاسل. أما doccano فلا يدعم الإحالة المشتركة.

قراءات إضافية

• مقارنة أدوات التعليق بالذكاء الاصطناعي، لكل أنواع البيانات في صفحة واحدة
• مقارنة أدوات التعليق على الصوت
• مقارنة أدوات التعليق على الصور
• مقارنة أدوات التعليق على الفيديو
• مقارنة أدوات تقييم وكلاء الذكاء الاصطناعي
• مقارنة أدوات تقييم نماذج العالم وحلقات الروبوتات
• إجراء دراسة تعهيد جماعي
• تعليق المقاطع
• التعرّف على الكيانات المسمّاة