مقارنة أدوات التعليق على النصوص: أدوات معالجة اللغات الطبيعية المفتوحة المصدر والمدفوعة

تعرض أداة التعليق على النصوص المستندات على الموصِّفين وتسجّل ما يحدّدونه: تسمية للنص كله، ومقاطع مظلَّلة مثل الكيانات المسمّاة، وروابط بين المقاطع. يمكن استضافة Potato وINCEpTION وdoccano والنسخة المجتمعية (Community Edition) من Label Studio مجانًا على خوادمك، وكلها تتعامل مع التعرّف على الكيانات المسمّاة ومع العلاقات. وتختلف في الإحالة المشتركة، وفي الربط بقواعد المعرفة، وفي ما إذا كانت تقيس الاتفاق بين الموصِّفين دون خطة مدفوعة. Prodigy هو الخيار المدفوع. أما brat وArgilla فلم تعودا تضيفان ميزات جديدة.

تأخذ معظم مهام النصوص أحد ثلاثة أشكال. تصنيف النصوص يعطي المستند كله تسمية. التعرّف على الكيانات المسمّاة ومهام المقاطع الأخرى تحدّد أجزاء من النص. استخراج العلاقات وحلّ الإحالة المشتركة يربطان المقاطع بعضها ببعض. كل الأدوات في هذه الصفحة تتعامل مع المقاطع، وأكبر اختلاف بينها في الربط.

تتناول هذه الصفحة النصوص فقط. أما المقارنة التي تجمع كل أنواع البيانات في صفحة واحدة ففي مقارنة أدوات التعليق بالذكاء الاصطناعي.

أي أدوات التعليق على النصوص تستحق المقارنة؟

الميزات جنبًا إلى جنب

الاتفاق على تسميات النصوص

نادرًا ما يتفق موصِّفان يحدّدان الكيان نفسه على حدوده الدقيقة، والمقياس الذي يقارن التسميات رمزًا برمز يحسب كل فرق في الحدود خلافًا على التسمية. لذلك فإن طريقة الأداة في حساب الاتفاق على المقاطع لا تقلّ أهمية عن كونها تُبلغ عن الاتفاق أصلًا.

• Potato يُبلغ عن κ على مستوى الرموز فوق وسوم BIO، وعن F1 للمقاطع بالتطابق التام والجزئي، وعن ألفا كريبندورف بصيغته الخاصة بتقسيم الوحدات، وعن γ من Mathet وآخرين (2015). يقيس الأخيران أين يبدأ المقطع وأين ينتهي، لا اسمه فقط. راجع قياس الاتفاق على المقاطع.
• INCEpTION يحسب κ كوهين وκ فلايس وألفا كريبندورف، وله واجهة تنقيح لحسم الخلافات.
• Prodigy يوفّر ألفا كريبندورف وAC2 لغويت، ووصفة review للتحكيم.
• Label Studio يحصر الاتفاق في خططه المدفوعة. والمقاييس المدرجة لنسخته Enterprise هي التطابق التام والفرق العددي وIoU وتداخل المقاطع.
• doccano لا يوفّر أي مقياس للاتفاق.

للحالة العامة، راجع شرح الاتفاق بين الموصِّفين.

الأدوات بالتفصيل

INCEpTION

INCEpTION، من الجامعة التقنية في دارمشتات، خلَف WebAnno وهو أقرب ما يُقارَن به في العمل اللغوي. فيه طبقات للعلاقات، وطبقات سلاسل للإحالة المشتركة، وتوصيف على مستوى المستند، وسمات مفاهيمية تربط التوصيف بمدخل في قاعدة معرفة مثل Wikidata أو DBpedia. وهو متقدّم على Potato في الربط بقواعد المعرفة. تقترح أنظمة التوصية فيه توصيفات، مع تعلّم نشط مدمج. وهو تطبيق Java ويتطلب جهدًا أكبر في النشر من بقية أدوات هذه الصفحة. النظام موصوف في Eckart de Castilho وآخرين (EMNLP 2024).

Prodigy

بُني Prodigy، من شركة Explosion، حول التوصيف مع نموذج داخل الحلقة، وهو أوثق ارتباطًا بـ spaCy من أي أداة أخرى هنا. يغطي التصنيف والمقاطع والعلاقات عبر وصفة rel.manual والإحالة المشتركة عبر coref.manual، ويصل إلى نماذج LLM عبر spacy-llm. تُعرَّف المهام في وصفات Python. وهو الأداة المدفوعة الوحيدة في هذه الصفحة.

Label Studio

دعم النصوص في Label Studio جزء من أداة تتعامل أيضًا مع الصور والصوت والفيديو والسلاسل الزمنية. يربط وسم Relations فيها بين المناطق الموسومة. النسخة المجتمعية مجانية ومفتوحة المصدر. أما الاتفاق ومراجعة البيانات المرجعية ولوحات الجودة ففي الخطط المدفوعة، بدءًا من Starter بـ 99 دولارًا شهريًا.

doccano

doccano أسرع هذه الأدوات إعدادًا للنصوص. أنواع مشاريعه هي تصنيف المستندات، ووسم التسلسلات، والتحويل من تسلسل إلى تسلسل، واكتشاف النية مع ملء الخانات، وتحويل الكلام إلى نص. يمكن لمشاريع وسم التسلسلات أن تسمح بالمقاطع المتداخلة وبالعلاقات. لا يوفّر توصيفًا للإحالة المشتركة أو للأحداث، ولا مقاييس للاتفاق.

brat

بُنيت مدوّنات كثيرة في معالجة اللغات الطبيعية باستخدام brat، وتنسيقه المنفصل (standoff) يغطي الكيانات والأحداث متعددة الأطراف والعلاقات الثنائية ومجموعات التكافؤ والسمات والتوحيد القياسي. آخر إصدار هو v1.3 في نوفمبر 2012، وآخر إيداع في الفرع master في أكتوبر 2021. يستورد خادمه المستقل وحدة cgi في Python، وقد أُزيلت في Python 3.13، لذلك لا يعمل على إصدار حديث من Python دون حلّ بديل. لا تزال قراءة مدوّنة brat مفيدة. أما بدء مشروع جديد في brat فيصعب تبريره.

Argilla

يركّز Argilla على بيانات التغذية الراجعة والتفضيلات لنماذج اللغة، ويتكامل مع Hugging Face Datasets. يدعم تصنيف النصوص وتصنيف الرموز وتقييم النصوص المولَّدة. وتذكر مستودعاته الآن أن مؤلفيه الأصليين انتقلوا إلى مشاريع أخرى، وأن المشروع سيحصل على إصلاحات للأخطاء وتحديثات، لكن دون ميزات جديدة.

أنظمة بحثية

نُشرت عدة أنظمة توصيف بوصفها عروضًا لأنظمة في مؤتمرات ACL. يضبط Thresh مهام تقييم نصي دقيق بملفات YAML، للتلخيص والتبسيط والترجمة الآلية. ويتولى GATE Teamware 2 تصنيف المستندات مع تدريب الموصِّفين وفحص الجودة.

جرى التحقق من التوثيق وصفحة الأسعار والمستودع لكل مشروع في أغسطس وسبتمبر 2026.

نقل مدوّنة بين الأدوات

منذ الإصدار 2.9، يستورد Potato تنسيق brat المنفصل وملفات JSONL من doccano وملفات db-out من Prodigy وملفات CoNLL، فيمكن لمشروع بدأ في أي منها أن يستمر في Potato. تصل التسميات الموجودة بوصفها توصيفات مسبقة. أما علاقات brat وأحداثه فتُذكر في تحذيرات الاستيراد ولا تُستورد. راجع استيراد مشروع.

وفي الاتجاه المعاكس، يصدّر Potato بتنسيقات CoNLL-2003 وCoNLL-U ومجموعات بيانات Hugging Face وJSONL وCSV وParquet. راجع تصدير التوصيفات للتعلّم الآلي.

مهمة كيانات وعلاقات في Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

يرسم span_link روابط ذات أنواع بين مقاطع مخطط entities، ويمنع allowed_source_labels الموصِّف من ربط أنواع خاطئة من الكيانات. يتناول استخراج العلاقات والأحداث الأحداث والعلاقات متعددة الأطراف، ويتناول حلّ الإحالة المشتركة السلاسل.

ما لا يفعله Potato مع النصوص

• ربطه بقواعد المعرفة أبسط من ربط INCEpTION.
• لا يحدّث نموذج spaCy أثناء عمل الموصِّفين كما تستطيع وصفات Prodigy.
• ليس فيه مصدِّر لـ spaCy. حوّل من CoNLL أو JSONL.
• يتخطى الاستيراد من brat العلاقات والأحداث.

الأسئلة الشائعة

ما أفضل أداة مجانية للتعليق على النصوص؟

لمشروع واحد للتعرّف على الكيانات أو للتصنيف، يتطلب doccano أقل جهد. وللتوصيف اللغوي الذي يربط الكيانات بقاعدة معرفة، INCEpTION هو الأكمل. ولدراسة يعمل فيها عدة موصِّفين على كل عنصر، مع عمال حشد ورقم اتفاق يجب الإبلاغ عنه، يوفّر Potato كل ذلك دون خطة مدفوعة.

هل هناك بديل مفتوح المصدر لـ Prodigy؟

Potato وINCEpTION وdoccano مجانية ومفتوحة المصدر. يُضبط Potato بملفات YAML حيث يستخدم Prodigy وصفات Python، ويستورد ملفات db-out من Prodigy، فتنتقل التوصيفات التي جُمعت في Prodigy.

أي أدوات التعليق على النصوص تُبلغ عن الاتفاق بين الموصِّفين؟

يفعل ذلك Potato وINCEpTION في نسختيهما المجانيتين، وProdigy في منتجه المدفوع. يحصر Label Studio الاتفاق في خططه المدفوعة، ولا يوفّره doccano. وفي مهام المقاطع، تحقّق مما إذا كان المقياس يراعي الخلاف على الحدود، كما يفعل ألفا كريبندورف لتقسيم الوحدات وγ.

هل لا يزال brat يُصان؟

لا. آخر إصدار له كان v1.3 في نوفمبر 2012، ولا يعمل خادمه المستقل على Python 3.13 دون حلّ بديل. منذ الإصدار 2.9، يستورد Potato مدوّنات brat ويحتفظ بالكيانات الموجودة بوصفها توصيفات مسبقة.

هل يمكنني توصيف الإحالة المشتركة بأداة مجانية؟

نعم. في INCEpTION طبقات سلاسل للإحالة المشتركة، وفي Potato مخطط coreference يجمع الإشارات في سلاسل. أما doccano فلا يدعم الإحالة المشتركة.

قراءات إضافية

• مقارنة أدوات التعليق بالذكاء الاصطناعي، لكل أنواع البيانات في صفحة واحدة
• مقارنة أدوات التعليق على الصوت
• مقارنة أدوات التعليق على الصور
• مقارنة أدوات التعليق على الفيديو
• مقارنة أدوات تقييم وكلاء الذكاء الاصطناعي
• مقارنة أدوات تقييم نماذج العالم وحلقات الروبوتات
• تعليق المقاطع
• التعرّف على الكيانات المسمّاة