مقارنة الوسم الآلي بالذكاء الاصطناعي: Label Studio وCVAT وLabelbox وProdigy وArgilla وPotato

تستطيع الأدوات الست المقارَنة هنا كلها استيراد وسوم النماذج أو توليدها وإرسالها إلى البشر للمراجعة، لذا تركّز هذه المقارنة على ما تقيسه كل أداة بشأن الوسوم التي تحتفظ بها. في الوثائق التي قرأناها في أكتوبر 2026، تُبلغ الأدوات عن الدقة أو الضبط أو الاستدعاء أو الاتفاق، مقابل الحقيقة المرجعية أو بين المُعلِّقين، بوصفها قيماً نقطية، ولا تصف أي منها فترةً أو حداً للخطأ في جودة الوسوم الآلية.

الوسم الآلي هنا يعني أي ميزة تضع وسم نموذج على عنصر قبل وسم الشخص أو بدلاً منه، سواء كان النموذج كاشفاً أو مصنِّفاً أو نموذج LLM يُعطى المهمة في موجّه. ولكل أداة في هذه المقارنة صيغة ما من ذلك، وتختلف الأدوات في ثلاثة أسئلة تستحق أن تُطرح قبل اختيار إحداها:

1. كيف تدخل الوسوم الآلية إلى المشروع، سواء استُوردت بوصفها تنبؤات، أو ولّدها نموذج متصل، أو أنتجها موجّه لنموذج LLM داخل الأداة.
2. كيف يراجعها الشخص، وهل يرى إجابة النموذج أثناء الوسم.
3. ما الذي تُبلغ عنه الأداة بشأن عدد مرات خطأ الوسوم الآلية، ومقابل أي مرجع، وبأي درجة من عدم اليقين.

كل قسم أدناه مأخوذ من وثائق الأداة نفسها حتى أكتوبر 2026، مع رابط حيث نقتبس منها. وحيث لم نجد شيئاً في الوثائق نقول ذلك، لأن الميزة قد توجد دون أن تكون موثّقة.

Label Studio

يربط Label Studio النماذج عبر ML backend، وهي SDK تغلّف نموذجك بوصفه خادم ويب، ويستورد التنبؤات تحت مفتاح predictions مع model_version وscore. ولا يمكن تعديل التنبؤات المستوردة، وتنطبق الدرجة على التنبؤ كله. ويضيف إصدارا Enterprise وStarter Cloud ميزة Prompts، التي تولّد التنبؤات من موجّهات LLM وتقيّمها، وتصف صفحة ML ميزة في Enterprise لـ «الوسم الآلي بمساعدة LLM وتقييم النماذج».

المراجعة سير عمل في Enterprise. يذكر دليل الجودة أن «سير عمل مراجعة التوسيم متاح فقط في Label Studio Enterprise Edition»، مع إجراءات القبول والرفض والإصلاح ثم القبول، وخيار لترتيب المهام حسب ثقة النموذج. وتُطبَّق إعدادات أخذ عيّنات المراجعة بوصفها معدلات احتمالية، ويرسل أخذ العيّنات حسب عدم اليقين التنبؤات الأقل ثقة إلى البشر أولاً.

وللجودة، يقارن Label Studio Enterprise التوسيمات وتنبؤات النماذج بالحقيقة المرجعية «لحساب درجة دقة بين 0 و1»، ويمكن أن تتضمن مصفوفة الاتفاق فيه إصدارات النماذج. وتُبلغ Prompts عن الدقة الإجمالية وF1 مقابل الحقيقة المرجعية، وعدد المهام المقيَّمة، وتكلفة الاستدلال، كلٌّ منها بوصفه درجة نقطية. وتضيف نظرتها العامة أنه «كلما زادت البيانات لديك لتقييم الموجّه، زادت ثقتك بالنتائج»، دون ذكر فترة.

CVAT

التوسيم التلقائي في CVAT يوسم البيانات مسبقاً بكاشف أو بنموذج لإعادة التعرّف، مع عتبة ثقة اختيارية. وتعتمد النماذج المتاحة على الإصدار. فـجدول نماذج الذكاء الاصطناعي يسرد دوال Nuclio لإصدار Community، ونماذج من أطراف ثالثة من Hugging Face وRoboflow ودوال AI-agent أصلية لإصداري CVAT Online وEnterprise.

وللمراجعة البشرية، لدى CVAT وضع مراجعة للإبلاغ عن المشكلات ومرحلة تحقق، ويدمج الإجماع عمل عدة مُعلِّقين في نتيجة واحدة مع درجة اتفاق من 0 إلى 1. أما ضبط الجودة في CVAT بالحقيقة المرجعية وعناصر honeypot، الموسوم لإصداري CVAT Online وEnterprise، فيقارن مهام التوسيم بمهمة حقيقة مرجعية ويُبلغ عن الدقة والضبط والاستدعاء. وتصف الوثائق الطريقة بأنها إحصائية، تقدّر الجودة على مجموعة البيانات كلها من جزء صغير منها، وتقول إن «‏5-15% من البيانات تكفي عادةً». ويقارن تقرير الجودة كل مهمة في المهمة الأم بمهمة الحقيقة المرجعية، لذا لا يقيّم مخرجات التوسيم التلقائي إلا بوصفها جزءاً مما تحتويه تلك المهام، ولم نجد تقريراً يفصل التوسيمات الآلية عن البشرية.

Labelbox

يستورد Labelbox الوسوم المسبقة، التي يصفها بأنها «توسيمات مقترحة تُستورد برمجياً إلى مشروع Labelbox» ليراجعها البشر. وتولّد ميزة Foundry فيه الوسوم بنموذج، مع عتبة ثقة «تخبر النموذج بمدى التأكد الذي يحتاجه قبل أن يقترح وسماً». وFoundry متاحة في كل الخطط ما عدا الاشتراكات التعليمية.

يقترح دليل استخدام تنبؤات Foundry طريقتين لتوجيهها إلى البشر. الأولى ترشّح حسب الثقة، مثل إرسال كل ما هو دون 0.75 إلى المراجعة. والثانية ترسل «عيّنة عشوائية من التنبؤات للمراجعة»، وهذا «يساعدك على رصد المشكلات المنهجية وحساب مقاييس الدقة الإجمالية». وتحسب مقاييس النماذج في Labelbox الضبط والاستدعاء وF1 وIoU ومصفوفة الالتباس من التنبؤات والحقيقة المرجعية عند عتبات من 0 إلى 1. وتقول صفحة الإيقاف فيه إن ميزة Model experiments لم تعد متاحة اعتباراً من 15 يوليو، دون ذكر السنة، في حين لا يزال دليل المقاييس يرسل المقاييس المخصّصة إلى نوع Experiment، لذا تحقّق من أن مقاييس تشغيلات النماذج لا تزال متاحة في مساحة عملك.

Prodigy

بُني Prodigy حول نموذج داخل الحلقة. فوصفات مثل ner.correct تعرض تنبؤات نموذج spaCy ليصحّحها شخص، وner.teach وtextcat.teach تفضّل الأمثلة التي يكون النموذج أقل تأكداً منها، وner.model-annotate تسجّل وسوم النموذج كأن مُعلِّقاً وضعها. ووصفات LLM المبنية على spacy-llm تنتج وسوماً لسير عمل التصحيح نفسه، وتحذّر الوثائق من أن «توسيمات LLM قد تكون خاطئة. ولا يزال عليك أن تبقى في الحلقة لتنقيح التوسيمات».

تحسم وصفة review الخلافات بين المُعلِّقين في توسيم نهائي واحد، وتُبلغ وصفات metric.iaa.* عن نسبة الاتفاق وألفا كريبندورف وAC2 لـ Gwet بين المُعلِّقين. ولا تقول الوثائق هل تُدرج وسوم model-annotate الخاصة بالنموذج في أرقام الاتفاق تلك. ولمقارنة الموجّهات أو النماذج، تجعل ab.llm.tournament البشر يحكمون على أزواج من المخرجات، وترتّب التركيبات بنظام التصنيف Glicko. وتسرد صفحة أسعار Prodigy رخصة Personal ورخصة Company بالمثبّت نفسه وتطبيق الويب نفسه والإضافات نفسها، ولا تضيف إلا رخصة Company تسجيل الدخول الموحّد SSO عبر OpenID Connect.

Argilla

يُرفق Argilla مخرجات النموذج بالسجلات بوصفها اقتراحات، لكل منها درجة، والوكيل الذي أنتجها، ونوع model أو human. وفي واجهة التوسيم تظهر الاقتراحات إجاباتٍ معبّأة مسبقاً موسومة بأيقونة بريق، مع عرض درجات الثقة حين تتضمنها مجموعة البيانات. كان في Argilla 1.x وحدة مقاييس تقارن الإجابات بالاقتراحات وتُبلغ عن مقاييس مثل الدقة وF1 وألفا كريبندورف. ولم نجد إبلاغاً عن الاتفاق أو عن مقاييس النماذج في وثائق Argilla 2.x. أما البيانات الاصطناعية وملاحظات الذكاء الاصطناعي، بما فيها التحكيم بنماذج LLM، فموجودة في مكتبة distilabel المنفصلة.

Potato

يربط Potato نماذج LLM ونماذج الرؤية عبر ai_support، وبدءاً من الإصدار 2.9 يسجّل ما أجاب به النموذج أولاً (pre_annotation_seeds) بجانب ما حفظه المُعلِّق (final_annotation)، فيأتي معدل القبول من بياناتك أنت. ويعطي icl_labeling نموذج LLM التوسيمات التي يتفق عليها مُعلِّقوك أصلاً بوصفها أمثلة، ويجعله يَسِم الباقي، ويعيد عيّنة من وسومه إلى البشر للتحقق الأعمى، مع تتبّع الدقة لكل مخطط.

وللنموذج أو لنموذج حَكَم LLM، تُبقي معايرة الحَكَم في Potato وسوم النموذج حيث لا يستطيع المُعلِّقون رؤيتها، وتسحب عيّنة عشوائية أو طبقية للوسم البشري الأعمى، وتُبلغ عن الدقة مقابل الوسم الذهبي البشري، وعن كابا كوهين لأزواج إنسان-نموذج ونموذج-نموذج وإنسان-إنسان، وعن ألفا كريبندورف، وعن المعايرة بوصفها خطأ المعايرة المتوقع ودرجة Brier. ومقارنة كابا النموذج بكابا المُعلِّقين البشر فيما بينهم تخبرك هل يؤدي النموذج بقدر ما يؤدي مُعلِّق آخر تقريباً، كما تشرح صفحة اتفاق نماذج حَكَم LLM. وفي الوضع الفردي يَسِم خبير واحد إلى جانب نموذج LLM، ثم يُسلَّم بقية المدوّنة إليه بعد أن يتجاوز اتفاقهما عتبة. ومثل الأدوات الأخرى، تُبلغ هذه الميزات عن تقديرات نقطية، ويجب حساب فترة لمعدل الخطأ خارج الأداة، كما يشرح القسم الأخير.

الأدوات الست في الأسئلة الثلاثة

يقارن الجدول بين الأدوات الست في الأسئلة الثلاثة، استناداً إلى الوثائق التي نشرها كل مشروع حتى أكتوبر 2026:

فحص الوسوم الآلية في أي أداة

أياً كانت الأداة التي تستخدمها، فالرقم الذي تستطيع الدفاع عنه يأتي من الخطوات الثلاث نفسها. اسحب العناصر للفحص البشري عشوائياً، لا من طرف الثقة المنخفضة، لأن عيّنة من أصعب العناصر لا تقول شيئاً عن معدل الخطأ في الباقي. واطلب من البشر وسم تلك العيّنة دون رؤية إجابة النموذج، لأن الاقتراح الظاهر يجذب الإجابة نحوه. ثم أبلِغ عن معدل الخطأ في العيّنة مع فترة ثقة، باستخدام فترة لنسبة ذات حدّين مثل فترة Wilson، حتى يرى القارئ هل تدعم 200 وسم مفحوص الادعاء الذي تطرحه.

التوجيه بالعيّنات العشوائية في Labelbox، وإطارات الحقيقة المرجعية المختارة عشوائياً في CVAT ‏(Online وEnterprise)، وعيّنة معايرة الحَكَم في Potato، التي يمكن أن تكون طبقية أيضاً، كلها تسحب عشوائياً أصلاً. وفي الأدوات الأخرى، صدّر مجموعة فرعية عشوائية من معرّفات العناصر، وأسندها مهمةً منفصلة مع إخفاء التنبؤات، واحسب الفترة خارج الأداة.

قراءة إضافية

• مقارنة أدوات التوسيم، لمقارنة أوسع للميزات
• التوسيم المسبق بنماذج LLM، عن تحيّز الأتمتة حين يراجع البشر الاقتراحات
• اتفاق نماذج حَكَم LLM، عن مقارنة الحَكَم باتفاق البشر فيما بينهم