تخطّي إلى المحتوى

الوسم بمساعدة نموذج مدرَّب على تصنيفاتك

متى توفّر التصنيفات المسبقة من نموذج مدرَّب على تعليقاتك التوضيحية الوقت، وكيف ترسّخ هذه التصنيفات إجابات المعلّقين، وكيف تقيس مجموعة مستثناة الأثر.

يسرّع الوسم بمساعدة نموذج التعليق التوضيحي بتدريب نموذج على التصنيفات التي أعطاها معلّقوك بالفعل، وعرض تنبؤاته على العناصر الجديدة بوصفها تصنيفات مسبقة يؤكدونها أو يصحّحونها. ولأن التصنيف المسبق يشدّ المعلّق أيضاً نحو إجابة النموذج، فينبغي للدراسة التي تستخدم التصنيفات المسبقة أن تستثني بعض المعلّقين منها وتقيس مدى تحرّك الإجابات.

جديد في v2.14.0

التصنيف المسبق هو تصنيف واحد اقترحه نموذج لعنصر قبل أن يصنّفه أي شخص. والوسم بمساعدة نموذج، ويسمى أيضاً الوسم المسبق، سير عمل من نوع الإنسان في الحلقة يقبل فيه المعلّقون هذه التصنيفات المسبقة أو يعدّلونها أو يرفضونها، وتصبح التصنيفات المقبولة والمصحَّحة هي مجموعة البيانات. يغطي هذا الدليل الحالة التي يُدرَّب فيها النموذج على التعليقات التوضيحية للمشروع نفسه ويُعاد تدريبه كلما وصل المزيد منها. ويغطي دليل التعليق التوضيحي المسبق بالنماذج اللغوية ونماذج الرؤية التصنيفات المسبقة من نموذج عام الغرض يُوجَّه بموجّه نصي، ويغطي دليل التعلّم النشط اختيار العناصر التي تُصنَّف تالياً.

كيف يختلف نموذج مدرَّب على تصنيفاتك عن التعليق التوضيحي المسبق بنموذج لغوي

يستطيع نموذج لغوي كبير أو نموذج رؤية مدرَّب مسبقاً أن يصنّف مسبقاً منذ العنصر الأول، بإرشاد موجّه نصي وأمثلة قليلة. أما النموذج المدرَّب على تصنيفاتك فيبدأ من لا شيء ويحتاج أولاً إلى مجموعة أولية من العناصر المصنّفة. يرفض المُدرِّب sklearn-text في Potato الملاءمة إذا كان في قسم التدريب أقل من 10 عناصر، وترفض مصنِّفات Hugging Face للنصوص والرموز والصور ما دون 20. وفي المقابل يتعلم النموذج المدرَّب حدود التصنيفات التي يرسمها معلّقوك فعلاً على عناصرك. وتُقاس كل تشغيلة على عناصر محجوزة من التدريب، وتظهر الدرجة في صفحة التدريب قبل أن يرى أي معلّق تصنيفاً مسبقاً. ويعمل المصنِّف الصغير كذلك على جهازك بلا كلفة لكل عنصر.

يمكن لاقتراحات النموذج اللغوي أن تغطي بداية الدراسة بينما تنمو المجموعة الأولية، ويمكن للنموذج المدرَّب أن يتولى الأمر حين تتجاوز درجته على العناصر المحجوزة اتفاق النموذج اللغوي مع التصنيفات نفسها. ويجتمع التعلّم النشط مع كليهما، لأن التعلّم النشط يختار ترتيب العناصر بينما يغيّر الوسم المسبق العمل على كل عنصر.

متى توفّر التصنيفات المسبقة الوقت

يوفّر الوسم المسبق الوقت حين تكون قراءة التصنيف وتأكيده أسرع من إنتاجه. في تجربة لوسم أقسام الكلام شارك فيها معلّقان، قاس Fort and Sagot (2010) أحد المعلّقين عند نحو 7.5 دقيقة لكل 10 جمل بلا تعليق توضيحي مسبق ونحو 2.5 دقيقة عند تصحيح مخرجات واسم. بلغت دقة واسم دُرّب على 50 جملة فقط 81.6%، ولم يختلف الوقت الذي وفّرته تعليقاته التوضيحية المسبقة اختلافاً دالاً عن الوقت الذي وفّره واسم دُرّب على 37,990 جملة بدقة 96.4%. ولم يُبطئ التعليق التوضيحي إبطاءً دالاً عن الواسمات الأخرى إلا الواسم المدرَّب على 10 جمل، وكانت دقته 66.5%. ووجد Lingren et al. (2014) توفيراً في الوقت يتراوح بين 13.85% و21.5% لكل كيان في التعليق التوضيحي للكيانات المسماة السريرية، من دون تغيّر دال في الاتفاق أو في أداء المعلّقين. ووجد Mikulová et al. (2022) أن التعليق التوضيحي المسبق من محلّل نحوي دقيق جعل التعليق على الاعتماد النحوي أسرع وأكثر اتساقاً.

وفي النموذج المدرَّب على تصنيفات المشروع نفسه، تشير نتيجة Fort and Sagot إلى أن نموذجاً دُرّب على أول بضع عشرات من العناصر المصنّفة قد يوفّر الوقت فعلاً. أما النموذج الذي لا يزال قريباً من الصدفة فيكلّف وقتاً، ولذلك ينبغي أن تنتظر أولى التصنيفات المسبقة درجة عناصر محجوزة أعلى بكثير من الصدفة.

متى تضرّ التصنيفات المسبقة

تغيّر التصنيفات المسبقة الإجابات كما تغيّر السرعة. الترسيخ هو شدّ الإجابة المقترحة لحكم لاحق، والإقرار الآلي هو قبول الاقتراحات دون قراءتها، وهو شكل من التحيز للأتمتة. في تجربة Fort and Sagot، انخفضت دقة المعلّق الأدق من 98.1% إلى 95.8% مع التعليقات التوضيحية المسبقة للواسم ذي الدقة 81.6%، ومع أفضل واسم ارتكب المعلّق نفسه أخطاءً منهجية تطابق أخطاء الواسم نفسه (صفة بدل اسم مفعول ماضٍ). وفي دراسة مسجّلة مسبقاً عن اقتراحات النموذج اللغوي في مهام ذاتية، وجد Schroeder et al. (2025) أن المعلّقين لم يصبحوا أسرع وأنهم أخذوا الاقتراحات بما يكفي لتغيير توزيع التصنيفات. وارتفعت كذلك دقة النموذج اللغوي المقيسة حين استُخدمت التصنيفات المدعومة مرجعاً للتقييم.

تضيف إعادة التدريب على التصنيفات المسبقة المقبولة حلقة تغذية راجعة. فالتصنيف المسبق الذي يحفظه المعلّق دون تغيير يصبح إجابة ذلك المعلّق، وتتعلم منه تشغيلة التدريب التالية كما تتعلم من أي تصنيف آخر. وهكذا يعود الخطأ الذي يقبله المعلّقون بياناتِ تدريب، وقد يكرر النموذج التالي الخطأ على عناصر جديدة. ولا تستطيع مقاييس الاتفاق كشف الحلقة، لأن المعلّقين الذين يقبلون التصنيف المسبق نفسه يتفقون بحكم البناء. ويصف كيف تميّز المراجعة الحقيقية من الإقرار الآلي إشارات التوقيت للمعلّقين الذين يقبلون دون قراءة، ويصف قياس كيف ترسّخ اقتراحات النماذج اللغوية إجابات المعلّقين العناصر العمياء للمعلّقين الذين يقرؤون ويظلون منشدّين.

خيارات التصميم

أربعة إعدادات تحدد ما إذا كانت التصنيفات المسبقة تفيد دراسة بعينها: حدّ الثقة الأدنى، والعناصر التي تنال تصنيفات مسبقة، وحصة المعلّقين المستثنين، وعدد مرات إعادة تدريب النموذج.

عتبة الثقة

دون حدّ أدنى للثقة يُخفى التنبؤ ويصنّف المعلّق العنصر من الصفر. الحدّ الأعلى يعرض تصنيفات مسبقة أقل وحصة أكبر منها صحيحة. ولا يعني الحدّ شيئاً إلا إذا كانت ثقة النموذج معايَرة. تكون تنبؤات النموذج المعايَر عند ثقة 0.8 صحيحة في نحو 80% من الحالات على العناصر المحجوزة. يعاير sklearn-text في Potato ثقة المصنِّف افتراضياً متى بلغت التشغيلة 50 عنصر تدريب على الأقل، بتدريج Platt دون 1000 عنصر وبالانحدار المتساوي من ذلك الحد فصاعداً. اضبط الحدّ انطلاقاً من العناصر المحجوزة، عند الثقة التي يكون النموذج فوقها مصيباً بما يكفي لأن يصبح فحص التصنيف المسبق أسرع من تصنيف العنصر.

أي العناصر تنال تصنيفات مسبقة

لا يصنّف Potato مسبقاً عناصر التدريب نفسها للنموذج أبداً، لأن النموذج واثق من بيانات التدريب لأسباب لا تقول شيئاً عن البيانات الجديدة. وفوق هذه القاعدة، أبقِ التصنيفات المسبقة بعيداً عن العناصر المستخدمة لقياس الاتفاق بين المعلّقين وعن عناصر gold. فالاتفاق على عناصر لها تصنيف مسبق مشترك يقيس التصنيف المسبق، والعنصر gold الذي يُجاب عنه والتصنيف المسبق على الشاشة يقيس النموذج بقدر ما يقيس المعلّق. ومن العناصر المتبقية، يضع طابور مراجعة مرتب بأقل الثقة أولاً المعلّقين أمام أرجح أخطاء النموذج. والطابور الذي يقدّم كل عنصر بأقل الثقة أولاً يناسب دراسة لا يزال كل عنصر فيها يحتاج إلى تصنيف بشري.

استثناء المعلّقين لقياس الأثر

يُقاس الترسيخ بمقارنة الإجابات المعطاة مع تصنيف مسبق بالإجابات المعطاة من دونه، من المعلّقين أنفسهم على النوع نفسه من العناصر. يحجب ai_support.holdout في Potato كل أشكال المساعدة عن حصة عشوائية من أزواج المعلّق والعنصر، وتدخل التصنيفات المسبقة للتدريب ضمن الأشكال المحجوبة. ويسحب Potato لكل زوج لا لكل عنصر، فتنال معظم العناصر معلّقين بمساعدة وآخرين مستثنين. وتُبقي تجزئة مملّحة كل زوج في المجموعة نفسها بعد إعادة التشغيل. وللمخططات radio وmultiselect وlikert وselect، يقارن تبويب AI influence في لوحة الإدارة المجموعتين في عدد مرات تطابق الإجابات مع النموذج، وعدد مرات تطابقها مع gold، والاتفاق داخل كل مجموعة. ويبلّغ التبويب عن الفرق في الاتفاق مع النموذج بفاصل bootstrap بنسبة 95% متى بلغت كل مجموعة 10 إجابات على عناصر لها إجابة نموذج. اضبط الكسر والملح قبل بدء التعليق التوضيحي، لأن تغيير أحدهما في منتصف الدراسة يعيد خلط المجموعتين. ويسرد قياس تأثير الذكاء الاصطناعي كل أسطح المساعدة التي يحجبها الاستثناء.

كم مرة تُعاد التدريب

تُبقي إعادة التدريب المتكررة التصنيفات المسبقة محدّثة بآخر قرارات الإرشادات والتصحيحات، وكل إعادة تدريب تستبدل أيضاً التصنيفات المسبقة التي يراها المعلّقون. يبدأ auto_retrain في Potato تشغيلة متى وصل update_frequency من التعليقات التوضيحية الجديدة (25 افتراضياً) ومرت min_interval_s ثانية منذ انتهاء آخر تشغيلة (600 افتراضياً). ويوفّر update_frequency الأكبر حوسبة ويُبقي التصنيفات المسبقة مستقرة على مدى أطول من العمل. أبقِ split_seed ثابتاً طوال الدراسة، لأن تغيير البذرة ينقل عناصر محجوزة إلى التدريب ويجعل درجة العناصر المحجوزة لتشغيلة غير قابلة للمقارنة بالتي تليها. كما يضع Potato كل عنصر صحّحه مراجع في قسم التدريب لكل تشغيلة لاحقة. فيعلّم التصحيح النموذج التالي ولا يُستخدم أبداً لقياس النموذج.

الوسم بمساعدة نموذج في Potato

يلائم تدريب النماذج في Potato نموذجاً على التعليقات التوضيحية للدراسة نفسها من صفحة التدريب في لوحة الإدارة، ويقيسه على عناصر محجوزة، ويكتب تنبؤاته راجعةً إلى العناصر بوصفها تصنيفات مسبقة. تعرض الكتابة الراجعة إجابة النموذج محددة مسبقاً في صفحة التعليق التوضيحي. ولا يصبح التصنيف المسبق إجابة المعلّق إلا حين يعدّله المعلّق أو ينتقل إلى ما بعده. وإلى ذلك الحين لا يُحسب العنصر منتهياً. تضيف هذه الكتل الوسم بمساعدة نموذج مع إعادة تدريب تلقائية واستثناء بنسبة 20% إلى ملف تهيئة فيه مخطط radio اسمه sentiment:

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

يسمّي writeback.schemas المخططات التي يرى المعلّقون تنبؤاتها. القائمة فارغة افتراضياً، ولا يرى المعلّقون أي تنبؤات حتى تسمّي القائمة مخططاً. ويتنبأ include_unlabeled: true أيضاً بعناصر لم يصنّفها أحد بعد، وهذه العناصر هي التي يوفّر فيها التصنيف المسبق الوقت. ومن دون هذا الإعداد، لا تتنبأ التشغيلة إلا بعناصرها المحجوزة. وتُخزَّن التنبؤات دون min_confidence ولا تُعرض. وتعمل كتلة الاستثناء والخيار ai_support.enabled معطّل.

يقدّم assignment_strategy: model_review العناصر المصنّفة مسبقاً بأقل الثقة أولاً للمراجعة، ويقدّم assignment_strategy: llm_confidence كل عنصر بهذا الترتيب. ويسجّل المراجع حكم accept أو correct أو reject على كل تصنيف مسبق. ويُزال التصنيف المسبق المرفوض عن العنصر ولا يُعرض ثانية. ويسحب DELETE /admin/training/api/runs/<run_id>/predictions كل تصنيف مسبق كتبته تشغيلة. ويمرّ النموذج في الحلقة بالكتابة الراجعة وطابور المراجعة وترتيب الاقتناء وauto_retrain خطوة خطوة، ويسرد مرجع الكتابة الراجعة في الوثائق الأصلية كل فحص يجتازه التنبؤ قبل أن يراه معلّق.

قراءات إضافية

المراجع

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323