الإشهاد على وسوم نماذج LLM بعيّنة بشرية عمياء

لتقرّر أي وسوم نموذج LLM تحتفظ بها دون فحص كل واحد منها، اطلب من البشر وسم عيّنة عشوائية عمياء، واختر عتبة ثقة على نصف تلك العيّنة، واختبر على النصف الآخر أن معدل الخطأ بين الوسوم التي تتجاوز العتبة أقل من هدفك. ولأرقام الانتشار، صحّح تقدير النموذج بأخطائه على العيّنة نفسها، فتحصل على فترة تبقى صحيحة مهما كانت جودة النموذج.

من الطرق الشائعة لفحص وسوم نموذج LLM أن تقرأ بضع عشرات من المخرجات، فإن بدت صحيحة نشرت مجموعة البيانات مع جملة مثل «وسم نموذج LLM البيانات وفحصنا عيّنات منها». لا تقول هذه الجملة كم مرة تخطئ الوسوم، ولا يستطيع المراجع أن يعرف هل كان الفحص سيكشف معدل خطأ قدره 15%. أما الفحص الذي يسند رقماً فيجيب عن ثلاثة أسئلة: أي الوسوم الآلية تُحفظ، وكم يبتعد معدلٌ محسوب من الوسوم الآلية عن الحقيقة، وهل يستطيع نموذج أن يحلّ محلّ شخص.

التحيّز في الفحص بالعيّنات وفي الوسوم المسبقة المراجَعة

عادتان تجعلان الوسم الآلي يبدو أفضل مما هو. الأولى فحص العناصر التي كان النموذج أقل ثقة بها. فحص هذه العناصر يكشف الأخطاء بسرعة، لكن العناصر المفحوصة ليست عيّنة من مجموعة البيانات، لذا فإن معدل الخطأ فيها لا يقدّر شيئاً عن الباقي. والثانية قياس الاتفاق على وسوم أعطاها البشر وإجابة النموذج معروضة على الشاشة. فالاقتراح يجذب الإجابة نحوه، لذا يأتي الاتفاق المقيس على الوسوم المسبقة المراجَعة أعلى من الاتفاق المقيس دون رؤية الإجابة. وتتناول صفحة التوسيم المسبق بنماذج LLM تحيّز الأتمتة هذا بتفصيل أكبر.

لذا يحتاج الفحص الذي يسند رقماً إلى ثلاث خصائص. تُسحب العناصر المفحوصة عشوائياً باحتمالات إدراج معروفة. ولا يستطيع من يَسِمها رؤية إجابة النموذج. والوسوم التي تختار القاعدة غير الوسوم التي تختبرها.

التنبؤ الانتقائي والمخاطرة الانتقائية

التنبؤ الانتقائي يعني أن النموذج لا يَسِم إلا العناصر التي تتجاوز ثقته فيها عتبة ما، ويمتنع عن الباقي، فيذهب إلى البشر. والكمية التي يجب ضبطها هي المخاطرة الانتقائية، أي معدل الخطأ بين الوسوم التي يحتفظ بها النموذج. فمثلاً قد تكون عتبة تحتفظ بـ 70% من العناصر بمعدل خطأ 4% أنفع من نموذج يَسِم كل شيء بمعدل 12%.

اختيار العتبة واختبارها على الوسوم نفسها يبالغ في تقدير جودة عملها، لذا تُقسم العيّنة البشرية. النصف الأول، قسم dev، يختار العتبة. والنصف الآخر، قسم cert، يختبرها باختبار ذي حدّين أحادي الجانب للادعاء بأن الخطأ بين الوسوم المقبولة أعلى من الهدف. فإن رُفض هذا الادعاء، أُشهد على العتبة بالثقة المعلنة. ويعامل Learn-then-Test (Angelopoulos وزملاؤه، 2025) اختيار العتبة بوصفه مسألة اختبارات متعددة. وإحدى إجراءاته تختبر العتبات المرشّحة بترتيب ثابت وتتوقف عند أول عتبة تفشل، ما يسمح لها بتجربة عدة عتبات دون فقدان الضمان.

تحتاج هذه الاختبارات إلى عيّنات أكبر مما يستخدمه معظم الفحص بالعيّنات. افترض أن الهدف هو ألا يزيد الخطأ على 10% بثقة 90%، وأن هذا هو الاختبار الأول لنموذج واحد دون تقسيم حسب الفئات، وهو ما يجريه Potato بمستوى يقارب 0.06 (يشرح القسم التالي السبب). مع 100 وسم مقبول في قسم cert، لا ينجح الاختبار إلا إذا كان 5 منها على الأكثر خاطئة. ويحتاج هدف 5% إلى وسم خاطئ واحد على الأكثر من 100، أو 4 على الأكثر من 200. والنموذج الذي يبلغ معدل خطئه الحقيقي 7% ينجح في ذلك الاختبار الأول في نحو 29% من الحالات مع 100 وسم cert مقبول، وفي نحو 56% مع 300.

الاختبارات المتكررة وميزانية الخطأ

يواصل البشر الوسم بعد الاختبار الأول، وإعادة تشغيل الاختبار حتى ينجح ستحوّل احتمال 10% لشهادة خاطئة إلى شيء أكبر بكثير. ومن الحلول أن يُعطى كل اختبار حصة متناقصة من ميزانية الخطأ. يعطي Potato الاختبار رقم k الحصة 6 / (pi^2 k^2) من الخطأ المسموح به، فيحصل الاختبار الأول على 61%، والثاني على 15%، ويبلغ مجموع الحصص الميزانية كاملة عبر كل الاختبارات الممكنة. وتجربة موجّه جديد أو نموذج جديد تُحتسب اختباراً جديداً، لأنها فرصة أخرى للنجاح بالحظ.

الانتشار بالاستدلال المدعوم بالتنبؤ

تحتاج دراسات كثيرة إلى معدل أكثر مما تحتاج إلى مجموعة بيانات، مثل نسبة المنشورات السامّة أو نسبة تشغيلات الوكيل الناجحة. وعدّ الوسوم الآلية يعطي معدلاً متحيّزاً كلما مالت أخطاء النموذج في اتجاه واحد. أما عدّ العيّنة البشرية وحدها فيعطي معدلاً غير متحيّز بفترة واسعة.

يجمع الاستدلال المدعوم بالتنبؤ (Angelopoulos وزملاؤه، 2023) بين الاثنين. فهو يحسب المعدل من الوسوم الآلية على كل العناصر، ثم يصحّحه بمتوسط خطأ النموذج على العيّنة التي وسمها البشر. والفترة صحيحة أياً كانت جودة النموذج. ويضبط PPI++ الوزن الذي تأخذه الوسوم الآلية، فالنموذج الجيد يجعل الفترة أضيق مما يستطيعه البشر وحدهم، والنموذج الضعيف لا يجعلها أوسع. وحين تُسحب العيّنة البشرية باحتمالات غير متساوية، يؤدي مقدِّر فرق Horvitz-Thompson الدور نفسه.

في مثال آثار الوكلاء المرفق مع Potato، قيّم نموذج حَكَم LLM ‏288 أثراً اصطناعياً لوكلاء كُتبت للمثال، لكل منها نتيجة مرجعية، وقال إن 76% منها نجحت. وكانت الفترة المدعومة بالتنبؤ من الحَكَم نفسه وعيّنة بشرية 0.66 [0.57، 0.76]، وكان المعدل المرجعي في البيانات 0.60. أصاب الحَكَم في 80% من الآثار الفردية، ومع ذلك بالغ في المعدل بـ 16 نقطة، لأن أخطاءه مالت نحو «النجاح».

اختبار المُعلِّق البديل

قد يكون هدف الدقة الثابت سؤالاً خاطئاً حين يختلف البشر. فإن اتفق مُعلِّقان حريصان على 85% من العناصر، فلا يمكن إثبات أن أي واسم «مصيب» بنسبة 95%، لأن المرجع نفسه فيه ضجيج. لذا يطرح اختبار المُعلِّق البديل (Calderon وزملاؤه، 2025) سؤالاً نسبياً بدلاً من ذلك. فهو يستبعد كل شخص بدوره، ويختبر هل يتفق النموذج مع الأشخاص الباقين بقدر ما يتفق الشخص المستبعد معهم على الأقل، ضمن هامش. ويحتاج إلى عناصر وسمها عدة أشخاص، وينتظر تنفيذ Potato ثلاثة مُعلِّقين على الأقل لكل منهم 30 عنصراً. وتتناول صفحة اتفاق نماذج حَكَم LLM النسخة القائمة على كابا من هذه المقارنة، وكيف تفحص معايرة الحَكَم.

العقود في محرّك الوسم في Potato

بدءاً من الإصدار 2.11، يشغّل محرّك الوسم في Potato هذه الاختبارات بوصفها عقوداً. فهو يسحب العيّنة العشوائية العمياء، ويقدّمها للمُعلِّقين مع حجب كل إجابة آلية، ويقسمها إلى dev وcert، ويُشهِد كلما وصلت الوسوم. يحتفظ هذا الإعداد بوسوم المشاعر من نموذج LLM حيث لا يزيد الخاطئ منها على 10% بثقة 90%، ويُبلغ عن انتشار كل وسم بفترة 90%:

assignment_strategy: engine
 
labeling_engine:
  enabled: true
  sources:
    - id: llm
      kind: llm
      endpoint_type: vllm
      model: google/gemma-4-12B-it-qat-w4a16-ct
      base_url: http://localhost:8001/v1
      confidence: {method: logprob}
  contracts:
    - id: accuracy
      kind: selective_risk
      schema: sentiment
      error: 0.1
      confidence: 0.9
    - id: prevalence
      kind: ppi
      schema: sentiment
      confidence: 0.9
  budgets:
    human_labels: 400

قيمة confidence البالغة 0.9 هي القيمة الافتراضية في Potato لكل عقد. ويقرأ المصدر الثقة من الاحتمالات اللوغاريتمية للرموز، لأن العتبة تحتاج إلى ثقة تفصل الإجابات الصحيحة عن الخاطئة، والثقة التي يعلنها النموذج بالكلمات هي الأقل موثوقية بين الطرق التي يقدّمها Potato. ويشغّل المثال النصي في Potato ‏481 مراجعة مع Laya أولاً وهذا النموذج في الطبقة الأخيرة. وفي ذلك التشغيل استُوفي عقد الـ 10% على 165 وسماً بشرياً، وقبل المحرّك 316 وسماً آلياً، كلها من نموذج LLM لأن عتبة Laya لم تُثبَّت قط. وكان خطؤها المقيس مقابل الوسوم المرجعية 7.6%. ويطبع potato label certificate config.yaml ما اختُبر، وعلى كم وسماً، وبأي إصدارات من النموذج والموجّه.

حدود الإشهاد بعيّنة عمياء

كل ضمان من هذه الضمانات يتعلق بالاتفاق مع الأشخاص الذين وسموا العيّنة. فإن كانوا مهملين أو سيئي التدريب، شهد العقد المستوفى بالاتفاق مع أشخاص مهملين، لذا افحص المُعلِّقين بالتداخل وضبط الجودة قبل أن تثق بشهادة.

الثقة التي لا تتغير أبداً لا تترك للعتبة ما تفصل بينه. فقد أعطى الحَكَم في مثال آثار الوكلاء ثقة 1.0 لكل أثر، فلم تستطع أي عتبة النجاح، ويضع Potato على عقد كهذا الحالة infeasible بدلاً من قبول كل شيء. وظلت فترة الانتشار تعمل على البيانات نفسها، لأنها لا تعتمد على الثقة.

وفي المهام الذاتية، حيث يختلف البشر لأسباب هي جزء من البيانات، قد لا توجد إجابة صحيحة واحدة لكل عنصر. فقارن بدلاً من ذلك توزيع وسوم النموذج بطريقة انقسام البشر، وهو ما يُبلغ عنه العقد distributional في Potato مقابل سقف ضجيج محسوب بالتقسيم إلى نصفين. وشغّل potato label status config.yaml بعد التمريرة الأولى لترى كم وسماً بشرياً إضافياً يحتاجه كل عقد قبل أن يستطيع النجاح.

قراءة إضافية

• عقود محرّك الوسم، مع خيارات كل عقد وأنماط فشله
• اتفاق نماذج حَكَم LLM والتوسيم المسبق بنماذج LLM
• التصنيفات بأشرطة خطأ، عن عدم اليقين في الوسوم البشرية نفسها
• مقارنة الوسم الآلي بالذكاء الاصطناعي، عمّا تُبلغ عنه ست أدوات توسيم بشأن الوسوم الآلية

المراجع

1. Angelopoulos, A. N., Bates, S., Candès, E. J., et al. (2025). Learn then test: Calibrating predictive algorithms to achieve risk control. The Annals of Applied Statistics. https://doi.org/10.1214/24-AOAS1998
2. Angelopoulos, A. N., Bates, S., Fannjiang, C., et al. (2023). Prediction-powered inference. Science, 382(6671). https://doi.org/10.1126/science.adi6000
3. Angelopoulos, A. N., Duchi, J. C., and Zrnic, T. (2023). PPI++: Efficient prediction-powered inference. arXiv. https://arxiv.org/abs/2311.01453
4. Calderon, N., Reichart, R., and Dror, R. (2025). The alternative annotator test for LLM-as-a-judge: How to statistically justify replacing human annotators with LLMs. Proceedings of ACL 2025. https://aclanthology.org/2025.acl-long.782/