قياس أثر الترسيخ لاقتراحات نماذج LLM في المُعلِّقين باستخدام عناصر عمياء

المُعلِّق الذي يرى الوسم الذي يقترحه نموذج LLM يميل إلى إعطاء ذلك الوسم، لذا يكون الاتفاق بين البشر والنموذج أعلى حين يكون الاقتراح معروضاً على الشاشة منه حين لا يكون. أخفِ الاقتراح عن عيّنة عشوائية من العناصر، وقِس الاتفاق على تلك العناصر العمياء، واستخدم الاتفاق الأعمى بدلاً من الاتفاق الكلي لتقرّر إلى أي حد تثق بالنموذج.

الترسيخ (anchoring) هو ميل رقم أو إجابة تُرى أولاً إلى جذب حكم لاحق نحوها. وفي التوسيم يكون المرسى وسماً مسبقاً، أي اقتراحاً من نموذج يقبله المُعلِّق أو يصحّحه. والترسيخ غير الختم الأعمى (rubber-stamping)، الذي يقبل فيه المُعلِّق الاقتراحات دون قراءتها. فالمُعلِّق الحريص الذي يقرأ كل اقتراح قد يقع تحت أثر الترسيخ مع ذلك، لأن الإجابة المقترحة على عنصر ملتبس موجودة على الصفحة أصلاً. وإشارات التوقيت تكشف الختم الأعمى، كما تشرح مقالة الاتفاق لا يكشف الختم الأعمى. أما المُعلِّق الواقع تحت أثر الترسيخ فقد يقضي على العنصر وقتاً عادياً، لذا لا يفصل التوقيت بين الترسيخ والحكم المستقل.

أدلة على أن الاقتراحات تغيّر الوسوم

جمعت تجربة مسجّلة مسبقاً (Schroeder وزملاؤه، 2025) ‏7,000 توسيم على مهام ذاتية من 350 عاملاً في التعهيد الجماعي، عبر 4 ظروف ونموذجين ومجموعتي بيانات. لم يجعل عرض اقتراحات نموذج LLM المُعلِّقين أسرع، لكنه رفع ثقتهم التي أبلغوا عنها بأنفسهم. وأخذ المُعلِّقون بالاقتراحات بما يكفي لتغيير توزيع الوسوم تغييراً ذا دلالة مقارنةً بمُعلِّقين لم يروا أي اقتراح. وحين استُخدمت الوسوم التي صُنعت بمساعدة نموذج LLM لتقييم ذلك النموذج، ارتفع أداؤه المُبلَغ عنه ارتفاعاً ذا دلالة.

لذا فإن الاتفاق بين نموذج ومراجعين رأوا اقتراحاته هو جزئياً اتفاق بين النموذج ونفسه. وأي قرار يستند إلى هذا الرقم، مثل تسليم بقية المدوّنة إلى النموذج بعد أن يتجاوز الاتفاق 90%، يُتخذ على رقم متضخّم.

العناصر العمياء وفجوة الترسيخ

قبل بدء التوسيم، اختر نسبة عشوائية من العناصر يَسِمها المُعلِّق دون الاقتراح. ويظهر الاقتراح كالمعتاد على الباقي. والمقارنة بين الاثنين تعطي ثلاثة أرقام:

• الاتفاق الأعمى، بين النموذج والوسوم المعطاة دون اقتراحه، وهو يقدّر كم مرة يصيب النموذج؛
• والاتفاق مع العرض، بين النموذج والوسوم المعطاة واقتراحه معروض على الشاشة؛
• وفجوة الترسيخ، أي الاتفاق مع العرض مطروحاً منه الاتفاق الأعمى، وهي تقدّر مقدار ما يحرّك الاقتراحُ البشرَ.

يجب أن تُختار العناصر العمياء عشوائياً وأن تُثبَّت طوال الدراسة. فاختيار أصعب العناصر، أو ترك المُعلِّق يقرّر متى ينظر، يجعل العيّنة العمياء غير ممثِّلة، فلا يقدّر الاتفاق الأعمى حينئذ شيئاً عن بقية المدوّنة. ولا يُحتسب الوسم أعمى إلا إذا لم يرَ المُعلِّق أي اقتراح لذلك العنصر قط، لذا فإن إعادة الوسم بعد خلاف تُضمّ إلى الوسوم المعطاة مع العرض.

نسبة العناصر العمياء موازنة بين السرعة والدليل. فكل عنصر أعمى يُوسَم دون الوقت الذي يوفّره الاقتراح، وقلة العناصر العمياء تجعل الاتفاق الأعمى كثير الضجيج. والقيم الافتراضية في Potato نسبة 20% مع حد أدنى قدره 20 عنصراً أعمى. وبهذه النسبة لا تنتج دراسة من 20 عنصراً سوى نحو 4 عناصر عمياء، لذا اضبط الحد الأدنى على ما تستطيع المدوّنة إعطاءه.

الاقتراحات العمياء في الوضع الفردي

الوضع الفردي هو إعداد Potato لخبير واحد يعمل مع نموذج LLM. يَسِم النموذج المدوّنة، ويَسِم الخبير إلى جانبه، ويسلّم الوضع الفردي العناصر الباقية إلى النموذج بعد أن يتجاوز اتفاق الخبير معه end_human_annotation_agreement. وقبل Potato 2.11 كان ذلك الاتفاق يُقاس على وسوم أُعطيت والاقتراح ظاهر. وبدءاً من 2.11 يتحكم solo_mode.suggestions في وقت ظهور الاقتراح:

solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

يخفي blind_sample الاقتراح عن 20% ثابتة من العناصر، تُختار مرة واحدة للدراسة، فتبقى العناصر نفسها عمياء بعد إعادة التحميل أو إعادة التشغيل. أما after_label فلا يعرض الاقتراح أولاً أبداً، وحين يختلف الخبير والنموذج تعرض صفحة الحسم وسم النموذج وتعليله. وبعد أن تتوفر 20 مقارنة عمياء، يقارن التسليمُ الاتفاقَ الأعمى بالعتبة بدلاً من الاتفاق الكلي.

تعرض بطاقة Blind Agreement في لوحة التحكم الاتفاق الأعمى والاتفاق مع العرض جنباً إلى جنب، والفجوة بينهما، وكم مرة أخذ الخبير بالاقتراح عبر زر Accept. ويُبلَغ عن الفجوة بعد أن يكون لكل جانب 5 مقارنات على الأقل. والفجوة الموجبة الكبيرة تعني أن الخبير يتفق مع النموذج أكثر حين يستطيع رؤية إجابته. وفي هذه الحالة أبقِ عناصر أكثر عمياء أو انتقل إلى after_label.

المعايرة العمياء في محرّك الوسم

يطبّق محرّك الوسم في Potato، الجديد أيضاً في 2.11، القاعدة نفسها على كل وسم يستخدمه دليلاً. فطلبات المعايرة والإشهاد والتدقيق تُسحب عشوائياً مع تسجيل احتمالات الإدراج، وما دام شخص يحمل أحدها يحجب الخادم كل إجابة آلية عن ذلك العنصر. فالتوسيمات المسبقة والحَكَم المضمّن ومساعد الذكاء الاصطناعي كلها معطّلة، ويبقى العنصر أعمى لذلك الشخص بعد أن يحفظه. ولا يُشهِد المحرّك على الوسوم الآلية إلا مقابل هذه الوسوم العمياء.

وطلبات التحقق هي الحالة المعاكسة. فهي تعرض إجابة الآلة، وتطلب من الشخص الإبقاء عليها أو تغييرها، وتسجّل الإجابة المعبّأة مسبقاً لتستطيع قياس كم مرة يقبلها البشر. ولا يستخدم المحرّك إجابات التحقق للإشهاد أبداً، لأنها واقعة تحت أثر الترسيخ بطبيعة تصميمها. وضبط humans.verify_visibility: blind يقدّم طلبات التحقق دون الإجابة أيضاً، على حساب الوقت الذي يوفّره الاقتراح.

حدود العيّنة العمياء

تقيس العيّنة العمياء النموذج مقابل بشر بلا مساعدة، وهذا هو المرجع الصحيح فقط إن كان البشر بلا مساعدة موثوقين في المهمة. ففي مهمة ذاتية يختلف فيها المُعلِّقون الحريصون فيما بينهم، يكون للاتفاق الأعمى سقف دون 100%، وقد يقف النموذج عند ذلك السقف. قارن اتفاق النموذج مع البشر باتفاق البشر فيما بينهم، كما تشرح صفحة اتفاق نماذج حَكَم LLM، قبل أن تقرأ اتفاقاً أعمى منخفضاً على أنه دليل على نموذج ضعيف.

وتترك العيّنة العمياء أيضاً الوسوم التي أُعطيت مع اقتراح على حالها. فتلك الوسوم تبقى واقعة تحت أثر الترسيخ، ومجموعة البيانات المبنية في معظمها منها ترث تفضيلات النموذج. أبلِغ عن الاتفاق الأعمى وفجوة الترسيخ مع مجموعة البيانات، واضبط display: blind_sample قبل وسم أول عنصر، لأن العناصر التي وُسمت والاقتراح ظاهر لا يمكن جعلها عمياء بعد ذلك.

قراءة إضافية

• الاتفاق لا يكشف الختم الأعمى، عن إشارات التوقيت للمُعلِّقين الذين يقبلون دون قراءة
• التوسيم المسبق بنماذج LLM، عن تحيّز الأتمتة في الوسوم المسبقة المراجَعة
• الإشهاد على وسوم نماذج LLM بعيّنة بشرية عمياء، عن الإشهاد على الوسوم الآلية مقابل عيّنة عمياء

المراجع

1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323