المعايير الذهبية وفحوص الانتباه

المعايير الذهبية وفحوص الانتباه عناصرٌ تعرف إجابتها الصحيحة سلفًا. ودمجها ضمن التدفق يتيح لك قياس دقة كل مُعلّق، وكشف من يتعجّلون أو يلتبس عليهم الأمر أو يحاولون التحايل على المهمة. وهي خط الدفاع الأول في ضبط جودة التعليق، وبخاصة في التعهيد الجماعي.

المعايير الذهبية

العنصر المعياري الذهبي له إجابة تحقّق منها خبير. وزِّعها هنا وهناك، وقارن استجابة كل مُعلّق بالإجابة المعروفة لتحصل على درجة دقة لكل شخص. ويمكن أن تكون العناصر الذهبية صامتة (للتقييم فقط) أو أن تعطي تغذية راجعة فورية (للتدريب).

gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

ابنِ مجموعتك الذهبية من الحالات غير الملتبسة التي حسمتها إرشاداتك. ولا تستخدم العناصر الملتبسة فعلاً كعناصر ذهبية، فستعاقب المُعلّقين الجيدين على اختيارات معقولة.

فحوص الانتباه

فحص الانتباه عنصرٌ ذو إجابة بديهية مضمَّنة في التعليمات ("اختر 'غير موافق' لهذا العنصر"). وهو يكشف المُعلّقين الذين لا يقرؤون. ويمكن لـ Potato أيضًا تمييز التوقيتات المريبة، أي الاستجابات المُرسَلة أسرع مما يمكن لإنسان أن يقرأه.

attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

استخدام الإشارة

• حدِّد عتبة دقة للنجاح. يمكن إعادة تدريب المُعلّقين الذين هم دونها أو استبعادهم.
• اجمعها مع مرحلة تدريب. اشترط درجة نجاح على العناصر الذهبية قبل بدء العمل الفعلي.
• لا تُفرِط في الفحص. الفحوص الكثيرة تُضايق المُعلّقين الجيدين وترفع التكلفة. تكفي نسبة صغيرة وثابتة.

لتقدير كفاءة المُعلّقين واستنتاج التصنيفات من الاختلاف إحصائيًّا، انظر البتّ ومعالجة الاختلاف ودعم MACE في Potato.

قراءات إضافية

• مرجع ميزة ضبط الجودة
• شرح اتفاق المُعلّقين
• إجراء دراسة على Prolific و MTurk