Truth Serum

جديد في الإصدار v2.7.0

يفشل تصويت الأغلبية في الموضع نفسه الذي يصعب فيه التعليق التوضيحي: حين يخطئ جمهور واثق ويصيب أقلية مطّلعة. يضيف Truth Serum سؤالاً دقيقاً واحداً بعد كل تصنيف.

اخترتَ Sarcastic. ما النسبة المئوية للمعلّقين الآخرين الذين سيختارون التصنيف نفسه؟

شريط تمرير واحد ونقرة واحدة. وتغذّي تلك التنبؤات مبدأ الشائع على نحو مفاجئ (Prelec 2004؛ Prelec, Seung & McCoy 2017، Nature): التصنيف الذي تتجاوز شعبيته الفعلية شعبيته المتوقعة بأكبر قدر هو أفضل تقدير متاح للحقيقة، ولا يحتاج حسابه إلى أي تصنيفات ذهبية.

والحدس وراء ذلك أن من يحملون رأي أقلية صحيحاً يعرفون عادةً أنهم أقلية، فتنتهي إجابتهم أكثر شيوعاً مما توقّع أي أحد.

وعلى حدّ علمنا، Potato هو أول أداة تعليق توضيحي تتضمن تسجيلاً بتنبؤ الأقران.

ما تحصل عليه

1. أحكام على العناصر تتفوّق على تصويت الأغلبية في العناصر الصعبة. يعرض طابور "حيث يُرجَّح أن الجمهور مخطئ" في لوحة التحكم كل عنصر يختلف فيه تصنيفه الشائع على نحو مفاجئ عن تصنيف الأغلبية. راجع هذه أولاً، أو أحلها إلى البتّ.
2. درجات معايرة المعلّقين. كم يبعد الاتفاق الذي توقّعه كل معلّق عن الاتفاق الذي ناله فعلاً من أقرانه. فيظهر المعلّقون المفرطون في الثقة وسيّئو المعايرة دون أي أسئلة ذهبية.
3. المواءمة مع الحكم الشائع على نحو مفاجئ. كم مرة يطابق تصنيف كل معلّق ذلك الحكم، وهو مؤشر بديل على كونه مطّلعاً لا مجرّد مجارٍ للآخرين.

التهيئة

truth_serum:
  enabled: true
  schema: sarcasm            # scheme to collect predictions for (default: first radio)
  min_annotators: 3          # predictions per item before a verdict is computed
  # question: "What percentage of other annotators will choose the same label as you?"

ملاحظات منهجية

اقرأ هذه قبل الاستشهاد بـ Truth Serum في ورقة بحثية.

• هذه هي الصيغة المبسّطة القائمة على التنبؤ بشعبية الإجابة الذاتية. فيتوقع كل معلّق شعبية التصنيف الذي اختاره هو، لا توزيعاً كاملاً على كل التصنيفات. والشعبية المتوقعة لتصنيف ما هي متوسط تنبؤات مؤيديه، ومفاجأته هي actual % − predicted %، والحكم هو التصنيف المصوَّت عليه الأكثر مفاجأة.
• لا تُحسب الأحكام إلا مع min_annotators تنبؤاً فأكثر. والأحكام عند أعداد صغيرة مشوّشة، و3 حدّ أدنى لا توصية، و5 فأكثر أفضل.
• يقارن خطأ المعايرة كل تنبؤ بالاتفاق بين المعلّقين الآخرين على ذلك العنصر، مع استبعاد المعلّق نفسه.
• ويمكن للمعلّقين المراجعة. فآخر زوج (تصنيف، تنبؤ) لكل عنصر هو المعتمد.

البيانات وواجهة برمجة التطبيقات

تُحفظ التنبؤات في {output_annotation_dir}/truth_serum/predictions.jsonl (إلحاق فقط؛ وآخر سجل لكل معلّق وعنصر هو المعتمد).

قراءات إضافية

• القياس النفسي — تصنيفات باحتمالات بعدية وفترات ثقة
• مختبر الحدود — مراقبة الجودة انطلاقاً من مسابر مضادة للواقع
• MACE — تقدير الكفاءة، وهو يتركّب مع عرض المعايرة في Truth Serum
• تجميع تصنيفات الجمهور
• الوثائق المصدرية