البتّ ومعالجة الاختلاف

الاختلاف أمر طبيعي ومفيد. وحلّه يعني تحويل تصنيفات عدة مُعلّقين إلى تصنيف واحد جدير بالثقة، سواء بمراجعة خبير، أو بالتجميع، أو بنموذج إحصائي يُرجّح المُعلّقين بحسب مدى موثوقيتهم. وفرض إجابة واحدة قبل الأوان يهدر الإشارة الدالّة على أيِّ العناصر صعب فعلاً.

ثلاث طرائق للحلّ

1. التصويت بالأغلبية. بسيط وشفّاف: خذ التصنيف الأكثر شيوعًا. يعمل جيدًا حين يكون المُعلّقون متقاربين في المستوى وتكون المهمة واضحة، لكنه يعامل المُعلّق غير المكترث معاملة المُعلّق الحريص نفسها.

2. بتّ الخبير. وجّه العناصر المُختلَف عليها إلى خبير يتّخذ القرار النهائي. الأدقّ والأغلى ثمنًا. استخدمه للعناصر المهمة وحيث يكون التجميع غير موثوق.

3. التجميع الإحصائي. تستنتج نماذج مثل MACE (تقدير كفاءة المُعلّقين المتعددين) موثوقية كل مُعلّق من نمط اتفاقه، وتنتج تصنيف "أفضل تخمين" مُرجّحًا إلى جانب درجة كفاءة لكل مُعلّق. وهذا يخفض وزن العابثين تلقائيًّا دون فحص كل عنصر يدويًّا. انظر الفكرة الأساسية لـ نماذج المتغيرات الكامنة للتصنيفات المجموعة جماهيريًّا.

سير عمل عملي

• اجمع تعليقات متداخلة (عدة أشخاص لكل عنصر).
• جمّع بالتصويت بالأغلبية أو بـ MACE للحصول على تصنيف مبدئي وتمييز العناصر منخفضة الاتفاق.
• أرسِل العناصر المُميَّزة فقط إلى بتّ الخبير.
• أعِد ما تعلّمته إلى الإرشادات.

يدعم Potato سير عمل للبتّ يرى فيه المراجِع تصنيفات جميع المُعلّقين جنبًا إلى جنب ويسجّل الإجابة المُسوّاة.

حين يكون الاختلاف هو البيانات

في المهام الذاتية، كالفكاهة والإساءة والعاطفة، قد يعكس الاختلاف المستمرّ فروقًا حقيقية بين الناس، لا خطأً. وفي هذه الحالات، فكّر في الاحتفاظ بالتوزيع الكامل للتصنيفات (يُسمّى أحيانًا التصنيفات اللينة أو التعليق المنظوري) بدلاً من اختزاله إلى إجابة واحدة. ويدعم Potato التقاط التوزيعات بدلًا من فرض التوافق.

قراءات إضافية

• مرجع ميزة MACE
• اتفاق المُعلّقين
• كم عدد المُعلّقين الذي تحتاجه؟