شرح اتفاق المُعلّقين

دليل عملي لاتفاق المُعلّقين، ونسبة الاتفاق، ومعامل كابا لكوهين وفلايس، ومعامل ألفا لكريبندورف، ومتى تستخدم كلاً منها، وكيف يعرضها Potato.

يقيس اتفاق المُعلّقين (IAA) عدد المرات التي يعطي فيها مُعلّقون مستقلون التصنيف نفسه. وهو الدليل المعياري على أن مهمة التعليق مُعرّفة جيدًا وأن التصنيفات الناتجة جديرة بالثقة. وعادةً ما يعني الاتفاق المنخفض أن الإرشادات غير واضحة، لا أن المُعلّقين غير مكترثين.

الموضوع العام هو موثوقية المُقيّمين. يحسب Potato الاتفاق مباشرةً في لوحة تحكم المشرف، انظر ضبط الجودة.

لماذا لا تكفي نسبة الاتفاق الخام

أبسط مقياس هو نسبة الاتفاق: حصة العناصر التي صنّفها المُعلّقون بشكل متطابق. والمشكلة أن جزءًا من الاتفاق يحدث بالصدفة. فإذا اختار مُعلّقان كلاهما "إيجابي" بنسبة 90% من الوقت، فسيتفقان في معظم الأحيان حتى لو صنّفا عشوائيًا. وتعالج المقاييس المُصحَّحة للصدفة هذه المشكلة.

يتخذ المعامل المُصحَّح للصدفة الصيغة التالية:

text

        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

حيث P_observed هو الاتفاق الفعلي وP_expected هو الاتفاق المتوقع بالصدفة. القيمة 1 تعني اتفاقًا تامًّا، و0 تعني مستوى الصدفة.

الثلاثة التي ستستخدمها فعلاً

كابا لكوهين: مُعلّقان، تصنيفات فئوية. الخيار الكلاسيكي للزوج.
كابا لفلايس: أكثر من مُعلّقين، تصنيفات فئوية، حين قد تُقيَّم عناصر مختلفة على يد مُقيّمين مختلفين.
ألفا لكريبندورف: الخيار الأعمّ. يعمل مع أي عدد من المُعلّقين، ويتعامل مع البيانات الناقصة، ويدعم البيانات الاسمية والترتيبية والفترية والنسبية. وهذا ما يعرضه Potato افتراضيًّا.

استخدم كابا للأزواج الفئوية البسيطة، واستعن بألفا لكريبندورف حين يكون لديك عدد كبير من المُعلّقين، أو تداخل غير مكتمل، أو تصنيفات مرتبة/متصلة (حيث ينبغي أن يُحتسب "الخطأ بدرجة واحدة" أقل من "الخطأ بأربع درجات").

كيف تُفسِّر الرقم

لا يوجد حدّ فاصل عالمي، لكنّ هناك دليلًا تقريبيًّا شائعًا لـ ألفا/كابا:

≥ 0.80: جيد بما يكفي للاعتماد عليه.
0.67–0.80: صالح لاستنتاجات أولية، مع التحقق من مواضع الاختلاف.
< 0.67: راجِع الإرشادات قبل الوثوق بالتصنيفات.

تعامل مع هذه القيم كدافع للتحقق، لا كبوابة نجاح/رسوب. وانظر دائمًا إلى أيِّ العناصر وأيِّ التصنيفات تقود الاختلاف.

قياسه في Potato

اجعل المُعلّقين يتداخلون على مجموعة فرعية مشتركة، ثم فعّل تقرير الاتفاق:

yaml

agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

في مهام المقاطع (span) والمهام المُهيكَلة، قِس الاتفاق عند المستوى الذي يهمّك (تطابق المقطع التام مقابل التداخل)، لأن المقاييس على مستوى المستند تُخفي الاختلافات عند الحدود.

حين يكون الاتفاق منخفضًا

اقرأ العناصر المُختلَف عليها: هل الإرشاد غامض أم أن العنصر صعب فعلاً؟
أحكِم التعريفات وأضِف الحالات الصعبة كأمثلة. انظر كتابة إرشادات التعليق.
أعِد التجربة الاسترشادية. وإذا بقي الاتفاق منخفضًا في مهام ذاتية بطبيعتها، ففكّر في تسجيل الاختلاف نفسه بدلًا من فرض إجابة واحدة.