شرح اتفاق المُعلّقين
دليل عملي لاتفاق المُعلّقين، ونسبة الاتفاق، ومعامل كابا لكوهين وفلايس، ومعامل ألفا لكريبندورف، ومتى تستخدم كلاً منها، وكيف يعرضها Potato.
يقيس اتفاق المُعلّقين (IAA) عدد المرات التي يعطي فيها مُعلّقون مستقلون التصنيف نفسه. وهو الدليل المعياري على أن مهمة التعليق مُعرّفة جيدًا وأن التصنيفات الناتجة جديرة بالثقة. وعادةً ما يعني الاتفاق المنخفض أن الإرشادات غير واضحة، لا أن المُعلّقين غير مكترثين.
الموضوع العام هو موثوقية المُقيّمين. يحسب Potato الاتفاق مباشرةً في لوحة تحكم المشرف، انظر ضبط الجودة.
لماذا لا تكفي نسبة الاتفاق الخام
أبسط مقياس هو نسبة الاتفاق: حصة العناصر التي صنّفها المُعلّقون بشكل متطابق. والمشكلة أن جزءًا من الاتفاق يحدث بالصدفة. فإذا اختار مُعلّقان كلاهما "إيجابي" بنسبة 90% من الوقت، فسيتفقان في معظم الأحيان حتى لو صنّفا عشوائيًا. وتعالج المقاييس المُصحَّحة للصدفة هذه المشكلة.
يتخذ المعامل المُصحَّح للصدفة الصيغة التالية:
P_observed − P_expected
κ = ─────────────────────────
1 − P_expected
حيث P_observed هو الاتفاق الفعلي وP_expected هو الاتفاق المتوقع بالصدفة. القيمة 1 تعني اتفاقًا تامًّا، و0 تعني مستوى الصدفة.
الثلاثة التي ستستخدمها فعلاً
- كابا لكوهين: مُعلّقان، تصنيفات فئوية. الخيار الكلاسيكي للزوج.
- كابا لفلايس: أكثر من مُعلّقين، تصنيفات فئوية، حين قد تُقيَّم عناصر مختلفة على يد مُقيّمين مختلفين.
- ألفا لكريبندورف: الخيار الأعمّ. يعمل مع أي عدد من المُعلّقين، ويتعامل مع البيانات الناقصة، ويدعم البيانات الاسمية والترتيبية والفترية والنسبية. وهذا ما يعرضه Potato افتراضيًّا.
استخدم كابا للأزواج الفئوية البسيطة، واستعن بألفا لكريبندورف حين يكون لديك عدد كبير من المُعلّقين، أو تداخل غير مكتمل، أو تصنيفات مرتبة/متصلة (حيث ينبغي أن يُحتسب "الخطأ بدرجة واحدة" أقل من "الخطأ بأربع درجات").
معامل كابا لفلايس أم ألفا لكريبندورف مع ثلاثة مُعلِّقين؟
إذا وسم المُعلِّقون الثلاثة كل عنصر وكانت الوسوم فئات غير مرتبة، فكلا المعاملين مقبول. أما إذا نقص وسم في أي عنصر، أو كانت الوسوم مرتبة، فاستخدم ألفا لكريبندورف.
يختلف المعاملان في افتراضاتهما:
- الوسوم الناقصة. يفترض كابا لفلايس العدد نفسه من التقييمات لكل عنصر. فإذا تخطّى أحد المُعلِّقين الثلاثة عنصرًا، وجب عليك استبعاد ذلك العنصر. أما ألفا لكريبندورف فيستخدم كل تقييم متاح.
- مستوى القياس. يعامل كابا لفلايس الوسوم على أنها غير مرتبة، فعلى مقياس من 1 إلى 5 يُحسب 4 مقابل 5 خلافًا بقدر 1 مقابل 5. أما ألفا لكريبندورف فيأخذ مقياس مسافة (اسميًا أو ترتيبيًا أو فتريًا أو نسبيًا) ويحتسب الفروق المتقاربة خلافات أصغر.
- العينات الصغيرة. يتضمن ألفا لكريبندورف تصحيحًا للعينات الصغيرة، لذا قد تتباعد قيمتا المعاملين في تجربة أولية من بضع عشرات من العناصر حتى لو كانت البيانات تناسبهما معًا.
مع بيانات اسمية كاملة وعدد معقول من العناصر، تتقارب قيمتا المعاملين عادةً. أبلغ عن المعامل الذي يتوقعه مجالك، واذكر في الورقة المعامل والمقياس، لأن عبارة "بلغ الاتفاق 0.72" تعني شيئًا مختلفًا في كل منهما.
يُبلغ Potato عن ألفا لكريبندورف. قبل الإصدار 2.9، كان ألفا الترتيبي لمقياس ليكرت ذي الوسوم النصية يرتّب هذه الوسوم أبجديًا، فيصبح اسميًا في الواقع. وإذا كنت قد أبلغت عن اتفاق ترتيبي على مقاييس ذات وسوم نصية باستخدام إصدار سابق، فأعد حسابه بعد الترقية. ويمكنك أيضًا فحص جدول وسوم في المتصفح باستخدام حاسبة الاتفاق، التي تحسب ألفا الاسمي والترتيبي والفتري إلى جانب كابا لكوهين وكابا لفلايس.
كيف تُفسِّر الرقم
لا يوجد حدّ فاصل عالمي، لكنّ هناك دليلًا تقريبيًّا شائعًا لـ ألفا/كابا:
- ≥ 0.80: جيد بما يكفي للاعتماد عليه.
- 0.67–0.80: صالح لاستنتاجات أولية، مع التحقق من مواضع الاختلاف.
- < 0.67: راجِع الإرشادات قبل الوثوق بالتصنيفات.
تعامل مع هذه القيم كدافع للتحقق، لا كبوابة نجاح/رسوب. وانظر دائمًا إلى أيِّ العناصر وأيِّ التصنيفات تقود الاختلاف.
قياسه في Potato
اجعل المُعلّقين يتداخلون على مجموعة فرعية مشتركة، ثم فعّل تقرير الاتفاق:
agreement_metrics:
enabled: true
# Krippendorff's alpha is reported in the admin dashboard.في مهام المقاطع (span) والمهام المُهيكَلة، قِس الاتفاق عند المستوى الذي يهمّك (تطابق المقطع التام مقابل التداخل)، لأن المقاييس على مستوى المستند تُخفي الاختلافات عند الحدود.
حين يكون الاتفاق منخفضًا
- اقرأ العناصر المُختلَف عليها: هل الإرشاد غامض أم أن العنصر صعب فعلاً؟
- أحكِم التعريفات وأضِف الحالات الصعبة كأمثلة. انظر كتابة إرشادات التعليق.
- أعِد التجربة الاسترشادية. وإذا بقي الاتفاق منخفضًا في مهام ذاتية بطبيعتها، ففكّر في تسجيل الاختلاف نفسه بدلًا من فرض إجابة واحدة.