شرح اتفاق المُعلّقين

يقيس اتفاق المُعلّقين (IAA) عدد المرات التي يعطي فيها مُعلّقون مستقلون التصنيف نفسه. وهو الدليل المعياري على أن مهمة التعليق مُعرّفة جيدًا وأن التصنيفات الناتجة جديرة بالثقة. وعادةً ما يعني الاتفاق المنخفض أن الإرشادات غير واضحة، لا أن المُعلّقين غير مكترثين.

الموضوع العام هو موثوقية المُقيّمين. يحسب Potato الاتفاق مباشرةً في لوحة تحكم المشرف، انظر ضبط الجودة.

لماذا لا تكفي نسبة الاتفاق الخام

أبسط مقياس هو نسبة الاتفاق: حصة العناصر التي صنّفها المُعلّقون بشكل متطابق. والمشكلة أن جزءًا من الاتفاق يحدث بالصدفة. فإذا اختار مُعلّقان كلاهما "إيجابي" بنسبة 90% من الوقت، فسيتفقان في معظم الأحيان حتى لو صنّفا عشوائيًا. وتعالج المقاييس المُصحَّحة للصدفة هذه المشكلة.

يتخذ المعامل المُصحَّح للصدفة الصيغة التالية:

        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

حيث P_observed هو الاتفاق الفعلي وP_expected هو الاتفاق المتوقع بالصدفة. القيمة 1 تعني اتفاقًا تامًّا، و0 تعني مستوى الصدفة.

الثلاثة التي ستستخدمها فعلاً

• كابا لكوهين: مُعلّقان، تصنيفات فئوية. الخيار الكلاسيكي للزوج.
• كابا لفلايس: أكثر من مُعلّقين، تصنيفات فئوية، حين قد تُقيَّم عناصر مختلفة على يد مُقيّمين مختلفين.
• ألفا لكريبندورف: الخيار الأعمّ. يعمل مع أي عدد من المُعلّقين، ويتعامل مع البيانات الناقصة، ويدعم البيانات الاسمية والترتيبية والفترية والنسبية. وهذا ما يعرضه Potato افتراضيًّا.

استخدم كابا للأزواج الفئوية البسيطة، واستعن بألفا لكريبندورف حين يكون لديك عدد كبير من المُعلّقين، أو تداخل غير مكتمل، أو تصنيفات مرتبة/متصلة (حيث ينبغي أن يُحتسب "الخطأ بدرجة واحدة" أقل من "الخطأ بأربع درجات").

معامل كابا لفلايس أم ألفا لكريبندورف مع ثلاثة مُعلِّقين؟

إذا وسم المُعلِّقون الثلاثة كل عنصر وكانت الوسوم فئات غير مرتبة، فكلا المعاملين مقبول. أما إذا نقص وسم في أي عنصر، أو كانت الوسوم مرتبة، فاستخدم ألفا لكريبندورف.

يختلف المعاملان في افتراضاتهما:

• الوسوم الناقصة. يفترض كابا لفلايس العدد نفسه من التقييمات لكل عنصر. فإذا تخطّى أحد المُعلِّقين الثلاثة عنصرًا، وجب عليك استبعاد ذلك العنصر. أما ألفا لكريبندورف فيستخدم كل تقييم متاح.
• مستوى القياس. يعامل كابا لفلايس الوسوم على أنها غير مرتبة، فعلى مقياس من 1 إلى 5 يُحسب 4 مقابل 5 خلافًا بقدر 1 مقابل 5. أما ألفا لكريبندورف فيأخذ مقياس مسافة (اسميًا أو ترتيبيًا أو فتريًا أو نسبيًا) ويحتسب الفروق المتقاربة خلافات أصغر.
• العينات الصغيرة. يتضمن ألفا لكريبندورف تصحيحًا للعينات الصغيرة، لذا قد تتباعد قيمتا المعاملين في تجربة أولية من بضع عشرات من العناصر حتى لو كانت البيانات تناسبهما معًا.

مع بيانات اسمية كاملة وعدد معقول من العناصر، تتقارب قيمتا المعاملين عادةً. أبلغ عن المعامل الذي يتوقعه مجالك، واذكر في الورقة المعامل والمقياس، لأن عبارة "بلغ الاتفاق 0.72" تعني شيئًا مختلفًا في كل منهما.

يُبلغ Potato عن عدة معاملات في آن واحد بدلًا من أن يُلزمك باختيار واحد منها مسبقًا. فالمخطط الفئوي يحصل على نسبة الاتفاق وكابا لكوهين وكابا لفلايس وألفا الاسمي جنبًا إلى جنب، والمخطط المرتب يحصل على كابا الموزون خطيًا وكابا الموزون تربيعيًا ورو لسبيرمان وألفا الترتيبي. قبل الإصدار 2.9، كان ألفا الترتيبي لمقياس ليكرت ذي الوسوم النصية يرتّب هذه الوسوم أبجديًا، فيصبح اسميًا في الواقع، لذا أعد حساب الاتفاق الترتيبي على المقاييس ذات الوسوم النصية إذا كنت قد أبلغت عنه باستخدام إصدار سابق. وحتى الإصدار 2.10.1، كان ألفا الترتيبي يزن الاختلاف بالفرق المباشر بين الرتب، وهذا ليس المقياس الترتيبي لكريبندورف. ومنذ الإصدار 2.10.2 تطابق قيمته ألفا الترتيبي في الحاسبة، لذا أعد حساب أي ألفا ترتيبي أبلغت عنه باستخدام إصدار سابق. ويمكنك أيضًا فحص جدول وسوم في المتصفح باستخدام حاسبة الاتفاق، التي تحسب ألفا الاسمي والترتيبي والفتري إلى جانب كابا لكوهين وكابا لفلايس.

كيف تُفسِّر الرقم

لا يوجد حدّ فاصل عالمي، لكنّ هناك دليلًا تقريبيًّا شائعًا لـ ألفا/كابا:

• ≥ 0.80: جيد بما يكفي للاعتماد عليه.
• 0.67–0.80: صالح لاستنتاجات أولية، مع التحقق من مواضع الاختلاف.
• < 0.67: راجِع الإرشادات قبل الوثوق بالتصنيفات.

تعامل مع هذه القيم كدافع للتحقق، لا كبوابة نجاح/رسوب. وانظر دائمًا إلى أيِّ العناصر وأيِّ التصنيفات تقود الاختلاف.

قياسه في Potato

اجعل المُعلّقين يتداخلون على مجموعة فرعية مشتركة، ثم فعّل تقرير الاتفاق:

agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

في مهام المقاطع (span) والمهام المُهيكَلة، قِس الاتفاق عند المستوى الذي يهمّك، لأن المقاييس على مستوى المستند تُخفي الاختلافات عند الحدود. ويُبلغ Potato لمخططات المقاطع عن كابا على مستوى الرمز، وF1 للمقاطع بالتطابق التام والجزئي، وألفا كريبندورف على تسميات كل محرف على حدة، وصيغة مبسَّطة من غاما Mathet، مما يتيح لك فصل الاختلاف حول التسمية عن الاختلاف حول موضع بداية المقطع.

حين يكون الاتفاق منخفضًا

1. اقرأ العناصر المُختلَف عليها: هل الإرشاد غامض أم أن العنصر صعب فعلاً؟
2. أحكِم التعريفات وأضِف الحالات الصعبة كأمثلة. انظر كتابة إرشادات التعليق.
3. أعِد التجربة الاسترشادية. وإذا بقي الاتفاق منخفضًا في مهام ذاتية بطبيعتها، ففكّر في تسجيل الاختلاف نفسه بدلًا من فرض إجابة واحدة.

الأسئلة الشائعة

تتناول الأسئلة التالية نطاق قيم ألفا لكريبندورف، وطريقة حسابه، والاتفاق عند وجود مُعلِّقَين اثنين فقط.

هل يمكن أن تكون قيمة ألفا لكريبندورف أقل من -1؟

لا. تنزل قيمة ألفا تحت 0 حين يختلف المُعلّقون أكثر مما تتوقعه الصدفة، وتقترب من -1 دون أن تبلغها. فمُعلِّقان يختلفان في كل عنصر من N عنصرًا، ويستخدمان وسمين بالتكرار نفسه، يعطيان ألفا تساوي -1 + 1/N بالضبط، أي -0.8 مع 5 عناصر و-0.95 مع 20 عنصرًا. ويحدد كريبندورف (2011) النطاق المهم للموثوقية بأنه من 0 إلى 1، ويعزو القيم الأقل من 0 إلى اختلاف منهجي أو إلى خطأ في المعاينة. وتشير قيمة ألفا السالبة بوضوح إلى اختلاف منهجي، كأن يقرأ المُعلّقون مقياسًا في اتجاهين متعاكسين، وتستدعي مراجعة الإرشادات بدلًا من الإبلاغ عن الرقم.

كيف أحسب ألفا لكريبندورف؟

ألفا تساوي 1 مطروحًا منها نسبة الاختلاف المُلاحَظ إلى الاختلاف المتوقع بالصدفة. يأتي الاختلاف المُلاحَظ من أزواج الوسوم المُعطاة للعنصر نفسه، ويأتي الاختلاف المتوقع من أزواج مسحوبة من جميع وسوم الدراسة، ويحدد مقياس مسافة (اسمي أو ترتيبي أو فتري أو نسبي) وزن كل عدم تطابق. يحسب Potato ألفا لكل مخطط تعليق في لوحة تحكم المشرف بمجرد أن يَسِم min_overlap من المُعلّقين العنصرَ نفسه، وتحسب حاسبة الاتفاق في المتصفح ألفا الاسمي والترتيبي والفتري انطلاقًا من جدول وسوم.

هل يمكن حساب اتفاق المُعلّقين مع مُعلِّقَين اثنين فقط؟

نعم. صُمِّم كابا لكوهين لمُعلِّقَين اثنين بالضبط مع تصنيفات فئوية، ويعمل ألفا لكريبندورف مع مُعلِّقَين اثنين كما يعمل مع عدد أكبر. ويشترط المعاملان كلاهما أن يكون المُعلِّقان قد وسما العناصر نفسها كلٌّ على حدة، ومع عدد قليل من العناصر يكون التقدير غير مستقر، لذا أبلغ عن عدد العناصر إلى جانب المعامل.

قراءات إضافية

• مرجع ميزة ضبط الجودة
• المعايير الذهبية وفحوص الانتباه
• البتّ ومعالجة الاختلاف