المقارنة الزوجية ومقياس الأفضل–الأسوأ

الناس سيّئون في إعطاء درجات مطلقة ثابتة، لكنّهم جيّدون في المقارنة. ويستغلّ التعليق المقارن هذه السمة: بدلاً من "قيّم هذا من 1 إلى 5"، تسأل "أيّهما أفضل، A أم B؟". والشكلان الرئيسيان هما المقارنة الزوجية ومقياس الأفضل–الأسوأ. وهما العمود الفقري لبيانات التفضيل في الذكاء الاصطناعي الحديث.

انظر Pairwise comparison وMaxDiff للخلفية.

المقارنة الزوجية

اعرِض عنصرين واسأل أيّهما يفوز. إنها بسيطة، وعالية الاتفاق، وهي الصيغة المستخدمة لجمع بيانات التفضيل البشري من أجل التعلّم المعزَّز من التغذية الراجعة البشرية.

annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better answers the question?"
    mode: binary
    allow_tie: true
    sequential_key_binding: true

يمنع السماح بالتعادل المُعلّقين من اختلاق فرق حيث لا يوجد. ولالتقاط مقدار التفوّق، بدّل mode إلى مقياس (مثل "A أفضل بكثير … B أفضل بكثير"). ومعرض التفضيل الزوجي مثال عملي.

يمكن تحويل كثير من الأحكام الزوجية إلى ترتيب واحد بنموذج مثل نظام تصنيف Elo أو نموذج Bradley–Terry.

مقياس الأفضل–الأسوأ (MaxDiff)

اعرِض مجموعة صغيرة (أربعة عناصر في الغالب) واطلب الأفضل والأسوأ. كل حكم أكثر إفادة من تصويت زوجي مفرد، لأنه يثبّت طرفَي المجموعة دفعةً واحدة.

annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    description: "Pick the most and least fluent translation."
    tuple_size: 4
    best_label: "Most fluent"
    worst_label: "Least fluent"

ينتج مقياس الأفضل–الأسوأ درجات موثوقة شبيهة بالفترية من اختيارات بسيطة، ويُستخدم على نطاق واسع لبناء ترتيبات مُعايَرة من عدد كبير من المُعلّقين.

متى تفضّل المقارنات على التقييمات

• يصعب تثبيت بنيتك المفاهيمية على نحو مطلق (الفكاهة، الفائدة، الجودة الجمالية).
• تحتاج إلى اتفاق عالٍ ومقياس Likert لديك مشوّش.
• تبني بيانات تفضيل لتدريب نموذج أو محاذاته.

والثمن أنك تحصل على معلومات نسبية؛ وقد تحتاج إلى نموذج (Elo، Bradley–Terry) لاستعادة الدرجات المطلقة.

قراءات إضافية

• مقاييس التقييم، البديل القائم على التسجيل المطلق
• المقارنة الزوجية للنماذج، مقارنة مخرجات الذكاء الاصطناعي
• بيانات تفضيل RLHF