مقاييس التقييم

يلتقط مقياس التقييم الدرجة، أي مدى الإيجابية ومدى الطلاقة ومدى الفائدة، بدلًا من الفئة. والشكلان الشائعان هما مقياس Likert المنفصل (مثل 1–5) والمنزلق المتصل. والخيارات التصميمية الصغيرة في المقياس تغيّر بياناتك أكثر مما يتوقع الناس.

Likert: نقاط منفصلة

استخدم مقياس Likert حين تريد تقييمات قابلة للمقارنة وسهلة التجميع:

annotation_schemes:
  - annotation_type: likert
    name: fluency
    description: "How fluent is this translation?"
    size: 5
    min_label: "Not fluent at all"
    max_label: "Perfectly fluent"

قرارات تصميمية مهمّة:

• كم نقطة تستخدم؟ خمس نقاط خيار افتراضي آمن. وسبع نقاط تمنح دقة أعلى إن استطاع المُعلّقون استثمارها. والعدد الزوجي يلغي نقطة المنتصف المحايدة ويفرض ميلًا إلى أحد الجانبين، وهو مفيد حين يكون «المحايد» تهرّبًا، ومحفوف بالمخاطر حين يكون الحياد حقيقيًا.
• ضع تسمية للطرفين، ويفضَّل لكل نقطة. النقاط المُسمّاة تُفسَّر باتساق أكبر من الأرقام المجرّدة.
• حافظ على اتساق الاتجاه عبر جميع مقاييسك كي لا يقلبها المُعلّقون بحكم العادة.

المنزلقات: قيم متصلة

استخدم slider حين تكون الكمية الكامنة متصلة فعلًا، مثل نسبة الثقة أو شدّة العاطفة:

annotation_schemes:
  - annotation_type: slider
    name: confidence
    description: "How confident are you in your label?"
    min: 0
    max: 100
    step: 1
    min_label: "Guessing"
    max_label: "Certain"

تمنح المقاييس المتصلة دقة أعلى لكن اتفاقًا أقل، لأن الناس لا يشتركون في إحساس دقيق بالفرق بين «67 و72». فإن احتجت إلى الاتفاق، فجزّئ المخرجات إلى فئات.

انحيازات ينبغي تجنّبها عند التصميم

• انحياز الإذعان: ميل إلى الموافقة. أدرِج بنودًا مصاغة بشكل عكسي كي لا تكون الموافقة هي الخيار الافتراضي. انظر انحياز الإذعان.
• النزعة المركزية: التكدّس حول المنتصف. تسميات واضحة للطرفين، وعدد زوجي من النقاط عند الاقتضاء، يدفعان ضدها.
• التثبيت: تحدّد البنود الأولى مرجعًا. وتساعد مجموعة معايرة قصيرة في البداية.

ما وراء المقياس الواحد

• قيّم عدّة بنود على المقياس نفسه دفعة واحدة باستخدام multirate (مثل كل مستند مُسترجَع). انظر تقييم RAG.
• قيّم عدّة معايير موزونة باستخدام rubric_eval. انظر تقييم LLM المبني على معايير التقدير.
• تقييمات جودة الصوت مثل MOS تستخدم آلية Likert نفسها، انظر توسيم الصوت.

قراءات إضافية

• اختيار مخطّط التوسيم
• المقارنة الزوجية ومقياس الأفضل–الأسوأ، حين تتفوّق المقارنات على التقييمات
• شرح اتفاق المُعلّقين