Skip to content

تقييم نماذج LLM المبني على شبكة معايير (rubric)

كيف تُقيّم مخرجات نموذج LLM وفق معايير متعددة ومُرجَّحة (بأسلوب MT-Bench) باستخدام نوع التقييم بشبكة المعايير في Potato.

تُفكِّك شبكة المعايير (rubric) الحكم المبهم ("هل هذه إجابة جيدة؟") إلى معايير محدَّدة قابلة للتسجيل، مثل النفع والدقة والاكتمال والنبرة والسلامة، يُقيَّم كلٌّ منها على مقياس. وهي تجعل تقييم LLM قابلاً للتكرار، وتكشف لماذا تتفوّق إجابةٌ على أخرى. هذه هي البنية الكامنة وراء مقاييس قياسية مثل MT-Bench.

تُحوِّل شبكة المعايير (rubric) الجودة الذاتية إلى شبكة من المعايير المُعرَّفة ونقاط المقياس، ما يرفع الاتفاق ويجعل النتائج قابلة للتفسير.

متى تستخدم شبكة معايير

  • تكون المخرجات غنية بما يكفي بحيث تُفقد درجةٌ واحدةٌ معلوماتٍ مهمة.
  • تحتاج إلى معرفة أيُّ بُعدٍ ضعيف (الدقة أم النبرة)، لا مجرد حكم إجمالي.
  • تريد معايير يتفق عليها أصحاب المصلحة مسبقًا.

إذا كنت تحتاج فقط إلى معرفة "أيُّهما أفضل"، فإن المقارنة الزوجية أقل كلفة. تتألق شبكات المعايير حين تحتاج إلى صورة مطلقة ومتعددة الأبعاد.

إعدادها في Potato

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: answer_quality
    description: "Rate the answer on each criterion."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it address the user's actual need?"}
      - {name: Accuracy,    description: "Is it factually correct?"}
      - {name: Completeness, description: "Does it cover the important points?"}
      - {name: Tone,        description: "Is the style appropriate?"}

يعرض Potato هذا على شكل شبكة: المعايير على الجانب، ونقاط المقياس عبر العرض. ويُسجِّل المُعلّقون درجةً لكل خلية.

كتابة معايير جيدة

  • اجعلها مستقلة. المعايير المتداخلة ("مفيد" و"نافع") تُسجَّل معًا وتضيف ضوضاء.
  • ثبِّت المقياس بمرتكزات. صِف ما يبدو عليه التقدير 1 والتقدير 5 لكل معيار، لا الطرفين على نحو إجمالي فحسب.
  • أبقِها قصيرة. من أربعة إلى ستة معايير هي عادةً النطاق الأمثل؛ فالشبكات الطويلة تُرهق المُعلّقين وتخفض الاتفاق.

شبكات المعايير وLLM بوصفه حكمًا

شبكة المعايير نفسها التي تُعطيها للبشر يمكن أن تُوجِّه "حَكَمًا من LLM" لإجراء تسجيل أوّلي زهيد الكلفة، ثم يتحقق منه البشر، تمامًا كما في التعليق المسبق بـ LLM. احتفظ بعيِّنة سجَّلها البشر لمراجعة الحَكَم في ضوئها، وانتبه لانحيازات الحَكَم نفسه (الطول، والتنسيق، وتفضيل الذات).

قراءات إضافية