جمع بيانات RLHF والتفضيل

يدرّب التعلّم المعزّز من التغذية الراجعة البشرية (RLHF) النماذج لتطابق التفضيلات البشرية. والبيانات الأساسية هي أحكام بشرية تقارن مخرجات النموذج، وغالبًا ما تكون "أيٌّ من هذين الردّين أفضل؟". وجمع هذه البيانات على نحو جيد مسألة تعليق، وهي مسألة بُني Potato من أجلها.

انظر التعلّم المعزّز من التغذية الراجعة البشرية للخلفية.

الوصفة المعيارية: التفضيل الزوجي

اعرض موجَّهًا وردّين مرشَّحين، ويختار المُعلّق الأفضل منهما. تدرّب هذه الأحكام نموذج مكافأة يُقيّم المخرجات، ثم يوجّه بدوره نموذج السياسة.

annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better follows the instruction and is more helpful and harmless?"
    mode: binary
    allow_tie: true
  - annotation_type: text
    name: rationale
    description: "One sentence on why you chose it."
    label_requirement:
      required: false

يستحق التبرير القصير الجمع: فهو يتيح لك تدقيق بيانات التفضيل وكشف الحالات التي حسّن فيها المُعلّقون الشيء الخطأ (الطول، التنسيق) بدلًا من الجودة.

انظر المقارنة الزوجية وقياس الأفضل–الأسوأ لآليات المقارنة، والمقارنة الزوجية للنماذج لتقييم النماذج وجهًا لوجه.

التفضيلات متعددة الأبعاد

يُخفي حكم "الأفضل" الواحد المفاضلات. ولجمع إشارة عن سبب فوز أحد المخرجات، قيِّم عدة معايير وفق دليل تقييم:

annotation_schemes:
  - annotation_type: rubric_eval
    name: quality
    description: "Rate the response on each dimension."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it actually answer the request?"}
      - {name: Harmlessness, description: "Is it safe and appropriate?"}
      - {name: Honesty, description: "Is it accurate and non-misleading?"}

انظر تقييم النماذج اللغوية الكبيرة وفق معايير.

مزالق الجودة الخاصة ببيانات التفضيل

• انحياز الطول والأسلوب. كثيرًا ما يفضّل المُعلّقون الإجابات الأطول أو الأكثر ثقة بصرف النظر عن صحتها. سمِّ هذا في الإرشادات وراقبه.
• انحياز الموضع. اجعل اختيار الردّ الذي يُعرَض بوصفه "A" عشوائيًّا.
• انجراف المعايرة. أعِد مشاركة الأمثلة المرجعية دوريًّا كي لا تنجرف المعايير عبر حملة طويلة.
• الاتفاق. التفضيل ذاتيّ، فاجمع التداخل وتتبّع الاتفاق.

قراءات إضافية

• المقارنة الزوجية وقياس الأفضل–الأسوأ
• تقييم النماذج اللغوية الكبيرة وفق معايير
• تقييم وكلاء الذكاء الاصطناعي