نماذج مكافأة العملية والتعليق على مستوى الخطوة

يقيّم نموذج مكافأة العملية (PRM) خطوات الاستدلال التي يتخذها الوكيل، لا مجرد إجابته النهائية. ويتطلب تدريبه تصنيفات على مستوى الخطوة: لكل خطوة في المسار، هل كانت صحيحة؟ وهذه البيانات هي ما يتيح للنموذج أن يتعلّم الاستدلال جيدًا، لا أن يصادف الإجابة الصحيحة بالحظ.

تتباين نماذج PRM مع نماذج مكافأة النتيجة (ORM) التي لا تقيّم سوى النتيجة النهائية. والتصنيف على مستوى الخطوة يلتقط الحالة التي يبلغ فيها النموذج الإجابة الصحيحة عبر استدلال معيب. لمرجع الميزة، انظر التعليق على مكافأة العملية.

وضعا التعليق

يدعم النوع process_reward في Potato المخططين المعياريين:

• وضع الخطأ الأول: يُعلِّم المُعلّق أول خطوة تخطئ، وتُعامَل كل خطوة بعدها تلقائيًّا على أنها متأثرة. سريع، ويلائم تمامًا الطريقة التي تتتالى بها إخفاقات الاستدلال.
• وضع الخطوة بخطوة: يحكم المُعلّق على كل خطوة باستقلال بأنها صحيحة أو خاطئة. أدقّ تفصيلًا، وأكثر جهدًا.

annotation_schemes:
  - annotation_type: process_reward
    name: step_rewards
    description: "Mark the first incorrect step. Steps after it are flagged automatically."
    steps_key: structured_turns
    mode: first_error
    first_error:
      correct_color: "#22c55e"
      error_color: "#ef4444"
      downstream_color: "#f97316"
      require_confirmation: true

تجعل الألوان التتالي مرئيًّا: الخطوات الخضراء جيدة، والخطوة الحمراء هي الخطأ الأول، والبرتقالي يُعلِّم الخطوات اللاحقة التي باتت مشبوهة.

متى تستخدم كل وضع

• الخطأ الأول للرياضيات والبرمجة والاستدلال المتسلسل، حيث يُبطل خطأ واحد كل ما تبقّى. أرخص وكافٍ في الغالب.
• الخطوة بخطوة حين تكون الخطوات مستقلة، أو حين تحتاج إلى إشارة مكافأة كثيفة لكل خطوة.

اعتبارات الجودة

• عرِّف "الخطوة الصحيحة" بدقة: صحيحة ومفيدة، أم مجرد غير خاطئة؟ تحتاج الخطوة الزائدة لكن غير الضارّة إلى قاعدة.
• الاستدلال ذاتي عند الحدود، فاجمع تداخلًا على عيّنة وتحقّق من الاتفاق.
• اقرنه بتصنيف نتيجة على مستوى المسار كي تتمكن من دراسة المواضع التي تُخفي فيها النتائج الجيدة استدلالًا سيئًا. انظر التعليق على مسارات الوكلاء.

قراءات إضافية

• مرجع ميزة التعليق على مكافأة العملية
• التعليق على مسارات الوكلاء
• جمع بيانات RLHF والتفضيلات