تعليق مسارات الوكلاء

المسار هو التسلسل الكامل للخطوات التي اتخذها الوكيل: أفكاره، واستدعاءاته للأدوات، وملاحظاته. وتعليق المسار يعني الحكم على التشغيل ككلّ وتحديد المواضع التي أخطأت فيها الخطوات الفردية، مع فئة ودرجة خطورة لكل خطأ. يُعلّق Potato مسارات الوكلاء خطوة بخطوة بمعايير تقدير مخصّصة، وهو مجاني ومستضاف ذاتيًا، وينتج البيانات التي تقف خلف نماذج المكافأة والتنقيح المُوجَّه.

للاطلاع على مرجع الميزة، انظر تعليق الوكلاء.

ما الذي تجمعه عند تعليق مسار؟

• النتيجة الإجمالية: نجاح، أو نجاح جزئي، أو فشل.
• الأحكام لكل خطوة: لكل خطوة، هل كانت صحيحة أم غير ضرورية أم خاطئة؟
• فئات الأخطاء: لماذا كانت الخطوة خاطئة (أداة خاطئة، وسائط سيئة، هلوسة، تكرار حلقي، إجراء غير آمن…).
• الخطورة: مدى سوء كل خطأ، وغالبًا ما يُرجَّح ضمن درجة.

كيف أُعِدّ تقييم المسار في Potato؟

يَعرض نوع trajectory_eval في Potato كل خطوة في صورة بطاقة، ويُلحق بكل خطوة تصنيفًا للأخطاء بأوزان خطورة:

annotation_schemes:
  - annotation_type: trajectory_eval
    name: step_evaluation
    description: "Evaluate each step for correctness and mark any errors."
    steps_key: steps
    error_types:
      - {name: reasoning,  subtypes: [logical_error, factual_error, planning_error]}
      - {name: execution,  subtypes: [wrong_tool, wrong_args, api_error]}
      - {name: safety,     subtypes: [harmful_action, data_leak, scope_violation]}
    severities:
      - {name: minor,    weight: -1}
      - {name: major,    weight: -5}
      - {name: critical, weight: -10}
    show_score: true

تتجمّع أوزان الخطورة في درجة للمسار، فيمكنك ترتيب عمليات التشغيل وتتبّع التراجعات عبر إصدارات النموذج.

كيف أصمّم تصنيفًا لأخطاء الوكيل؟

التصنيف هو لبّ المهمة. اجعله صغيرًا وشاملًا ومتعارضًا فيما بينه. وإليك مجموعة عملية للبدء:

• أخطاء الاستدلال: استنتاج خاطئ، تجاهل للأدلة، خطة سيئة.
• أخطاء التنفيذ: أداة خاطئة، استدعاء مُشوَّه الصياغة، معالجة خاطئة للنتيجة.
• أخطاء السلامة: إجراء غير آمن، سلوك خارج النطاق، كشف للبيانات.

أضِف خانة نص حرّ بعنوان "أخرى" كي لا يُضطر المُعلّقون إلى إساءة تصنيف الإخفاقات الجديدة، ثم رقِّ ملاحظات "أخرى" المتكررة إلى فئات مُسمّاة.

اعتبارات الجودة

• يكون الاتفاق على صحة الخطوة مرتفعًا عادةً، بينما يكون الاتفاق على فئة الخطأ أقل. قِس كليهما، انظر اتفاق المُعلّقين.
• المسارات الطويلة مُرهِقة، فحُدّ من طولها أو قسّمها إلى صفحات.
• غالبًا ما تكون "أول خطوة خاطئة" هي الأهمّ للتدريب، انظر نماذج مكافأة العملية.

قراءات إضافية

• كيفية تقييم وكلاء الذكاء الاصطناعي
• نماذج مكافأة العملية
• تقييم استخدام الأدوات