كيفية تقييم وكلاء الذكاء الاصطناعي
نظرة عامة على تقييم وكلاء الذكاء الاصطناعي ونماذج LLM بالتعليق البشري، على مستوى المسار والخطوة والنطاق والمقارنة، وأي أداة من Potato تناسب كل حالة.
تقييم وكيل الذكاء الاصطناعي يعني الحكم لا على إجابته النهائية وحدها بل على المسار الذي سلكه، أي الاستدلال واستدعاءات الأدوات والأفعال على طول الطريق. ولا يزال التعليق البشري هو المعيار الذهبي لهذا، لأن كثيرًا من إخفاقات الوكلاء (خطوة معقولة لكنها خاطئة، أو فعل غير آمن) لا يكتشفها بموثوقية إلا الإنسان. Potato أداة مفتوحة المصدر للتعليق البشري على مسارات وكلاء نماذج اللغة الكبيرة، مع عرض مصمَّم خصيصًا لكل مستوى من مستويات التقييم.
يقصد بـوكيل الذكاء الاصطناعي هنا نظام مدفوع بنموذج LLM يتخذ أفعالًا متعددة الخطوات، من استدعاء الأدوات أو التصفح أو كتابة الشيفرة، لإنجاز مهمة. انظر نظرة عامة على تقييم الوكلاء ومرجع التعليق الوكيلي.
ما هي مستويات تقييم وكلاء الذكاء الاصطناعي؟
اختر المستوى الذي يناسب السؤال الذي تطرحه:
- مستوى المسار: احكم على التشغيل بأكمله. هل نجح؟ هل كان فعّالًا وآمنًا؟ انظر تعليق مسارات الوكلاء.
- مستوى الخطوة: احكم على كل فعل. هل كان استدعاء الأداة هذا صحيحًا؟ هل كانت هذه الخطوة ضرورية؟ هذه هي البيانات التي تقوم عليها نماذج مكافأة العملية.
- مستوى النطاق: أبرِز مشكلات محددة داخل المخرجات، مثل ادعاء مهلوس أو تعليمة غير آمنة. انظر اكتشاف الهلوسات.
- مستوى المقارنة: احكم على وكيلين أو تشغيلين وجهًا لوجه. انظر المقارنة الزوجية للنماذج.
- مستوى الفريق: للأنظمة متعددة الوكلاء، اعزُ الإخفاق إلى الوكيل المسؤول والخطوة وعملية التسليم. انظر كيفية تقييم الأنظمة متعددة الوكلاء.
ما صيغ آثار الوكلاء التي يدعمها Potato؟
يقرأ Potato آثار الوكلاء من 13 صيغة، منها استدعاءات أدوات OpenAI وAnthropic وReAct وLangChain وLangFuse وWebArena وSWE-bench وMCP وOpenTelemetry، ويعرضها في واجهات مضبوطة وفق نوع الوكيل:
- عرض أثر الوكيل لآثار الاستدلال والأدوات.
- عرض وكيل الويب مع لقطات الشاشة وطبقات الأفعال، انظر تقييم وكلاء الويب.
- عرض أثر البرمجة مع فروق الشيفرة (diffs) ومخرجات الطرفية، انظر تقييم وكلاء البرمجة.
- عرض الوكيل المباشر لمراقبة الوكيل وتوجيهه في الوقت الفعلي، انظر تقييم الوكلاء المباشر.
- عروض الوكلاء متعددي الوسائط لوكلاء استخدام الحاسوب والصوت والفيديو، انظر تقييم وكلاء استخدام الحاسوب والوكلاء متعددي الوسائط.
أي طريقة لتقييم الوكلاء ينبغي أن أختار؟
| سؤالك | المنهج |
|---|---|
| «هل أنجز الوكيل المهمة؟» | تصنيف نجاح المسار |
| «أين أخطأ بالضبط؟» | تصنيف الأخطاء على مستوى الخطوة |
| «أي إصدار أفضل؟» | المقارنة الزوجية |
| «ما مدى جودته على عدة محاور؟» | التقييم بمعيار التقدير (rubric) |
| «هل الإجابة المبنية على السياق المسترجَع أمينة؟» | تقييم RAG |
| «أي وكيل في الفريق تسبّب في الإخفاق؟» | عزو متعدد الوكلاء |
| «هل نقر وكيل استخدام الحاسوب على الشيء الصحيح؟» | مراجعة مسار GUI |