تقييم وكلاء الويب
كيفية تقييم وكلاء تصفّح الويب باستخدام لقطات الشاشة وطبقات الإجراءات، والحكم على صحة كل إجراء ويب خطوةً بخطوة، عبر عرض وكلاء الويب في Potato.
ينجز وكيل الويب المهام عبر التصفّح والنقر والكتابة والتمرير عبر الصفحات. وتقييمه يعني النظر إلى ما رآه (لقطة الشاشة) وما فعله (الإجراء) عند كل خطوة، والحكم على ما إذا كان ذلك الإجراء صحيحًا. يعرض Potato لقطات الشاشة مع طبقات مرئية لكل إجراء، حتى يتمكّن المُعلّقون من مراجعة جلسة التصفّح كأنها شريط أفلام.
هذا هو النظير البشري للتقييم في معايير مثل WebArena و Mind2Web. انظر تعليق وكلاء الويب.
ما يراه المُعلّق
يعرض عرض وكلاء الويب في Potato، عند كل خطوة:
- لقطة الشاشة للصفحة في تلك اللحظة،
- طبقة تحدّد الإجراء: دائرة عند موضع النقر، وإطار حول الحقل الذي كُتب فيه، وسهم للتمرير،
- وصف الإجراء وأي عنصر مستهدف،
- شريط أفلام للتنقّل بين الخطوات.
ما الذي يُحكم عليه عند كل خطوة
- هل الهدف صحيح؟ هل نقر أو كتب على العنصر الصحيح؟
- هل نوع الإجراء صحيح؟ نقر أم كتابة أم تمرير أم انتقال.
- هل أحرز تقدّمًا؟ هل دفعت الخطوة المهمة إلى الأمام أم أهدرت دورًا؟
annotation_schemes:
- annotation_type: per_turn_rating
name: web_action_correctness
description: "Judge each browsing action against the task."
target: agentic_steps
rating_type: radio
labels: ["Correct", "Wrong target", "Wrong action", "No progress"]إعداد العرض
وجّه Potato إلى أثر وكيل ويب (لقطات شاشة مع إجراءات) وفعّل عرض وكلاء الويب. يمكن أن تأتي الآثار من تصديرات WebArena/VisualWebArena أو من تشغيلاتك الخاصة بصيغة HAR مع لقطات الشاشة. انظر تعليق وكلاء الويب للاطّلاع على مخطّط الأثر.
اعتبارات الجودة
- يجب أن تكون لقطات الشاشة واضحة؛ اضبط عرضًا أقصى معقولًا، واحرص على ألا تحجب الطبقات الهدف.
- تُرهق الجلسات الطويلة المُعلّقين؛ يساعدهم شريط الأفلام وأرقام الخطوات على تتبّع موضعهم.
- لتقييم نجاح المهمة إجمالًا، أضِف تصنيفًا على مستوى المسار فوق تقييمات الخطوات الفردية. انظر تعليق مسارات الوكلاء.