Skip to content

Web-agent का मूल्यांकन

स्क्रीनशॉट और कार्रवाई के ओवरले के साथ ब्राउज़ करने वाले web agent को कैसे आँकें, प्रति-चरण वेब कार्रवाई की शुद्धता, Potato के web agent display की मदद से।

Web agent ब्राउज़ करके, क्लिक करके, टाइप करके और पन्नों पर स्क्रॉल करके कार्य पूरा करता है। उसका मूल्यांकन करने का मतलब है हर चरण पर यह देखना कि उसने क्या देखा (स्क्रीनशॉट) और क्या किया (कार्रवाई), और फिर परखना कि वह कार्रवाई सही थी या नहीं। Potato स्क्रीनशॉट के ऊपर हर कार्रवाई का दृश्य ओवरले बनाकर दिखाता है, जिससे एनोटेटर पूरे browsing सत्र को फ़िल्मस्ट्रिप की तरह देख सकते हैं।

WebArena और Mind2Web जैसे benchmark का इंसानी मूल्यांकन वाला समकक्ष यही है। देखें वेब एजेंट एनोटेशन।

एनोटेटर को क्या दिखता है

Potato का web agent display हर चरण के लिए दिखाता है:

  • उस पल के पन्ने का स्क्रीनशॉट,
  • कार्रवाई को चिह्नित करता एक ओवरले, जहाँ क्लिक हुआ वहाँ गोला, जिस field में टाइप हुआ उस पर बॉक्स, स्क्रॉल के लिए तीर,
  • कार्रवाई का ब्योरा और उसका target element, अगर कोई है,
  • चरणों के बीच आने-जाने के लिए एक फ़िल्मस्ट्रिप।

हर चरण पर क्या आँकें

  • सही target? क्या उसने सही element पर क्लिक किया या टाइप किया?
  • सही तरह की कार्रवाई? क्लिक बनाम टाइप बनाम स्क्रॉल बनाम navigate।
  • कोई प्रगति? क्या इस चरण से कार्य आगे बढ़ा या एक turn बेकार गया?
yaml
annotation_schemes:
  - annotation_type: trajectory_eval
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    steps_key: agentic_steps
    correctness_options: ["Correct", "Wrong target", "Wrong action", "No progress"]

Display की सेटिंग

Potato को किसी web-agent ट्रेस (स्क्रीनशॉट और कार्रवाइयाँ) की ओर मोड़िए और web agent display चालू कीजिए। ट्रेस WebArena/VisualWebArena के एक्सपोर्ट से आ सकते हैं, या आपके अपने रन से HAR-और-स्क्रीनशॉट की शक्ल में। ट्रेस के स्कीमा के लिए वेब एजेंट एनोटेशन देखें।

गुणवत्ता से जुड़ी बातें

  • स्क्रीनशॉट पढ़े जाने लायक़ होने चाहिए, एक ठीक-ठाक अधिकतम चौड़ाई तय कीजिए और ध्यान रखिए कि ओवरले target को ढक न दें।
  • लंबे सत्र एनोटेटर को थका देते हैं; फ़िल्मस्ट्रिप और चरण संख्याएँ उन्हें अपनी जगह याद रखने में मदद करती हैं।
  • कुल मिलाकर कार्य सफल रहा या नहीं, यह जानने के लिए प्रति-चरण रेटिंग के ऊपर एक trajectory-स्तर का लेबल जोड़िए। देखें Agent trajectory का एनोटेशन।

आगे पढ़ें