Web エージェントの評価
スクリーンショットとアクションのオーバーレイを使って Web ブラウジングエージェントを評価し、各ステップの Web アクションの正しさを Potato の web エージェント表示で判定する方法。
Web エージェントは、ページ間をブラウジングし、クリックし、入力し、スクロールしてタスクをこなします。これを評価するとは、各ステップでエージェントが何を見たか（スクリーンショット）と何をしたか（アクション）を確認し、そのアクションが正しかったかを判定することです。 Potato は各アクションを視覚的なオーバーレイ付きでスクリーンショットに描画するため、アノテーターはブラウジングセッションをフィルムストリップのように見返せます。
これは WebArena や Mind2Web などのベンチマークに対応する、人手評価の側面です。Web エージェントのアノテーションを参照してください。
アノテーターに表示されるもの
Potato の web エージェント表示は、各ステップについて次を示します。
- その時点のページのスクリーンショット、
- アクションを示すオーバーレイ。クリック位置には円、入力したフィールドには枠、スクロールには矢印、
- アクションの説明と対象要素、
- ステップ間を移動するためのフィルムストリップ。
ステップごとに何を判定するか
- 対象は正しいか？ 正しい要素をクリック／入力したか。
- アクションの種類は正しいか？ クリックか、入力か、スクロールか、ナビゲートか。
- 前進したか？ そのステップはタスクを前に進めたか、それともターンを無駄にしたか。
yaml
annotation_schemes:
- annotation_type: per_turn_rating
name: web_action_correctness
description: "Judge each browsing action against the task."
target: agentic_steps
rating_type: radio
labels: ["Correct", "Wrong target", "Wrong action", "No progress"]表示の設定
Potato を web エージェントのトレース（スクリーンショットとアクション）に向け、web エージェント表示を有効にします。トレースは WebArena/VisualWebArena のエクスポートでも、独自の実行結果を HAR とスクリーンショットの形式にしたものでも構いません。トレースのスキーマについては Web エージェントのアノテーションを参照してください。
品質上の考慮点
- スクリーンショットは判読できる必要があります。最大幅を適切に設定し、オーバーレイが対象を隠さないようにします。
- 長いセッションはアノテーターを疲れさせます。フィルムストリップとステップ番号があれば、どこまで進んだかを把握しやすくなります。
- タスク全体の成否については、ステップごとの評価の上にトラジェクトリ単位のラベルを追加します。エージェントのトラジェクトリのアノテーションを参照してください。