Skip to content

Web 智慧體評估

如何藉助截圖和動作疊加層評估網頁瀏覽智慧體，逐步判斷 Web 動作的正確性，使用 Potato 的 web 智慧體顯示功能。

Web 智慧體通過在頁面間瀏覽、點選、輸入、滾動來完成任務。評估它，意味著檢視它在每一步看到了什麼（截圖）、做了什麼（動作），並判斷該動作是否正確。 Potato 會在截圖上疊加每個動作的視覺化標記，讓標註者像看連環畫一樣逐幀回顧整個瀏覽過程。

這是 WebArena 和 Mind2Web 等基準測試在人工評估側的對應方法。參見 Web 智慧體標註。

標註者看到什麼

Potato 的 web 智慧體顯示會為每一步呈現：

  • 該時刻頁面的截圖，
  • 標記動作的疊加層：點選處畫一個圓圈，輸入欄位上畫一個方框，滾動則用箭頭表示，
  • 動作描述及相關目標元素，
  • 一條用於在各步之間切換的連環畫。

每一步要判斷什麼

  • 目標對嗎？ 它點選／輸入的元素是否正確？
  • 動作類型對嗎？ 點選、輸入、滾動還是導航。
  • 有進展嗎？ 這一步是推動了任務，還是白白浪費了一回合？
yaml
annotation_schemes:
  - annotation_type: trajectory_eval
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    steps_key: agentic_steps
    correctness_options: ["Correct", "Wrong target", "Wrong action", "No progress"]

配置顯示

讓 Potato 指向一份 web 智慧體軌跡（截圖加動作），並啟用 web 智慧體顯示。軌跡可以來自 WebArena/VisualWebArena 匯出檔案，也可以是你自己執行得到的 HAR 加截圖形式。軌跡的資料結構參見 Web 智慧體標註。

品質方面的考量

  • 截圖必須清晰可讀，設定合理的最大寬度，並確保疊加層不會遮住目標。
  • 較長的會話會讓標註者疲勞；連環畫和步驟編號能幫助他們記住進度。
  • 若要評估任務整體是否成功，可在逐步評分之上再加一個軌跡級標籤。參見標註智慧體軌跡。

延伸閱讀