Skip to content

Web 智能体评估

如何借助截图和动作叠加层评估网页浏览智能体，逐步判断 Web 动作的正确性，使用 Potato 的 web 智能体显示功能。

Web 智能体通过在页面间浏览、点击、输入、滚动来完成任务。评估它，意味着查看它在每一步看到了什么（截图）、做了什么（动作），并判断该动作是否正确。 Potato 会在截图上叠加每个动作的可视化标记，让标注者像看连环画一样逐帧回顾整个浏览过程。

这是 WebArena 和 Mind2Web 等基准测试在人工评估侧的对应方法。参见 Web 智能体标注。

标注者看到什么

Potato 的 web 智能体显示会为每一步呈现：

  • 该时刻页面的截图，
  • 标记动作的叠加层：点击处画一个圆圈，输入字段上画一个方框，滚动则用箭头表示，
  • 动作描述及相关目标元素，
  • 一条用于在各步之间切换的连环画。

每一步要判断什么

  • 目标对吗？ 它点击／输入的元素是否正确？
  • 动作类型对吗？ 点击、输入、滚动还是导航。
  • 有进展吗？ 这一步是推动了任务，还是白白浪费了一回合？
yaml
annotation_schemes:
  - annotation_type: per_turn_rating
    name: web_action_correctness
    description: "Judge each browsing action against the task."
    target: agentic_steps
    rating_type: radio
    labels: ["Correct", "Wrong target", "Wrong action", "No progress"]

配置显示

让 Potato 指向一份 web 智能体轨迹（截图加动作），并启用 web 智能体显示。轨迹可以来自 WebArena/VisualWebArena 导出文件，也可以是你自己运行得到的 HAR 加截图形式。轨迹的数据结构参见 Web 智能体标注。

质量方面的考量

  • 截图必须清晰可读，设置合理的最大宽度，并确保叠加层不会遮住目标。
  • 较长的会话会让标注者疲劳；连环画和步骤编号能帮助他们记住进度。
  • 若要评估任务整体是否成功，可在逐步评分之上再加一个轨迹级标签。参见标注智能体轨迹。

延伸阅读