Skip to content

智能体实时评估

如何借助 Potato 的实时智能体显示界面，实时评估 AI 智能体：暂停、下达指令、接管、回滚与分支。

大多数智能体评估都是回看一段已记录的轨迹。实时评估则是在智能体运行时实时观察，并允许人类介入：暂停、下达指令、接管控制，或回滚以尝试另一条路径。 对于在你自己服务器上进行人在回路的智能体评估，Potato 是一款开源工具，能捕捉到录制无法呈现的东西：人本会在哪里出手，以及更好的引导是什么样子。

功能参考请见智能体实时评估与实时编码智能体。

智能体实时评估能带来什么？

  • 暂停与恢复：在任务中途让智能体停下，检查它的状态。
  • 下达指令：用引导轻推它，观察它如何调整。
  • 接管：手动操控，再把控制权交还。这些交接点本身就是宝贵的标签。
  • 回滚与分支：回到更早的某一步，尝试一个替代方案，从同一状态出发比较不同路径。

这会产生干预性数据，即关于"什么有帮助"的反事实信息，而不只是观察性的标签。

如何在 Potato 中设置智能体实时评估？

实时模式通过一个端点（OpenAI 兼容代理、自定义 HTTP 端点，或编码智能体后端）把 Potato 连接到正在运行的智能体。标注者通过实时智能体显示界面进行交互。

yaml
live_agent:
  endpoint_type: anthropic_vision   # or coding_agent, openai_proxy, ...
  ai_config:
    model: claude-sonnet-4-20250514
    api_key: ${ANTHROPIC_API_KEY}
  max_steps: 30
  allow_takeover: true
  allow_instructions: true

我该何时使用智能体实时评估？

  • 制定标注指南：实时观察能揭示值得编入分类体系的失败模式，供后续批量标注使用。
  • 交互式任务：聊天助手和使用工具的智能体，此时你评判的是交互本身，而不只是对话记录。
  • 压力测试：探测智能体如何从一次轻推或一次被迫绕路中恢复。

实时评估比回看已记录轨迹更费人力、吞吐量更低，因此最适合用于聚焦的样本，或用来设计批量任务。要追求规模，请改用对已记录运行的轨迹标注。

延伸阅读