Skip to content

智慧體即時評估

如何藉助 Potato 的即時智慧體顯示介面，即時評估 AI 智慧體：暫停、下達指令、接管、回滾與分支。

大多數智慧體評估都是回看一段已記錄的軌跡。即時評估則是在智慧體執行時即時觀察，並允許人類介入：暫停、下達指令、接管控制，或回滾以嘗試另一條路徑。 對於在你自己伺服器上進行人在迴路的智慧體評估，Potato 是一款開源工具，能捕捉到錄製無法呈現的東西：人本會在哪裡出手，以及更好的引導是什麼樣子。

功能參考請見智慧體即時評估與即時編碼智慧體。

智慧體即時評估能帶來什麼？

  • 暫停與恢復：在任務中途讓智慧體停下，檢查它的狀態。
  • 下達指令：用引導輕推它，觀察它如何調整。
  • 接管：手動操控，再把控制權交還。這些交接點本身就是寶貴的標籤。
  • 回滾與分支：回到更早的某一步，嘗試一個替代方案，從同一狀態出發比較不同路徑。

這會產生干預性資料，即關於"什麼有幫助"的反事實資訊，而不只是觀察性的標籤。

如何在 Potato 中設定智慧體即時評估？

即時模式通過一個端點（OpenAI 相容代理、自定義 HTTP 端點，或編碼智慧體後端）把 Potato 連線到正在執行的智慧體。標註者通過即時智慧體顯示介面進行互動。

yaml
live_agent:
  endpoint_type: anthropic_vision   # or coding_agent, openai_proxy, ...
  ai_config:
    model: claude-sonnet-4-20250514
    api_key: ${ANTHROPIC_API_KEY}
  max_steps: 30
  allow_takeover: true
  allow_instructions: true

我該何時使用智慧體即時評估？

  • 制定標註指南：即時觀察能揭示值得編入分類體系的失敗模式，供後續批次標註使用。
  • 互動式任務：聊天助手和使用工具的智慧體，此時你評判的是互動本身，而不只是對話記錄。
  • 壓力測試：探測智慧體如何從一次輕推或一次被迫繞路中恢復。

即時評估比回看已記錄軌跡更費人力、吞吐量更低，因此最適合用於聚焦的樣本，或用來設計批次任務。要追求規模，請改用對已記錄執行的軌跡標註。

延伸閱讀