エージェントのライブ評価
Potato のライブエージェント表示を使って、AI エージェントをリアルタイムに評価する方法。一時停止、指示の送信、操作の引き継ぎ、ロールバック、分岐を行います。
エージェント評価の多くは、記録済みのトレースを見返すものです。ライブ評価は、エージェントの実行をリアルタイムに観察し、人が介入できるようにします。すなわち、一時停止、指示の送信、操作の引き継ぎ、あるいは別の経路を試すためのロールバックです。 自分のサーバー上で人を介在させたエージェント評価を行うなら、Potato は記録では捉えられないもの、つまり人がどこで手を出していたか、より良い指示とはどのようなものかを捉えるオープンソースツールです。
機能リファレンスはエージェントのライブ評価とライブコーディングエージェントを参照してください。
ライブエージェント評価は何をもたらしますか？
- 一時停止と再開：タスクの途中でエージェントを止め、その状態を確認します。
- 指示の送信：指示でそっと方向づけし、どう適応するかを観察します。
- 操作の引き継ぎ：手動で操作し、その後に制御を返します。引き継ぎの地点は価値あるラベルになります。
- ロールバックと分岐：前のステップに戻って別の選択肢を試し、同じ状態から異なる経路を比較します。
これは介入的なデータ、つまり何が役立つかについての反事実を生み出します。単なる観察的なラベルではありません。
Potato でライブエージェント評価をどう設定しますか？
ライブモードは、エンドポイント（OpenAI 互換プロキシ、カスタム HTTP エンドポイント、またはコーディングエージェントのバックエンド）を介して、Potato を実行中のエージェントに接続します。アノテーターはライブエージェント表示を通じて操作します。
yaml
live_agent:
endpoint_type: anthropic_vision # or coding_agent, openai_proxy, ...
ai_config:
model: claude-sonnet-4-20250514
api_key: ${ANTHROPIC_API_KEY}
max_steps: 30
allow_takeover: true
allow_instructions: trueライブエージェント評価はいつ使うべきですか？
- ガイドラインの作成：ライブで観察すると、後のバッチラベリング向けに分類体系へ落とし込む価値のある失敗モードが見えてきます。
- インタラクティブなタスク：チャットアシスタントやツールを使うエージェントなど、判定対象が単なるトランスクリプトではなく対話そのものである場合。
- ストレステスト：そっとした指示や強制的な迂回から、エージェントがどう立ち直るかを探ります。
ライブ評価は、記録済みトレースの見返しに比べて手間がかかり、スループットも低いため、絞り込んだサンプルや、バッチタスクの設計に向いています。量を求める場合は、記録済みの実行に対するトラジェクトリアノテーションに切り替えてください。