なぜPotatoを選ぶのか？

セルフホスト、無料: LangSmith、Galileo、Encord は、セルフホストそのものをエンタープライズ契約の先に置いています。Labelbox にセルフホスト版のドキュメントはありません。

全機能、有料プランなし: Label Studio の無料版には一致度の指標が一切ありません。正解データ、ダッシュボード、LLM による事前ラベル付けは 1 ユーザー月額 99 ドルからです。CVAT はベンダー自身が品質管理 UI を有料機能として挙げています。Supervisely は合意分析を月額 199 ユーロのプランに置いています。

コーパスとエージェント軌跡を 1 つのツールで: ここに挙げたエージェント評価プラットフォームはすべて軌跡に縛られています。コーパスに感情ラベルを付けることも、固有表現の範囲を引くことも、アンケートを実施することもできません。

アノテーションできるマルチエージェントグラフ: エージェントの相互作用グラフを描くツールはいくつかありますが、どれも読み取り専用のデバッグ画面です。Potato ではエージェントと引き継ぎそのものが、人がラベルを付ける対象になります。

人がラベル付けする失敗の帰属: Galileo は引き継ぎの失敗を LLM で推論し、Labelbox は軌跡のステップを評価します。どちらも、その推論を突き合わせるべき人間側の正解データを集めてはいません。

偶然一致を補正した一致度（κ、α）: 他のツールは一致度を重なりの割合、IoU、多数決で測ります。Prodigy は Krippendorff の α と Gwet の AC2 を備えていますが、無料プランがありません。Langfuse の Cohen κ は、一人の人間と一つのジャッジの比較であって、アノテーター集団の間の一致度ではありません。

SFT・DPO・プロセス報酬のエクスポート: 一部のみとは、SFT 形式の JSONL だけで、選好ペアやプロセス報酬の形式がないという意味です。

運用込みのアノテーター確保: ありません。自前のアノテーターを用意するか、Prolific で募集してください。来月までに 5 万件のラベル付けが必要で人手がいないなら、それを売っているのは Labelbox、Encord、Scale であって、私たちではありません。

ホスティング込み、運用不要: Potato はセルフホスト専用です。それこそが狙いだというチームもあれば、実際の負担になるチームもあります。