なぜPotatoを選ぶのか？

セルフホスト、無料: LangSmith、Galileo、Encord、Labelbox は、セルフホストそのものをエンタープライズ契約の先に置いています。オンプレミス運用は営業と交渉するアドオンであって、ダウンロードできる版ではありません。

全機能、有料プランなし: Label Studio の無料版には一致度の指標が一切なく、月額 99 ドルのホスト型 Starter プランにもありません。一致度、ベンチマーク、LLM による事前ラベル付けはエンタープライズ機能で、価格は問い合わせです。CVAT はハニーポットと正解データのジョブを無料で提供しますが、品質レポートは有料チーム向けに残しています。

コーパスとエージェント軌跡を 1 つのツールで: ここに挙げたエージェント評価プラットフォームはすべて軌跡に縛られています。コーパスに感情ラベルを付けることも、固有表現の範囲を引くことも、アンケートを実施することもできません。

アノテーションできるマルチエージェントグラフ: エージェントの相互作用グラフを描くツールはいくつかありますが、どれも読み取り専用のデバッグ画面です。Potato ではエージェントと引き継ぎそのものが、人がラベルを付ける対象になります。

人がラベル付けする失敗の帰属: Galileo は引き継ぎの失敗を LLM で推論し、Labelbox は軌跡のステップを評価します。どちらも、その推論を突き合わせるべき人間側の正解データを集めてはいません。

偶然一致を補正した一致度（κ、α）: 他のツールは一致度を重なりの割合、IoU、多数決で測ります。Prodigy は Krippendorff の α と Gwet の AC2 を備えていますが、無料プランがありません。Langfuse の Cohen κ は、一人の人間と一つのジャッジの比較であって、アノテーター集団の間の一致度ではありません。

SFT・DPO・プロセス報酬のエクスポート: 一部のみとは、SFT 形式の JSONL だけで、選好ペアやプロセス報酬の形式がないという意味です。

幾何アノテーションの偶然補正済み一致度: この表で最も強い主張です。CVAT の合意エンジンも V7 の合意ステージも、クラスごとのしきい値に対する生の IoU でアノテーターを比較します。Label Studio Enterprise の指標一覧は完全一致・数値差・IoU・スパン重複です。いずれも偶然補正を行いません。大きく中央に写った物体ばかりのコーパスでは、誰が付けても平均 IoU は約 0.95 になります。

出来事が起きた時点についての一致度: 時間方向の IoU と境界一致度を、単一のしきい値ではなくマッチング許容幅のスイープとして報告します。0.25 秒での一致度と 2 秒での一致度は、同じデータについての別々の主張です。

描画テレメトリ（受諾までの時間、修正回数）: 図形ごとの所要時間、ストロークの挙動、修正回数、AI 提案を受け入れるまでの時間。アノテーターが事前ラベルを無批判に受け入れると一致度はむしろ上がるため、確認と追認を区別できる signal は時間だけです。座標は一切記録しません。

3D 点群と直方体ボックス: CVAT も対応しており、Segments.ai・Kognic・Supervisely といった 3D 専業ツールはさらに先を行き、Potato にはない点群シーケンスとトラック伝播を備えます。Potato が加えるのはアノテーター間の厳密な回転 3D IoU です。

外部リクエストなしで動作: 14 個すべてのテンプレートで、スタイルシート・スクリプト・フォント・アイコンをインストール先から配信します。実測で 62 リクエスト、外部ゼロ。モデルは一度だけ持ち込めば済みます。「部分的」は、自己ホストはできるが描画時に第三者リソースを取得することを指します。

運用込みのアノテーター確保: ありません。自前のアノテーターを用意するか、Prolific で募集してください。来月までに 5 万件のラベル付けが必要で人手がいないなら、それを売っているのは Labelbox、Encord、Scale であって、私たちではありません。

ホスティング込み、運用不要: Potato はセルフホスト専用です。それこそが狙いだというチームもあれば、実際の負担になるチームもあります。