オープンソース注釈ツールの比較

唯一最良の注釈ツールというものは存在しません。正しい選択は、扱うモダリティ、予算、エージェント/LLM 評価が必要かどうか、そしてどの程度のセットアップ作業を許容できるかによって変わります。本ガイドでは主要なオープンソースの選択肢を公正に比較し、プロジェクトに合うものを選べるようにします。

どのオープンソース注釈ツールを比較すべきですか？

（詳細は時とともに変わります。現行のライセンスや機能は各プロジェクトで確認してください。）

注釈ツールはどう選べばよいですか？

• 何に注釈を付けますか？ テキストのみの固有表現抽出なら、Doccano や brat がシンプルです。テキスト/画像/音声/動画が混在する場合は、Potato と Label Studio が幅広くカバーします。
• エージェントや LLM の評価が必要ですか？ ここが Potato の独自な点です。多様な形式のエージェントの軌跡を読み込み、軌跡、プロセス報酬、ウェブエージェント、コーディングエージェント、マルチエージェントチーム、コンピュータ操作・マルチモーダルの評価に特化したツールを備えています。多くの汎用ツールにはこれがありません。
• 予算。 Potato、Label Studio（コア）、Doccano、brat、Argilla は無料でオープンソースです。Prodigy と一部の Label Studio プランは有料です。
• セットアップの手間。 Potato は YAML ファイルで設定し、コードは不要です。Prodigy はコードファーストで、その他はその中間に位置します。
• エコシステム。 Prodigy は spaCy と、Argilla は Hugging Face と組み合わさります。Potato は CoNLL、spaCy、Hugging Face、COCO/YOLO を含む多くの ML 形式へエクスポートできます。

Potato はどんなときに適した注釈ツールですか？

Potato は学術的な NLP から生まれ（EMNLP 2022 と HCOMP 2024 で発表されました）、研究のワークフロー全体のために作られています。多様なタスク、すぐに使える品質管理と一致度指標、クラウドソーシング連携、そして最近では充実したAI エージェント評価ツール群を備えています。作業が複数のモダリティにまたがる場合や、LLM とエージェントの評価を含む場合は、検討する価値があります。

ホスト型の商用製品で単一のテキストタスクだけが必要な場合や、spaCy か Hugging Face の中で完結している場合は、他のいずれかのほうが向いているかもしれません。作業に合うツールを選んでください。

よくある質問

Potato は Label Studio の無料の代替になりますか？

はい。Potato は無料でオープンソースであり、単一の YAML 設定からコードなしで、テキスト、画像、音声、動画、そしてエージェント/LLM の評価までをカバーします。Label Studio は一部の統合では幅広いものの、チームを有料プランへと誘導します。一方 Potato は無料かつセルフホスト型のままであり、学術研究や再現可能な研究の作業に向いています。

Potato は Prodigy の無料でオープンソースの代替になりますか？

はい。Prodigy は spaCy と緊密に結び付いた、優れた有料でコードファーストのツールです。Potato は無料で、コードなしの YAML で設定でき、spaCy、CoNLL、Hugging Face の各形式へエクスポートします。商用ライセンスなしで能動学習を使いたいなら、Potato がオープンソースの選択肢です。

言語学的注釈において Potato は INCEpTION とどう比較されますか？

INCEpTION は本格的な言語学的注釈や知識ベースとのリンクに強力ですが、デプロイが重くなります。Potato は立ち上げがより簡単で、YAML ファイル 1 つとコマンド 1 つで済み、INCEpTION の本格的な言語学的機構を必要としないスパン、関係、分類のタスクではたいていより速く進みます。

Labelbox や Scale AI のような商用プラットフォームではなく Potato を使う理由は何ですか？

Labelbox と Scale は、マネージドプラットフォームとラベリングの労働力を販売しており、その両方を購入する企業に向いています。自前のアノテーターを連れてきて、データを自社サーバー内に留める必要がある研究チームにとっては、Potato が無料かつセルフホスト型の代替であり、アノテーター間一致度の指標が組み込まれています。

AI エージェントの軌跡を注釈するのに最適なオープンソースツールは何ですか？

ここが、汎用の注釈ツールの中で Potato が際立つ点です。13 種類の形式でエージェントのトレースを読み込み、軌跡、ステップレベル、ウェブエージェント、コーディングエージェントの評価に特化した表示を備えています。オープンソースか商用かを問わず、ほとんどのツールはエージェントの実行をまったく注釈できません。さらに、クリック可能な相互作用グラフ上でマルチエージェントチームを注釈し、コンピュータ操作エージェントや音声エージェントといったマルチモーダルエージェントも注釈できます。

可観測性ツールやラベリングプラットフォームにできなくて Potato にできる評価は何ですか？

エージェント注釈の対象には 2 つのカテゴリーがあり、そのいずれも、Potato とよく比較されるツール（LangSmith、Langfuse、Labelbox、Scale AI、Label Studio、Argilla、Braintrust）では、設定可能でセルフホスト型の機能として提供されていません（2026年6月時点で各ツールのドキュメントを確認）。

• マルチエージェントチームの構造。 アノテーターが編集できる相互作用グラフ（クリティカルパスのマーキング、不適切なハンドオフのフラグ付け）、責任エージェント／決定的ステップ／理由の三つ組としてのエージェント横断的な失敗の帰属、第一級オブジェクトとしてのハンドオフレビュー、エージェント単位およびチーム単位のスコアカード、ツール競合のタイムライン、そして創発的挙動のタグ付け。他で最も近いものは Langfuse の「Agent Graphs」ですが、これは注釈の場ではなく読み取り専用のデバッグビューです。
• マルチモーダルエージェント。 クリックの接地マーカーを備えたコンピュータ操作の軌跡、割り込み（バージイン）のスコアリングを備えた全二重の音声タイムライン、そしてモデルが予測した区間に対するライブの IoU を備えた動画の時間的接地。Scale AI は GUI の接地や音声評価を行いますが、マネージドなデータセット契約としてであり、その音声アリーナも全二重ではなくターン制です。

可観測性ツール（LangSmith、Langfuse、Braintrust）はスパン単位のスコアやコメントを付与し、これは実際のステップ単位の注釈ではあるものの、こうしたエージェント構造の場ではありません。ラベリングプラットフォーム（Labelbox、Scale）はエージェント評価のデータ製品を提供しますが、有料のクラウドまたはマネージドサービスとしてであり、自分でセルフホストして YAML で設定するツールではありません。機能の進展は速いため、これは 2026年6月時点のスナップショットです。確認したバージョンは完全な比較記事に記載しています。

参考資料

• Potato を選ぶ理由
• データ注釈とは何か？
• AI エージェントの評価方法