AI アノテーションツールの比較：オープンソースと有料

アノテーションツールとは、テキスト、画像、音声、動画、モデル出力にラベルを付与し、その結果でシステムを学習または評価できるようにするソフトウェアです。本ガイドでは、モダリティの対応範囲、AI 支援によるラベル付け、一致度指標、各無料プランに実際に含まれるものという観点から、オープンソースと商用の 14 のツールを比較します。

唯一の最良のツールというものはありません。何をアノテーションするか、予算、エージェントや LLM の評価が必要かどうか、どれだけのセットアップを許容できるかで、適切な選択は変わります。

どのアノテーションツールを比較すべきですか？

（詳細は時とともに変わります。現行のライセンスや機能は各プロジェクトで確認してください。）

ライセンス欄が隠していることがあります。無料プランに実際に何が入っているかです。Label Studio のコミュニティ版にはアノテーター間一致度の指標が一切なく、正解データの指定と品質ダッシュボードは 1 ユーザー月額 99 ドルからです。Prodigy には無料プランがありません。CVAT は品質管理の画面を有料として挙げています。モダリティの広さではなく品質管理で選ぶなら、比べるべきは無料版であって、マーケティングのページではありません。11 種類のツールの機能マトリクスを、各社のドキュメントに当たって整理してあります。

AI で事前ラベル付けを行うアノテーションツールはどれですか？

「AI アノテーションツール」という言い方は三つの能力をまとめて指しており、実際には一つを備えたツールが残りを欠いていることがよくあります。

• モデル支援によるジオメトリ。 大まかにクリックまたは描画すると、セグメンテーションモデルが境界を詰めます。Potato はこれを GPU なしでブラウザ内で実行します。CVAT は Nuclio または AI エージェント経由、Label Studio は ML バックエンド経由で利用でき、Roboflow、V7、Supervisely、Segments.ai は製品に組み込んでいます。
• プロンプトによるラベル付け。 固定のリストから選ぶのではなく、物体名を入力するとマスクやボックスが返ります。Potato、Roboflow、V7 が対応しています。名前を入力して物体をラベル付けする方法を参照してください。
• LLM と VLM による事前アノテーション。 モデルがバッチ全体にラベルを提案し、アノテーターがそれを確認します。Potato はこの用途に 13 種類のエンドポイントを利用でき、完成したアノテーションを視覚言語モデルに批評させることもできます。

事前ラベル付けは、品質管理が捉えるべき対象を変えます。提案を読まずに受け入れるアノテーターは、精度を下げながら一致度の数値をすべて押し上げるため、確認と追認を区別できる手がかりは所要時間だけです。追認された事前ラベルの見分け方を参照してください。

Potato はモデルの学習も配信も行いません。項目を並べ、指定されたモデルを呼び出し、その結果に対してアノテーターが何をしたかを記録します。

ビジョン、3D、モデル評価

Potato のコンピュータビジョン、空間、評価にかかわる機能は、テキスト向けの機能より新しいものです。次の表は各ツールに順位を付けるのではなく、どこが強いかを記録したものです。

ほとんどの行では、成熟した CV プラットフォームが Potato と同等かそれ以上です。単なるチェックマークとしてではなく、注意して読むべき行が 2 つあります。Potato のテキストプロンプトによるセグメンテーションは Apache-2.0 のモデルでブラウザ内で動きますが、商用の同等機能は SAM 3 の非商用ライセンスのもとサーバー側で動きます。また Potato のマスク伝播はサーバー側で動くため、無料でも機能そのものは使えますが、ブラウザ内では動きません。最後の 4 行では、Potato は他のツールが提供していないことを行っています。

大量処理のコンピュータビジョン

CVAT はオープンソースの CV ツールの基準であり、CV だけを大量に処理するパイプラインでは今も有力な選択肢です。タスクとジョブの管理がより細かく、オブジェクト単位の属性があり、Datumaro を通じた形式のエコシステムが大きく、コミュニティも非常に大きいためです。CV の作業がテキスト、音声、評価のタスクと並ぶ場合や、正解ジョブに対する正確さではなくアノテーター間の一致度が必要な場合は Potato を選んでください。

Roboflow は学習済みモデルを得ることが目的なら優れています。Smart Polygon、一括自動ラベリング、自前のモデルによる Label Assist、そしてホスト型の学習とデプロイが 1 つのループに収まっています。Potato は検出器を学習しません。ラベルそのものが研究の成果であり、その信頼性に根拠が求められる場合は Potato を選んでください。

Labelbox、SuperAnnotate、Encord、Kili、V7 は、労働力の管理、企業向けガバナンス、強力なモデル支援ラベリングを備えた成熟した商用プラットフォームです。マネージドな労働力、コンプライアンス認証、ペタバイト規模のキュレーションが必要なら、これらが正解です。

X-AnyLabeling は Grounding DINO、Grounded-SAM 2、SAM 2.1、YOLO をデスクトップアプリにまとめており、1 人でローカルに幅広いモデルを使ってラベリングするなら、これに勝つのは難しいです。Potato が備えるモデルはより絞られており、ブラウザで動くのでアノテーターの端末には何もインストールしません。その利点はアノテーターが 2 人以上いるときから効いてきます。

ギガピクセルとデジタル病理

Potato はタイルピラミッドを構築し、DZI と IIIF Image API 3.0 の両方で配信します。マスクのバッファは GPU のテクスチャではなく画像のピクセルを参照するため、ブラシによるマスクは元画像の全解像度で機能します。

デジタル病理に限れば、QuPath（デスクトップ、オープンソース、この分野の標準）と Cytomine（ウェブ、オープンソース、ブラインドアノテーションに対応した多人数利用）が専用に作られており、Potato は SVS、DICOM、NIfTI を読めません。画像は大きいが臨床用の形式ではない場合や、その上に Potato の一致度とワークフローの層が必要な場合に Potato を使ってください。

3D とセンサーフュージョン

Segments.ai、Kognic、Deepen AI、Supervisely、Xtreme1/BasicAI は専門ツールであり、実運用の自動運転パイプラインでは先を行っています。トラック伝播を伴うシーケンスとエピソードのワークフロー、レーダーと複数 LiDAR への対応、直方体を自動でフィットさせるモデル、オブジェクト単位の属性オントロジー、Deepen の場合はターゲットレス校正の製品一式まで備えます。Supervisely と Xtreme1 はどちらもセルフホストでき、Supervisely ははるかに大きな点群を扱えます。

空間ラベルに対する信頼性の統計が欲しい場合や、3D が多モーダル研究の一部である場合は、3D に Potato を選んでください。

ロボティクス、世界モデル、グラウンディング

ロボットのエピソードでは、ATLAS（ウィーン工科大学）が長期にわたる行動のセグメンテーションに特化したデスクトップツールで、ROS bag と RLDS をネイティブに扱い、アノテーター 1 人で境界を精密に取る用途のために作られています。ELAN と BORIS は行動コーディングの標準であり続けており、Rerun と Foxglove はロボティクスの可視化ツールとして最良です。

生成動画では、エコシステムの大半がベンチマーク（VBench、WorldModelBench、Physics-IQ）と、大規模な選好収集のためのクラウドパネルです。そちらは指標と参照プロトコルを提供します。Potato が提供するのは、人間側の評価を信頼性を測りながら繰り返し実施するための道具であり、競合ではなく補完の関係にあります。

VLM のグラウンディングでは、この領域はアノテーション製品ではなくデータセットと評価ハーネス（RefCOCO、PixMo-Points、PointBench、lmms-eval、VLMEvalKit）によって形づくられています。Potato の役割は、それらのベンチマークの土台となる人手の正解データを集め、測ることです。

Potato にできないこと

評価の終盤になってから気付かずに済むように、あらかじめ挙げておきます。

• モデルの学習はしません。 Potato は項目を並べ替え、既存のモデルで事前ラベルを付け、VLM でアノテーションを批評します。検出器の学習や配信は行いません。Roboflow、V7、Supervisely、Labelbox はそれを行います。
• オブジェクト単位の属性はまだありません。 幾何形状が持つのはラベル 1 つです。遮蔽の度合い、見切れのフラグ、サブタイプの属性には別のスキーマを併用する必要があります。
• 点群のシーケンスモードはありません。 3D のアノテーションはフレーム単位で、スイープ全体にわたるトラック伝播は実装されていません。
• DICOM、NIfTI、WSI には対応しません。 ディープズームと 16 ビットのウィンドウ処理が対応するのは大きな科学画像であり、臨床用の形式ではありません。
• マネージドな労働力、SAML/SCIM、コンプライアンス認証はありません。 Potato は自分で動かすソフトウェアです。RBAC と OAuth には対応していますが、企業向けガバナンスには対応していません。

機能の数

この数は Potato 自身のレジストリから生成しています。「最良の代替」という列はありません。上に挙げたツールは機能の整理の仕方が十分に異なっており、単一の数字では誤解を招く比較になるためです。

アノテーションツールはどう選べばよいですか？

• 何にアノテーションを付けますか？ テキストのみの固有表現抽出なら、Doccano や brat がシンプルです。テキスト/画像/音声/動画が混在する場合は、Potato と Label Studio が幅広くカバーします。
• エージェントや LLM の評価が必要ですか？ ここが Potato の独自な点です。多様な形式のエージェントの軌跡を読み込み、軌跡、プロセス報酬、ウェブエージェント、コーディングエージェント、マルチエージェントチーム、コンピュータ操作・マルチモーダルの評価に特化したツールを備えています。多くの汎用ツールにはこれがありません。
• 予算。 Potato、Label Studio（コア）、Doccano、brat、Argilla は無料でオープンソースです。Prodigy と一部の Label Studio プランは有料です。
• セットアップの手間。 Potato は YAML ファイルで設定し、コードは不要です。Prodigy はコードファーストで、その他はその中間に位置します。
• エコシステム。 Prodigy は spaCy と、Argilla は Hugging Face と組み合わさります。Potato は CoNLL、spaCy、Hugging Face、COCO/YOLO を含む多くの ML 形式へエクスポートできます。

Potato はどんなときに適したアノテーションツールですか？

Potato は学術的な NLP から生まれました。最初のシステムは EMNLP 2022 で、Potato 2.0 は ACL 2026 で発表されており、研究のワークフロー全体のために作られています。多様なタスク、すぐに使える品質管理と一致度指標、クラウドソーシング連携、そして充実したAI エージェント評価ツール群を備えています。作業が複数のモダリティにまたがる場合や、LLM とエージェントの評価を含む場合は、検討する価値があります。

ホスト型の商用製品で単一のテキストタスクだけが必要な場合や、spaCy か Hugging Face の中で完結している場合は、他のいずれかのほうが向いているかもしれません。

よくある質問

最良の無料アノテーションツールはどれですか？

モダリティによります。テキストのみの分類や NER であれば、Doccano と brat が最も手間なく立ち上がります。テキスト、画像、音声、動画が一つのプロジェクトに混在する場合は、Potato と Label Studio のコミュニティ版がどちらも範囲をカバーし、違いは品質管理に表れます。Potato は一致度指標と品質ダッシュボードを無償で含みますが、Label Studio はそれらを有料プランに置いています。大量のコンピュータビジョンであれば、CVAT が無料かつ成熟しています。

Potato は Label Studio の無料の代替になりますか？

はい。Potato は無料でオープンソースであり、単一の YAML 設定からコードなしで、テキスト、画像、音声、動画、そしてエージェント/LLM の評価までをカバーします。Label Studio は一部の統合では幅広いものの、チームを有料プランへと誘導します。一方 Potato は無料かつセルフホスト型のままであり、学術研究や再現可能な研究の作業に向いています。

Potato は Prodigy の無料でオープンソースの代替になりますか？

はい。Prodigy は spaCy と緊密に結び付いた、優れた有料でコードファーストのツールです。Potato は無料で、コードなしの YAML で設定でき、spaCy、CoNLL、Hugging Face の各形式へエクスポートします。商用ライセンスなしで能動学習を使いたいなら、Potato がオープンソースの選択肢です。

言語学的アノテーションにおいて Potato は INCEpTION とどう比較されますか？

INCEpTION は本格的な言語学的アノテーションや知識ベースとのリンクに強力ですが、デプロイが重くなります。Potato は立ち上げがより簡単で、YAML ファイル 1 つとコマンド 1 つで済み、INCEpTION の本格的な言語学的機構を必要としないスパン、関係、分類のタスクではたいていより速く進みます。

Labelbox や Scale AI のような商用プラットフォームではなく Potato を使う理由は何ですか？

Labelbox と Scale は、マネージドプラットフォームとラベリングの労働力を販売しており、その両方を購入する企業に向いています。自前のアノテーターを連れてきて、データを自社サーバー内に留める必要がある研究チームにとっては、Potato が無料かつセルフホスト型の代替であり、アノテーター間一致度の指標が組み込まれています。

AI エージェントの軌跡をアノテーションするのに最適なオープンソースツールは何ですか？

ここが、汎用のアノテーションツールの中で Potato が際立つ点です。15 種類の形式でエージェントのトレースを読み込み、軌跡、ステップレベル、ウェブエージェント、コーディングエージェントの評価に特化した表示を備えています。さらに、クリック可能な相互作用グラフ上でマルチエージェントチームをアノテーションし、コンピュータ操作エージェントや音声エージェントといったマルチモーダルエージェントもアノテーションできます。オープンソースか商用かを問わず、ほとんどのツールはエージェントの実行をまったくアノテーションできません。

可観測性ツールやラベリングプラットフォームにできなくて Potato にできる評価は何ですか？

エージェントアノテーションの対象には 2 つのカテゴリーがあり、そのいずれも、Potato とよく比較されるツール（LangSmith、Langfuse、Labelbox、Scale AI、Label Studio、Argilla、Braintrust）では、設定可能でセルフホスト型の機能として提供されていません（2026年6月時点で各ツールのドキュメントを確認）。

• マルチエージェントチームの構造。 アノテーターが編集できる相互作用グラフ（クリティカルパスのマーキング、不適切なハンドオフのフラグ付け）、責任エージェント／決定的ステップ／理由の三つ組としてのエージェント横断的な失敗の帰属、第一級オブジェクトとしてのハンドオフレビュー、エージェント単位およびチーム単位のスコアカード、ツール競合のタイムライン、そして創発的挙動のタグ付け。他で最も近いものは Langfuse の「Agent Graphs」ですが、これはアノテーションの場ではなく読み取り専用のデバッグビューです。
• マルチモーダルエージェント。 クリックの接地マーカーを備えたコンピュータ操作の軌跡、割り込み（バージイン）のスコアリングを備えた全二重の音声タイムライン、そしてモデルが予測した区間に対するライブの IoU を備えた動画の時間的接地。Scale AI は GUI の接地や音声評価を行いますが、マネージドなデータセット契約としてであり、その音声アリーナも全二重ではなくターン制です。

可観測性ツール（LangSmith、Langfuse、Braintrust）はスパン単位のスコアやコメントを付与し、これは実際のステップ単位のアノテーションではあるものの、こうしたエージェント構造の場ではありません。ラベリングプラットフォーム（Labelbox、Scale）はエージェント評価のデータ製品を提供しますが、有料のクラウドまたはマネージドサービスとしてであり、自分でセルフホストして YAML で設定するツールではありません。機能の進展は速いため、これは 2026年6月時点のスナップショットです。確認したバージョンは完全な比較記事に記載しています。

参考資料

• Potato を選ぶ理由
• データアノテーションとは何か？
• AI エージェントの評価方法