テキストアノテーションツールの比較：オープンソースと有料の NLP ツール

テキストアノテーションツールは、アノテーターに文書を見せ、彼らが付けたものを記録するソフトウェアです。付けるのは、テキスト全体へのラベル、固有表現のようにハイライトされたスパン、そしてスパン同士のリンクです。Potato、INCEpTION、doccano、Label Studio の Community Edition は無料でセルフホストでき、どれも固有表現認識と関係を扱えます。違いが出るのは、共参照、知識ベースへのリンク、そして有料プランなしでアノテーター間の一致度を測れるかどうかです。 Prodigy は有料の選択肢です。brat と Argilla はもう機能を追加していません。

テキストのタスクの多くは、次の三つの形のどれかです。文書分類は文書全体にラベルを付けます。固有表現認識などのスパンタスクは、テキストの一部に印を付けます。関係抽出と共参照解析はスパン同士を結びます。このページのツールはどれもスパンを扱え、差が最も大きいのはリンクの部分です。

このページはテキストだけを扱います。すべてのデータの種類を 1 ページで比べたものは AI アノテーションツールの比較にあります。

比較する価値のあるテキストアノテーションツールは？

機能の比較

テキストラベルの一致度

同じ固有表現に印を付けた 2 人のアノテーターが、境界まで完全に一致することはまれです。ラベルをトークン単位で比べる指標は、境界のずれをすべてラベルの不一致として数えてしまいます。そのため、ツールがスパンの一致度をどう採点するかは、一致度を報告するかどうかと同じくらい重要です。

• Potato は、BIO タグに対するトークン単位の κ、完全一致と部分一致でのスパン F1、ユニタイジング形式の Krippendorff の α、Mathet ら (2015) の γ を報告します。後の二つは、スパンの名前だけでなく、どこで始まりどこで終わるかも採点します。スパンの一致度を測るを参照してください。
• INCEpTION は Cohen の κ、Fleiss の κ、Krippendorff の α を計算し、不一致を解消するためのキュレーション画面を備えています。
• Prodigy は Krippendorff の α と Gwet の AC2、そして裁定用の review レシピを備えています。
• Label Studio は一致度を有料プランに限っています。Enterprise 版で挙げられている指標は、完全一致、数値の差、IoU、スパンの重なりです。
• doccano には一致度指標がありません。

一般的な話はアノテーター間一致度の解説を参照してください。

各ツールの詳細

INCEpTION

INCEpTION は TU Darmstadt が開発した WebAnno の後継で、言語学的な作業では最も近い比較対象です。関係レイヤー、共参照用のチェーンレイヤー、文書単位のアノテーション、そしてアノテーションを Wikidata や DBpedia などの知識ベースの項目に結びつける概念フィーチャーを備えています。知識ベースへのリンクでは Potato より進んでいます。レコメンダーがアノテーションを提案し、能動学習も組み込まれています。Java アプリケーションで、このページの他のツールよりも導入に手間がかかります。システムは Eckart de Castilho ら (EMNLP 2024) に記述されています。

Prodigy

Explosion の Prodigy は、モデルをループに入れたアノテーションを中心に作られており、spaCy との結びつきはここにあるどのツールよりも強いです。分類、スパン、rel.manual レシピによる関係、coref.manual による共参照を扱い、spacy-llm を通じて LLM を使えます。タスクは Python のレシピで定義します。このページで唯一の有料ツールです。

Label Studio

Label Studio のテキスト対応は、画像、音声、動画、時系列も扱うツールの一部です。Relations タグでラベル付きの領域を結びます。Community Edition は無料でオープンソースです。一致度、正解データとの照合、品質ダッシュボードは有料プランにあり、最も安いのは月 99 ドルの Starter です。

doccano

doccano はテキスト向けでは最も早く準備できるツールです。プロジェクトの種類は、文書分類、系列ラベリング、系列変換、意図検出とスロットフィリング、音声のテキスト化です。系列ラベリングのプロジェクトでは、重なるスパンと関係を許可できます。共参照やイベントのアノテーションはなく、一致度指標もありません。

brat

多くの NLP コーパスが brat で作られてきました。その standoff 形式は、エンティティ、n 項イベント、二項関係、同値集合、属性、正規化を表せます。最新リリースは 2012 年 11 月の v1.3 で、master への最後のコミットは 2021 年 10 月です。スタンドアロンサーバーは Python の cgi モジュールを読み込みますが、このモジュールは Python 3.13 で削除されました。そのため、現在の Python では手当てなしに起動しません。brat のコーパスを読む価値は今もあります。新しいプロジェクトを brat で始める理由は見つけにくくなっています。

Argilla

Argilla は言語モデル向けのフィードバックデータと選好データに特化し、Hugging Face Datasets と連携します。テキスト分類、トークン分類、生成テキストの評価に対応します。現在のリポジトリには、元の開発者たちは別のプロジェクトに移り、今後はバグ修正とパッチは出すものの新機能は追加しない、と書かれています。

研究用のシステム

ACL のシステムデモとして発表されたアノテーションシステムもいくつかあります。Thresh は、要約、平易化、機械翻訳などの細かなテキスト評価タスクを YAML で設定します。GATE Teamware 2 は、アノテーターの訓練と品質チェックを伴う文書分類を扱います。

2026 年 8 月と 9 月に、各プロジェクトのドキュメント、料金ページ、リポジトリで確認しました。

ツール間でコーパスを移す

バージョン 2.9 から、Potato は brat の standoff、doccano の JSONL、Prodigy の db-out ファイル、CoNLL を取り込めます。これらのツールで始めたプロジェクトを Potato で続けられます。既存のラベルは事前アノテーションとして取り込まれます。brat の関係とイベントは取り込まれず、インポート時の警告に一覧されます。プロジェクトのインポートを参照してください。

逆方向では、Potato は CoNLL-2003、CoNLL-U、Hugging Face データセット、JSONL、CSV、Parquet を書き出します。ML 向けのアノテーションのエクスポートを参照してください。

Potato での固有表現と関係のタスク

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link は entities スキームのスパン同士に型付きのリンクを引きます。allowed_source_labels によって、アノテーターが間違った種類のエンティティを結ぶことを防げます。イベントと n 項関係は関係・イベント抽出、チェーンは共参照解析で扱っています。

テキストで Potato ができないこと

• 知識ベースへのリンクは INCEpTION より簡素です。
• Prodigy のレシピのように、アノテーターの作業中に spaCy のモデルを更新することはしません。
• spaCy 向けのエクスポーターはありません。CoNLL か JSONL から変換してください。
• brat からのインポートでは、関係とイベントが省かれます。

よくある質問

無料のテキストアノテーションツールで一番良いものは？

NER か分類のプロジェクトが一つだけなら、doccano が最も手間がかかりません。固有表現を知識ベースに結びつける言語学的アノテーションなら、INCEpTION が最も充実しています。1 項目に複数のアノテーターが付き、クラウドワーカーを使い、一致度を報告する研究なら、Potato は有料プランなしでそのすべてを備えています。

Prodigy のオープンソースの代替はありますか？

Potato、INCEpTION、doccano は無料でオープンソースです。Prodigy が Python のレシピを使うところを、Potato は YAML で設定します。Prodigy の db-out ファイルも取り込めるので、Prodigy で集めたアノテーションはそのまま引き継げます。

アノテーター間一致度を報告するテキストアノテーションツールは？

Potato と INCEpTION は無料版で報告し、Prodigy は有料製品で報告します。Label Studio は一致度を有料プランに限っており、doccano にはありません。スパンのタスクでは、Krippendorff のユニタイジング α や γ のように、指標が境界のずれを考慮しているかを確認してください。

brat は今も保守されていますか？

いいえ。最新リリースは 2012 年 11 月の v1.3 で、スタンドアロンサーバーは Python 3.13 では手当てなしに起動しません。バージョン 2.9 から Potato は brat のコーパスを取り込み、既存のエンティティを事前アノテーションとして引き継ぎます。

無料のツールで共参照をアノテーションできますか？

はい。INCEpTION には共参照用のチェーンレイヤーがあり、Potato には言及をチェーンにまとめる coreference スキームがあります。doccano は共参照に対応していません。

参考資料

• AI アノテーションツールの比較（すべてのデータの種類を 1 ページで）
• 音声アノテーションツールの比較
• 画像アノテーションツールの比較
• 動画アノテーションツールの比較
• AI エージェント評価ツールの比較
• 世界モデルとロボットエピソードの評価ツールの比較
• スパンアノテーション
• 固有表現認識