テキストアノテーションツールの比較：オープンソースと有料の NLP ツール

テキストアノテーションツールは、アノテーターに文書を見せ、彼らが付けたものを記録するソフトウェアです。付けるのは、テキスト全体へのラベル、固有表現のようにハイライトされたスパン、スパン同士のリンクです。Potato、INCEpTION、doccano、Label Studio の Community Edition は無料でセルフホストでき、どれも固有表現認識と関係を扱えます。ツールの差が大きく開くのは、アノテーターが大勢いるプロジェクトです。Potato は Prolific と MTurk でアノテーターを集め、本番の前に訓練と選別を行い、全員をまとめた偶然補正済みのスパン一致度を報告します。有料プランは要りません。 知識ベースへのリンクでは INCEpTION が、アノテーションしながら spaCy モデルを学習させる点では Prodigy が先を行きます。brat と Argilla には新機能が追加されなくなっています。

テキストのタスクの多くは、次の三つの形のどれかです。文書分類は文書全体にラベルを付けます。固有表現認識などのスパンタスクは、テキストの一部に印を付けます。関係抽出と共参照解析はスパン同士を結びます。このページのツールはどれもスパンを扱え、差が最も大きいのはリンクの部分です。

このページはテキストだけを扱います。すべてのデータの種類を 1 ページで比べたものは AI アノテーションツールの比較にあります。

比較する価値のあるテキストアノテーションツールは？

機能の比較

アノテーションそのものについては、保守が続いている 5 つのツールに大きな差はありません。

大勢のアノテーターで調査を行う場面では、大きな差があります。

ダッシュは、2026 年 9 月の時点で、そのツールのドキュメント、料金ページ、リポジトリに該当する記述が見つからなかったことを表します。誤りがあればお知らせください。

テキストで Potato が先を行く点

ラベルの周りにある調査。 テキストアノテーションの多くは、クラウドワーカーを使った研究です。感情、スタンス、攻撃的な言葉、モデル出力の品質などを扱います。参加者は Prolific や MTurk からやって来て、完了コードを受け取って去ります。本番の前には同意を示し、スクリーニングや属性の質問に答え、フィードバック付きの練習項目に合格するまで取り組みます。その後はゴールド項目と注意力チェックが本番の項目に混ざって出されます。Potato はこれらすべてを YAML 設定から組み立て、Prolific 連携では参加者が途中でやめた項目を割り当て直し、サーバーが混み合ったときには調査を一時停止することもできます。このページのほかのツールは、アノテーターがすでにチームにいることを前提にしています。Prolific と MTurk で調査を実施する、トレーニングフェーズ、ゴールドスタンダードと注意力チェックを参照してください。

報告できるスパン一致度。 Prodigy が計算するペアごとの F1 は、一度に 2 人のアノテーターを比べるもので、偶然の一致を補正しません。Potato の文字単位のラベルに対する α と γ は、ラベルに加えて各スパンの始まりと終わりの位置も評価し、偶然を補正し、全アノテーターを一度に扱います。INCEpTION は Krippendorff のユニタイジング α そのものを、アノテーターのペアごとの行列として提供しています。

回答を書いたのは誰か。 自由記述の回答が入力されずに貼り付けられていたなら、アノテーター本人が書いたとは限りません。Potato のキーストロークログは各回答がどう作られたかを記録し、執筆プロセスのフラグは大半が貼り付けで入力された回答に印を付けます。しきい値は読むことも変えることもできます。

テキストラベルの一致度

同じ固有表現に印を付けた 2 人のアノテーターが、境界まで完全に一致することはまれです。ラベルをトークン単位で比べる指標は、境界のずれをすべてラベルの不一致として数えてしまいます。そのため、ツールがスパンの一致度をどう採点するかは、一致度を報告するかどうかと同じくらい重要です。

• Potato は、BIO タグに対するトークン単位の κ、完全一致と部分一致でのスパン F1、文字単位のラベルに対する Krippendorff の α、Mathet ら (2015) の γ の簡略版を報告します。後の二つは、スパンの名前だけでなく、どこで始まりどこで終わるかも採点します。スパンの一致度を測るを参照してください。
• INCEpTION は Cohen の κ、Fleiss の κ、Krippendorff の α（ユニタイジング形式を含む）を計算してアノテーターのペアごとの行列で示し、不一致を解消するためのキュレーション画面を備えています。
• Prodigy は metric.iaa.doc レシピで文書ラベルの一致率、Krippendorff の α、Gwet の AC2 を、metric.iaa.span でスパンのペアごとの F1 を報告します。裁定には review レシピを使います。
• Label Studio は一致度を有料プランに限っています。Enterprise 版で挙げられている指標は、完全一致、数値の差、IoU、スパンの重なりです。
• doccano には一致度指標がありません。

一般的な話はアノテーター間一致度の解説を参照してください。

各ツールの詳細

INCEpTION

INCEpTION は TU Darmstadt が開発した WebAnno の後継で、言語学的な作業では最も近い比較対象です。関係レイヤー、共参照用のチェーンレイヤー、文書単位のアノテーション、そしてアノテーションを Wikidata や DBpedia などの知識ベースの項目に結びつける概念フィーチャーを備えています。知識ベースへのリンクでは Potato より進んでいます。レコメンダーがアノテーションを提案し、能動学習も組み込まれています。Java アプリケーションで、このページの他のツールよりも導入に手間がかかります。システムは Eckart de Castilho ら (EMNLP 2024) に記述されています。

Prodigy

Explosion の Prodigy は、モデルをループに入れたアノテーションを中心に作られており、spaCy との結びつきはここにあるどのツールよりも強いです。分類、スパン、rel.manual レシピによる関係、coref.manual による共参照を扱い、spacy-llm を通じて LLM を使えます。タスクは Python のレシピで定義します。このページで唯一の有料ツールです。

Label Studio

Label Studio のテキスト対応は、画像、音声、動画、時系列も扱うツールの一部です。Relations タグでラベル付きの領域を結びます。Community Edition は無料でオープンソースです。一致度、正解データとの照合、品質ダッシュボードは有料プランにあり、最も安いのは月 99 ドルの Starter です。

doccano

doccano はテキスト向けでは最も早く準備できるツールです。プロジェクトの種類は、文書分類、系列ラベリング、系列変換、意図検出とスロットフィリング、音声のテキスト化です。系列ラベリングのプロジェクトでは、重なるスパンと関係を許可できます。共参照やイベントのアノテーションはなく、一致度指標もありません。

brat

多くの NLP コーパスが brat で作られてきました。その standoff 形式は、エンティティ、n 項イベント、二項関係、同値集合、属性、正規化を表せます。最新リリースは 2012 年 11 月の v1.3 で、master への最後のコミットは 2021 年 10 月です。スタンドアロンサーバーは Python の cgi モジュールを読み込みますが、このモジュールは Python 3.13 で削除されました。そのため、現在の Python では手当てなしに起動しません。brat のコーパスを読む価値は今もあります。新しいプロジェクトを brat で始める理由は見つけにくくなっています。

Argilla

Argilla は言語モデル向けのフィードバックデータと選好データに特化し、Hugging Face Datasets と連携します。テキスト分類、トークン分類、生成テキストの評価に対応します。現在のリポジトリには、元の開発者たちは別のプロジェクトに移り、今後はバグ修正とパッチは出すものの新機能は追加しない、と書かれています。

研究用のシステム

ACL のシステムデモとして発表されたアノテーションシステムもいくつかあります。Thresh は、要約、平易化、機械翻訳などの細かなテキスト評価タスクを YAML で設定します。GATE Teamware 2 は、アノテーターの訓練と品質チェックを伴う文書分類を扱います。

2026 年 8 月と 9 月に、各プロジェクトのドキュメント、料金ページ、リポジトリで確認しました。

ツール間でコーパスを移す

バージョン 2.9 から、Potato は brat の standoff、doccano の JSONL、Prodigy の db-out ファイル、CoNLL を取り込めます。これらのツールで始めたプロジェクトを Potato で続けられます。既存のラベルは事前アノテーションとして取り込まれます。brat の関係とイベントは取り込まれず、インポート時の警告に一覧されます。プロジェクトのインポートを参照してください。

逆方向では、Potato は CoNLL-2003、CoNLL-U、Hugging Face データセット、JSONL、CSV、Parquet を書き出します。ML 向けのアノテーションのエクスポートを参照してください。

Potato での固有表現と関係のタスク

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link は entities スキームのスパン同士に型付きのリンクを引きます。allowed_source_labels によって、アノテーターが間違った種類のエンティティを結ぶことを防げます。イベントと n 項関係は関係・イベント抽出、チェーンは共参照解析で扱っています。

テキストで Potato ができないこと

• 知識ベースへのリンクは INCEpTION より簡素です。
• Prodigy のレシピのように、アノテーターの作業中に spaCy のモデルを更新することはしません。
• spaCy 向けのエクスポーターはありません。CoNLL か JSONL から変換してください。
• brat からのインポートでは、関係とイベントが省かれます。

よくある質問

どのテキストアノテーションツールを使えばよいですか？

NER か分類のプロジェクトが一つだけなら、doccano が最も手間がかかりません。固有表現を知識ベースに結びつける言語学的アノテーションなら、INCEpTION が最も充実しています。1 項目に複数のアノテーターが付き、クラウドワーカーを使い、一致度を報告する研究なら、Potato は有料プランなしでそのすべてを備えています。

学術的なアノテーション調査に向いているテキストアノテーションツールは？

調査でアノテーターを募集し、選別と訓練を行い、一致度を報告する必要があるなら、Potato は無料版でそのすべての段階に対応しています。知識ベースへのエンティティのリンクのように、アノテーション自体が複雑な言語構造である場合は INCEpTION が向いています。アノテーションしながら spaCy モデルを学習させたい小さなチームには Prodigy が合います。

Prolific や Amazon Mechanical Turk と連携できるテキストアノテーションツールは？

Potato は両方に対応しています。URL から参加者 ID を読み取り、タスクが終わると完了コードを表示するか参加者を元のサイトへ戻し、Prolific の API を通じて Prolific の調査を管理することもできます。INCEpTION にはゲストアノテーター用の実験的な招待リンクがあり、クラウドワーカーに共有できますが、完了コードの扱いについては記載がありません。Prodigy、Label Studio、doccano にはクラウドソーシング連携の記載がありません。

Prodigy のオープンソースの代替はありますか？

Potato、INCEpTION、doccano は無料でオープンソースです。Prodigy が Python のレシピを使うところを、Potato は YAML で設定します。Prodigy の db-out ファイルも取り込めるので、Prodigy で集めたアノテーションはそのまま引き継げます。

アノテーター間一致度を報告するテキストアノテーションツールは？

無料版で報告するのは Potato と INCEpTION で、Prodigy はライセンスに metric.iaa レシピが含まれます。Label Studio は一致度を有料プランに限っており、doccano にはありません。スパンのタスクでは、その指標が境界と偶然の一致の両方を考慮しているかを確認してください。Krippendorff のユニタイジング α と γ は両方を考慮し、文字単位のラベルに対する α も同様です。Potato が報告するのはこの α と簡略版の γ です。ペアごとの F1 は偶然を補正しません。

brat は今も保守されていますか？

いいえ。最新リリースは 2012 年 11 月の v1.3 で、スタンドアロンサーバーは Python 3.13 では手当てなしに起動しません。バージョン 2.9 から Potato は brat のコーパスを取り込み、既存のエンティティを事前アノテーションとして引き継ぎます。

無料のツールで共参照をアノテーションできますか？

はい。INCEpTION には共参照用のチェーンレイヤーがあり、Potato には言及をチェーンにまとめる coreference スキームがあります。doccano は共参照に対応していません。

参考資料

• AI アノテーションツールの比較（すべてのデータの種類を 1 ページで）
• 音声アノテーションツールの比較
• 画像アノテーションツールの比較
• 動画アノテーションツールの比較
• AI エージェント評価ツールの比較
• 世界モデルとロボットエピソードの評価ツールの比較
• Prolific と MTurk で調査を実施する
• スパンアノテーション
• 固有表現認識