AI自動ラベリングの比較：Label Studio、CVAT、Labelbox、Prodigy、Argilla、Potato
6つのアノテーションツールを、モデルやLLMのラベルがプロジェクトに入る経路、人によるレビューの方法、機械ラベルの誤り率について何を報告するかで比較します。
ここで比較する6つのツールはどれも、モデルのラベルをインポートまたは生成し、人にレビューを依頼できます。そこでこの比較では、各ツールが残したラベルについて何を測るかに焦点を当てます。2026年10月に私たちが読んだドキュメントでは、各ツールは正解データに対する、またはアノテーター間の正解率、適合率、再現率、一致度を点推定値として報告しており、機械ラベルの品質について区間や誤りの上限を説明しているツールはありませんでした。
ここでいう自動ラベリングとは、人の代わりに、あるいは人より先に、モデルのラベルを項目に付ける機能全般を指します。モデルは検出器でも、分類器でも、タスクを与えられたLLMでもかまいません。この比較に登場するツールはどれも何らかの形でこの機能を備えており、ツールを選ぶ前に確かめておくべき3つの問いについて違いがあります。
- 機械ラベルがどのようにプロジェクトに入るか。予測としてインポートするのか、接続したモデルが生成するのか、ツール内のLLMプロンプトが作るのか。
- 人がそれをどのようにレビューするか。そして、ラベルを付ける間にモデルの答えが見えるかどうか。
- 機械ラベルがどのくらいの頻度で誤っているかについて、何を基準に、どの程度の不確実性とともに、ツールが何を報告するか。
以下の各節は、2026年10月時点の各ツール自身のドキュメントに基づいており、引用した箇所にはリンクを付けています。ドキュメントに見つからなかったものについてはその旨を記しています。機能は文書化されていなくても存在しうるからです。
Label Studio
Label Studioは、モデルをWebサーバーとしてラップするSDKであるMLバックエンドを通してモデルを接続し、model_versionとscoreを伴うpredictionsキーで予測をインポートします。インポートした予測は変更できず、スコアは予測全体に適用されます。EnterpriseとStarter Cloudのエディションには、LLMプロンプトから予測を生成してスコアを付けるPromptsが加わります。またMLのページでは、「LLMによる自動ラベリングとモデル評価」のためのEnterprise機能が説明されています。
レビューはEnterpriseのワークフローです。品質ガイドには「アノテーションのレビューワークフローはLabel Studio Enterprise Editionでのみ利用できます」とあり、承認、却下、修正して承認の各操作と、タスクをモデルの信頼度順に並べるオプションがあります。レビューのサンプリング設定は確率的な割合として適用され、不確実性サンプリングでは最も確信度の低い予測が先に人に送られます。
品質については、Label Studio Enterpriseはアノテーションとモデルの予測を正解データと比較し、「0から1までの正解率スコアを計算」します。その一致度マトリクスにはモデルのバージョンを含めることもできます。Promptsは、正解データに対する全体の正解率とF1、評価したタスクの数、推論コストを、それぞれ点スコアとして報告します。Promptsの概要には「プロンプトの評価に使うデータが多いほど、結果に自信を持てます」と書かれていますが、区間は示されていません。
CVAT
CVATの自動アノテーションは、検出器または再識別モデルでデータに事前アノテーションを付けます。信頼度のしきい値は任意で指定できます。利用できるモデルはエディションによって異なります。AIモデルの表には、Community版向けにNuclio関数が、CVAT OnlineとEnterprise向けにHugging FaceやRoboflowのサードパーティモデルとネイティブのAIエージェント関数が掲載されています。
人によるレビューについては、CVATには問題を報告するためのレビューモードと検証ステージがあり、コンセンサスは複数のアノテーターの作業を1つの結果にまとめ、0から1までの一致度スコアを付けます。CVAT OnlineとEnterprise向けと記載されている、CVATの正解データとハニーポットによる品質管理は、アノテーションジョブを正解データのジョブと比較し、正解率、適合率、再現率を報告します。ドキュメントはこの方法を、データのごく一部からデータセット全体の品質を推定する統計的な方法と説明しており、「通常はデータの5〜15%で十分です」と述べています。品質レポートはタスク内のすべてのジョブを正解データのジョブと比較するので、自動アノテーションの出力が評価されるのは、それらのジョブに含まれるものの一部としてだけです。機械のアノテーションを人のアノテーションと分けて扱うレポートは見つかりませんでした。
Labelbox
Labelboxは事前ラベルをインポートします。Labelboxはこれを、人がレビューするための「Labelboxプロジェクトにプログラムでインポートされた提案アノテーション」と説明しています。Foundry機能はモデルでラベルを生成し、そこでは「ラベルを提案する前にモデルがどれだけ確信している必要があるかを伝える」信頼度のしきい値を使います。Foundryは、Educationalサブスクリプションを除くすべてのプランで利用できます。
Foundryの予測を使うためのガイドでは、予測を人に回す方法が2つ示されています。1つは信頼度でフィルターをかける方法で、たとえば0.75未満のものをすべてレビューに送ります。もう1つは「予測のランダムサンプルをレビューに」送る方法で、これは「体系的な問題を見つけ、全体の正解率の指標を計算するのに役立ちます」。Labelboxのモデル指標は、予測と正解データから、0から1までのしきい値で適合率、再現率、F1、IoU、混同行列を計算します。非推奨機能のページには、Model experiments機能は7月15日をもって利用できなくなったと書かれており、年は記載されていません。一方で指標のガイドは、依然としてカスタム指標の送り先をExperimentタイプとしているので、モデル実行の指標がまだ自分のワークスペースで利用できるかを確認してください。
Prodigy
Prodigyは、ループの中にモデルを置く設計になっています。ner.correctなどのレシピはspaCyモデルの予測を表示して人に修正させ、ner.teachとtextcat.teachはモデルが最も確信を持てない例を優先し、ner.model-annotateはモデルのラベルをアノテーターが付けたかのように記録します。spacy-llmをベースにしたLLMレシピは、同じ修正ワークフロー向けにラベルを作ります。ドキュメントは「LLMのアノテーションは誤っていることがあります。アノテーションを精査するために、あなた自身も引き続きループに入っているべきです」と警告しています。
reviewレシピはアノテーター間の衝突を1つの最終アノテーションにまとめ、metric.iaa.*レシピはアノテーター間の一致率、Krippendorffのアルファ、GwetのAC2を報告します。ドキュメントには、モデルのmodel-annotateのラベルをこれらの一致度の数値に含めるべきかどうかは書かれていません。プロンプトやモデルの比較には、ab.llm.tournamentがあります。これは人に出力のペアを判定させ、Glickoレーティングシステムで組み合わせを順位付けします。Prodigyの料金ページにはPersonalとCompanyの2つのライセンスが掲載されており、インストーラー、Webアプリケーション、プラグインは同じで、OpenID ConnectによるSSOが加わるのはCompanyライセンスだけです。
Argilla
Argillaは、モデルの出力を提案としてレコードに添付します。各提案には、スコア、それを作ったエージェント、modelまたはhumanのタイプが付きます。アノテーションビューでは、提案はきらめきアイコンの付いた事前入力済みの回答として表示され、データセットに信頼度スコアが含まれていればそれも表示されます。Argilla 1.xには、回答を提案と比較し、正解率、F1、Krippendorffのアルファなどの指標を報告するmetricsモジュールがありました。Argilla 2.xのドキュメントでは、一致度やモデル指標の報告は見つかりませんでした。合成データや、LLMによる判定を含むAIフィードバックは、別のライブラリであるdistilabelにあります。
Potato
Potatoはai_supportを通してLLMと視覚モデルを接続します。バージョン2.9からは、モデルが最初に答えた内容（pre_annotation_seeds）を、アノテーターが保存した内容（final_annotation）と並べて記録するので、受け入れ率は自分のデータから得られます。icl_labelingは、アノテーターがすでに一致しているアノテーションを例としてLLMに与え、残りにラベルを付けさせ、そのラベルの一部をサンプルとして人に戻してブラインドで検証させます。正解率はスキーマごとに追跡されます。
モデルやLLM判定者については、Potatoの判定者のキャリブレーションが、モデルのラベルをアノテーターから見えないところに保持し、ブラインドで人がラベルを付けるためのランダムサンプルまたは層化サンプルを抽出します。そして、人のゴールドラベルに対する正解率、人とモデル、モデルとモデル、人と人の各組についてのCohenのカッパ、Krippendorffのアルファ、期待較正誤差とブライアースコアによる較正を報告します。LLM判定者と人の一致度で説明しているように、モデルのカッパを人のアノテーター同士のカッパと比べれば、モデルがもう1人のアノテーターと同程度の働きをするかどうかがわかります。Solo Modeでは、1人の専門家がLLMと並行してラベルを付け、両者の一致度がしきい値を超えると、コーパスの残りをLLMに引き渡します。他のツールと同様に、これらの機能が報告するのは点推定値であり、誤り率の区間は、最後の節で説明するようにツールの外で計算する必要があります。
3つの問いで見る6つのツール
次の表は、2026年10月時点で各プロジェクトが公開していたドキュメントに基づいて、6つのツールを3つの問いで比較したものです。
| ツール | 機械ラベルの入り方 | 機械ラベルの人によるレビュー | 機械ラベルについて報告される品質 |
|---|---|---|---|
| Label Studio | MLバックエンド、インポートした予測、Prompts（Enterprise、Starter Cloud） | Enterpriseのレビューワークフロー | 正解データに対する正解率、モデルを含む一致度マトリクス（Enterprise） |
| CVAT | 検出器による自動アノテーション、エディションに応じたサードパーティやエージェントのモデル | レビューモード、検証ステージ、コンセンサス | アノテーションジョブについての正解データによる品質レポート（Online、Enterprise） |
| Labelbox | 事前ラベルのインポート、Foundry | 信頼度フィルター、レビューに回すランダムサンプル | モデル実行から得る適合率、再現率、F1、IoU |
| Prodigy | spaCyとLLMのレシピ、model-annotate | 修正レシピ、review | アノテーター間の一致度 |
| Argilla | スコア付きの提案 | 事前入力済みの回答 | 2.xのドキュメントでは見つからず |
| Potato | ai_support、icl_labeling、Solo Mode、判定者のキャリブレーション | 検証サンプル、ブラインドの判定者キャリブレーションサンプル | ブラインドサンプルに対するカッパ、アルファ、ECE、ブライアースコア |
どのツールでも使える機械ラベルの確認方法
どのツールを使うにしても、根拠を示せる数値は同じ3つのステップから得られます。人が確認する項目は、信頼度の低い側からではなくランダムに抽出してください。最も難しい項目のサンプルは、残りの項目の誤り率について何も語らないからです。そのサンプルには、モデルの答えを見せずに人にラベルを付けてもらいます。見える提案は答えをそちらに引き寄せるからです。そして、Wilsonの区間のような二項比率の信頼区間を使い、サンプルでの誤り率を信頼区間とともに報告します。そうすれば、確認した200件のラベルが自分の主張を裏付けるかどうかを読者が判断できます。
Labelboxのランダムサンプルによる振り分け、CVATのランダムに選ばれる正解データのフレーム（OnlineとEnterprise）、そして層化することもできるPotatoの判定者キャリブレーションサンプルは、すでにランダムに抽出しています。それ以外のツールでは、項目IDのランダムな部分集合をエクスポートし、予測を非表示にした別のタスクとして割り当て、区間はツールの外で計算してください。
参考資料
- アノテーションツールの比較：より広い機能の比較
- LLMによるプレアノテーション：人が提案をレビューするときの自動化バイアスについて
- LLM判定者と人の一致度：判定者を人同士の一致度と比較する方法について