唯一最良のアノテーションツールというものは存在せず、そうでないと言う記事はみな何かを売り込んでいます。正しい選択は、何をアノテーションするのか、LLM やエージェントを評価する必要があるか、予算、そしてどれだけのセットアップに耐えられるか、によって決まります。以下に、選択肢を絞り込む方法を示します。

実際に選択を決める問い

何をアノテーションするのか？ テキストのみの NER や分類なら、Doccano や brat のようなシンプルなツールが、手間をかけずに役割を果たします。テキスト、画像、音声、動画が混在する場合は、より幅広いものが必要で、そこで Potato や Label Studio の出番になります。

エージェントや LLM を評価する必要があるか？ これは多くのツール比較が飛ばす問いであり、分野が分かれるポイントでもあります。エージェントの評価とは、その軌跡（トレース）を読み、ステップやツール呼び出しを判定し、ときにはライブで動作を観察することを意味します。多くの汎用アノテーションツールは、そのために作られていません。Potato は多くの形式のエージェントトレースを読み込み、軌跡評価、プロセス報酬ラベリング、ウェブおよびコーディングエージェントレビューのための専用ツールを備えています。

予算はどれくらいか？ Potato、Label Studio のコア、Doccano、brat、Argilla は無料でオープンソースです。Prodigy や一部の Label Studio のプランは有料です。

どれだけのセットアップに耐えられるか？ Potato は YAML ファイルで設定し、コードは不要です。Prodigy はコードファーストです。その他はその中間に位置します。

どのエコシステムにいるか？ Prodigy は spaCy と緊密に組み合わさります。Argilla は Hugging Face のスタックの中に存在します。Potato は CoNLL、spaCy、Hugging Face、COCO/YOLO へエクスポートするため、ほとんどのパイプラインに収まります。

Potato が位置づけられるところ

Potato は学術的な NLP から生まれ、研究ワークフロー全体のために作られました。多数のタスク形式、一致率指標と品質管理を標準装備、クラウドソーシング連携、そして最近より充実してきた一連のエージェント評価ツールです。作業が複数のモダリティにまたがる場合や、モデルやエージェントの評価を含む場合は、検討する価値があります。

主に 1 つのテキストタスクをホスト型の商用製品で行いたい場合や、spaCy や Hugging Face の中で完結している場合は、他のいずれかのほうが合うかもしれません。最も声の大きい売り込みではなく、作業に合うツールを選んでください。

さらに読む

より詳しい、横並びの比較版は、オープンソースアノテーションツール比較ガイドにあり、Potato 自体の論拠はなぜ Potato かにあります。ソースによる機能レベルの比較については、比較ドキュメントを参照してください。