他のツールとの比較

両方ともオープンソースで、テキスト、画像、音声、動画のアノテーションに対応しています。Potato は Enterprise ティアがなく永久に無料です。Label Studio の調停 (adjudication)、アノテーター間一致 (IAA)、ground truth 評価、プロンプトベースの LLM ワークフローは Enterprise (カスタム価格) に閉じ込められています。さらに Potato には Label Studio にはない研究グレードの機能があります: 多段階ワークフロー (同意 → トレーニング → アノテーション → アンケート)、MACE によるアノテーターの能力推定、行動追跡 (キーストローク、マウス、タイミング)、55 種類の検証済みアンケート機器、MTurk/Prolific のネイティブ統合、13 のトレース形式を備えた完全なエージェント評価インフラストラクチャ。設定は XML テンプレートではなく YAML で行います。

はい。Potato は Prodigy の中核機能 (テキスト分類、NER スパン、関係、音声/動画セグメンテーション、画像バウンディングボックス、能動学習、IAA、調停) を網羅しつつ、多段階の研究ワークフロー、MACE、行動追跡、より広範な LLM プロバイダー対応、Solo Mode、エージェント評価を追加で提供します。設定は YAML (Python のレシピは不要) です。Potato は無料でオープンソース、Prodigy はシート当たり約 $490 です (アカデミックライセンスは無料)。Potato の triage スキーマは Prodigy の accept/reject ワークフローをカバーしています。

INCEpTION は知識ベースリンキング (Wikidata、DBPedia、OWL、SKOS) と高度な共参照ワークフローを備えた、複雑な言語アノテーションのための最強のプラットフォームです。Potato は INCEpTION のスパン/関係/イベント/共参照の中核機能に追随しつつ、画像/音声/動画アノテーション、完全なエージェント評価、YAML 設定 (Java/XML 不要)、多段階ワークフロー、アンケート、行動追跡、より広範な LLM/AI 統合、軽量な Python/Flask デプロイメントを追加で提供します。深い KB リンキングプロジェクトには INCEpTION、それ以外は Potato を選んでください。

典型的なコンピュータビジョンのアノテーションのニーズには「はい」です。Potato はバウンディングボックス、ポリゴン、セグメンテーションマスク、ランドマーク、オブジェクトトラッキング付きの動画時系列アノテーションに対応しており、COCO (RLE マスク付き)、YOLO、Pascal VOC へエクスポートできます。CVAT は純粋な CV ワークフローではより深く、3D 立方体、点群、SAM 統合、Nuclio による ML 支援ラベリングを備えています。CVAT には NLP のサポートがまったくありません。Potato では単一のタスクで画像、テキスト、その他のアノテーションを組み合わせられます。

doccano は基本的なテキスト分類と NER のセットアップがシンプルで素早くできますが、Potato はより多くを提供します: テキストを超える 30 種類以上のアノテーションタイプ (画像、音声、動画、エージェントトレース)、12 種類のエンドポイントを備えた AI/LLM 統合、5 つのクエリ戦略を持つ能動学習、品質管理 (注意チェック、ゴールドスタンダード、MACE)、多段階の研究ワークフロー、検証済みのアンケート機器、ネイティブのクラウドソーシング統合 (MTurk、Prolific)、エージェント評価インフラストラクチャ。

3 つの理由があります。**コスト**: 商用プラットフォームは月額 $1,000〜$10,000 以上を請求しますが、Potato は永久に無料です。**データプライバシー**: Potato はセルフホスト型なので、機密データ (医療記録、独自コンテンツ、社内トレース) がインフラストラクチャから外に出ることはありません。**研究ワークフロー**: 商用プラットフォームは本番のデータラベリングを対象としていますが、Potato は学術研究のパターン (多段階の研究、IRB に適した同意フロー、ヒューマンファクターズ研究のための行動追跡、検証済みの事後アンケート、MACE の能力推定、クラウドソーシング支払い) を標準でサポートしています。Potato は EMNLP 2022 および HCOMP 2024 (Best Demo) で取り上げられました。

いくつかの機能は独自または他にほぼ存在しません。**エージェント評価インフラストラクチャ**: テイクオーバー可能なライブ Web ブラウジング観察、コーディングエージェントのトレース表示 (Claude Code、Cursor、Aider、SWE-Agent)、trajectory_eval によるステップごとのエラーアノテーション。**Solo Mode**: 単一アノテーターの品質向上のためのカスケード式信頼度エスカレーション。**MACE アノテーター能力推定**: 不一致が起きやすいラベルの重み付け。**AI による理由付け**: 各推奨ラベルの説明。**55 種類の検証済みアンケート機器** (SUS、NASA-TLX、UMUX、AttrakDiff) による事後評価。**n 項イベントアノテーション**、span-linking による依存ツリーアノテーション。**8 種類のデータソース**: Google Drive、Dropbox、S3、HuggingFace、Google Sheets、データベースなど。**分岐付きの多段階ワークフロー**。

はい。他では有料ティアになっている機能が Potato では無料です: アノテーター間一致 (Cohen の κ、Fleiss、Krippendorff の α)、調停インターフェース、ゴールドスタンダード、注意チェック、ground truth 評価、SSO/OAuth (Google、GitHub、汎用 OIDC)、HMAC-SHA256 署名付きの Webhook 統合、自動生成された DatasetCard 付きの HuggingFace Hub エクスポート、複数プロバイダーの LLM 統合、完全な監査ログ。条件: セルフホストすること。マネージドクラウドティアはありません。