与其他工具的比较

两者都是开源的,且都覆盖文本、图像、音频和视频标注。Potato 永久免费,没有 Enterprise 层;而 Label Studio 的裁定(adjudication)、标注者间一致性、ground truth 评估和基于提示的 LLM 工作流被限定在 Enterprise(定制定价)中。Potato 还具备 Label Studio 所欠缺的研究级功能:多阶段工作流(同意 → 培训 → 标注 → 调查)、MACE 标注者能力估计、行为追踪(按键、鼠标、计时)、55 种已验证的调查工具、原生 MTurk/Prolific 集成,以及包含 13 种轨迹格式的完整代理评估基础设施。配置使用 YAML 而非 XML 模板。

是的。Potato 覆盖 Prodigy 的核心能力——文本分类、NER 跨度、关系、音频/视频分段、图像边界框、主动学习、IAA、裁定——并增加了多阶段研究工作流、MACE、行为追踪、更广泛的 LLM 提供商支持、Solo Mode 和代理评估。配置使用 YAML(无需 Python 配方)。Potato 是免费且开源的;Prodigy 每席位约 $490(提供免费学术许可)。Potato 的 triage 模式涵盖了 Prodigy 的 accept/reject 工作流。

INCEpTION 仍然是面向复杂语言学标注的最强平台,具备知识库链接(Wikidata、DBPedia、OWL、SKOS)和丰富的共指工作流。Potato 在核心的跨度/关系/事件/共指能力上与 INCEpTION 持平,并增加了图像/音频/视频标注、完整的代理评估、YAML 配置(无需 Java/XML)、多阶段工作流、调查、行为追踪、更广泛的 LLM/AI 集成,以及更轻量的 Python/Flask 部署。深度知识库链接项目请选 INCEpTION;其他情况请选 Potato。

对于典型的计算机视觉标注需求,可以——Potato 支持边界框、多边形、分割掩码、关键点和带对象跟踪的视频时序标注,并可导出到 COCO(包含 RLE 掩码)、YOLO 和 Pascal VOC。CVAT 在纯 CV 工作流方面更深入,支持 3D 立方体、点云、SAM 集成,以及通过 Nuclio 实现的 ML 辅助标注。CVAT 完全不支持 NLP;Potato 允许你在单个任务中组合图像、文本和其他类型的标注。

doccano 在基本的文本分类和 NER 上更易于快速搭建,但 Potato 提供更多功能:除文本外的 30 多种标注类型(图像、音频、视频、代理轨迹)、对接 12 种端点的 AI/LLM 集成、5 种查询策略的主动学习、质量控制(注意力检查、黄金标准、MACE)、多阶段研究工作流、已验证的调查工具、原生众包集成(MTurk、Prolific),以及代理评估基础设施。

三个理由。**成本**:商业平台每月收费 $1,000–$10,000+,Potato 永久免费。**数据隐私**:Potato 是自托管的,因此敏感数据(医疗记录、专有内容、内部轨迹)永远不会离开你的基础设施。**研究工作流**:商业平台面向生产环境的数据标注,而 Potato 原生支持学术研究模式(多阶段研究、对 IRB 友好的同意流程、用于人因研究的行为追踪、已验证的事后调查、MACE 能力估计、以及众包付款)。Potato 曾在 EMNLP 2022 和 HCOMP 2024(Best Demo)上展示。

若干能力是独特或几乎独有的。**代理评估基础设施**:可接管的实时网页浏览观察、编码代理轨迹渲染(Claude Code、Cursor、Aider、SWE-Agent)、trajectory_eval 的逐步错误标注。**Solo Mode**:用于单标注者质量的级联置信度升级。**MACE 标注者能力估计**:用于对易出现分歧的标签加权。**AI 理由**:解释每个建议标签。**55 种已验证的调查工具**(SUS、NASA-TLX、UMUX、AttrakDiff)用于事后评估。**n 元事件标注**、通过 span-linking 实现的依存树标注。**8 种数据源**,包括 Google Drive、Dropbox、S3、HuggingFace、Google Sheets 和数据库。**带分支的多阶段工作流**。

是。在其他平台属于付费层的能力,在 Potato 中是免费的:标注者间一致性(Cohen's kappa、Fleiss'、Krippendorff's alpha)、裁定界面、黄金标准、注意力检查、ground truth 评估、SSO/OAuth(Google、GitHub、通用 OIDC)、带 HMAC-SHA256 签名的 webhook 集成、带自动生成 DatasetCard 的 HuggingFace Hub 导出、多提供商 LLM 集成,以及完整的审计日志。代价:你需要自托管。没有托管云层级。