开源标注工具对比
对数据标注工具的客观比较，涵盖 Potato、Label Studio、Prodigy、Doccano、brat、INCEpTION、Argilla、CVAT 与 Labelbox，以及如何在它们之间做出选择。
没有哪一款标注工具是绝对最好的，正确的选择取决于你的模态、预算、是否需要做智能体/LLM 评测，以及你能接受多少配置工作量。本指南公正地比较了几款主要的开源工具，帮你为项目挑选合适的一款。
我该对比哪些开源标注工具？
| 工具 | 许可 | 优势 | 适用场景 |
|---|---|---|---|
| Potato | 免费、开源（研究用途） | 跨文本/图像/音频/视频的 30 多种任务类型、智能体与 LLM 评测、零代码 YAML、内置一致性指标 | 研究、智能体/LLM 评测、无需写代码的快速搭建 |
| Label Studio | 开源 + 付费层级 | 广泛的模态支持、精致的界面、庞大的生态 | 想要有商业支持平台的团队 |
| Prodigy | 付费（商业） | 可脚本化、以主动学习为先、与 spaCy 紧密集成 | 习惯使用付费、以代码驱动工具的 spaCy 用户 |
| Doccano | 开源 | 简洁、清爽、易于自托管 | 直接的文本分类与命名实体识别 |
| brat | 开源 | 成熟的富文本/关系标注 | 实体与关系的语言学标注 |
| INCEpTION | 开源 | 丰富的语言学标注、知识库链接 | 能在配置上投入精力的深度语言学项目 |
| Argilla | 开源 | 聚焦 LLM 数据、与 Hugging Face 集成 | 在 HF 技术栈中收集反馈/RLHF 数据 |
| CVAT | 开源 | 图像/视频计算机视觉标注 | 边界框、掩码以及视频 CV 标注 |
| Labelbox / Scale | 商业（付费） | 托管平台、大规模标注人力服务 | 既购买工具又购买标注人力的企业 |
（这些细节会随时间变化，请查阅各项目以获取当前的许可与功能信息。）
我该如何选择标注工具？
- 你要标注什么？ 对于纯文本的命名实体识别，Doccano 或 brat 都很简单。对于文本/图像/音频/视频的混合内容，Potato 和 Label Studio 覆盖范围更广。
- 你是否需要智能体或 LLM 评测？ 这正是 Potato 的与众不同之处：它能读取多种格式的智能体轨迹，并为轨迹、过程奖励、网页智能体、编码智能体、多智能体团队和computer-use／多模态评测提供了专门构建的工具。多数通用工具并不具备这些功能。
- 预算。 Potato、Label Studio（核心版）、Doccano、brat 与 Argilla 均为免费开源；Prodigy 以及 Label Studio 的部分层级则需付费。
- 配置工作量。 Potato 用一个 YAML 文件进行配置，无需写代码；Prodigy 以代码为先；其余几款介于两者之间。
- 生态。 Prodigy 与 spaCy 搭配；Argilla 与 Hugging Face 搭配；Potato 可导出到多种 ML 格式，包括 CoNLL、spaCy、Hugging Face 以及 COCO/YOLO。
Potato 在什么时候是合适的标注工具？
Potato 源自学术界的 NLP（曾在 EMNLP 2022 和 HCOMP 2024 上展示），为完整的研究工作流而设计：众多任务类型、开箱即用的质量控制与一致性指标、众包集成，以及近来一整套深入的AI 智能体评测工具。如果你的工作横跨多个模态，或者包含对 LLM 和智能体的评测，它值得一试。
如果你主要只需要单一文本任务并使用托管的商业产品，或者你完全生活在 spaCy 或 Hugging Face 之中，那么其中另一款可能更适合你。挑选契合工作的那款工具。
常见问题
Potato 是 Label Studio 的免费替代品吗？
是的。Potato 免费且开源，用一份 YAML 配置、无需写代码，就能覆盖文本、图像、音频、视频以及智能体/LLM 评测。Label Studio 在某些集成上更宽泛，但会把团队推向付费层级；Potato 始终免费且可自托管，这与学术研究和可复现研究的工作很契合。
Potato 是 Prodigy 的免费开源替代品吗？
是的。Prodigy 是一款出色的付费、以代码为先、并与 spaCy 紧密绑定的工具；Potato 免费，用 YAML 配置、无需写代码，并可导出为 spaCy、CoNLL 和 Hugging Face 格式。如果你想要无需商业许可的主动学习，Potato 就是那个开源选项。
在语言学标注方面，Potato 与 INCEpTION 相比如何？
INCEpTION 在深度语言学标注和知识库链接方面很强大，但部署起来更重。Potato 上手更简单，一个 YAML 文件加一条命令即可，对于不需要 INCEpTION 全套语言学机制的跨度、关系和分类任务，通常更快。
为什么用 Potato 而不是 Labelbox 或 Scale AI 这类商业平台？
Labelbox 和 Scale 出售托管平台和标注人力，这适合两者一起购买的企业。对于自带标注者、并需要数据留在自己服务器上的研究团队，Potato 是那个免费、可自托管的替代品，且内置标注者间一致性指标。
标注 AI 智能体轨迹的最佳开源工具是什么？
这正是 Potato 在通用标注工具中与众不同之处：它能读取 13 种格式的智能体轨迹，并为轨迹、步骤级、网页智能体和编码智能体评测提供了专门构建的显示界面。多数工具，无论开源还是商业，根本不标注智能体运行。它还能在可点击的交互图上标注多智能体团队，以及标注 computer-use 和语音智能体等多模态智能体。
Potato 能评测哪些可观测性工具和标注平台无法评测的内容？
有两类智能体标注界面，在那些常被拿来与 Potato 比较的工具（LangSmith、Langfuse、Labelbox、Scale AI、Label Studio、Argilla、Braintrust）中，都没有作为可配置、可自托管的功能出现，以上结论依据这些工具截至 2026 年 6 月的文档核对：
- 多智能体团队结构。 一张可由标注者编辑的交互图（标出关键路径、标记糟糕的交接）、以「责任智能体／决定性步骤／原因」三元组形式呈现的跨智能体失败归因、作为一等对象的交接审查、按智能体和按团队的评分卡、工具争用时间线，以及涌现行为标签。其他工具中最接近的是 Langfuse 的 "Agent Graphs"，但那只是一个只读的调试视图，而非标注界面。
- 多模态智能体。 带有点击定位标记的 computer-use 轨迹、带有插话打断（barge-in）评分的全双工语音时间线，以及对模型预测区间进行实时 IoU 计算的视频时序定位。Scale AI 也做 GUI 定位和语音评测，但都是以托管数据集业务的形式提供，而且其语音竞技场是按轮次进行，而非全双工。
可观测性工具（LangSmith、Langfuse、Braintrust）会附加跨度级（span-level）的评分和评论，这确实是真正的按步骤标注，但并非上述这些智能体结构界面。标注平台（Labelbox、Scale）提供智能体评测数据产品，但都是付费云服务或托管服务，而不是你能自托管并用 YAML 配置的工具。各项能力变化很快，因此这反映的是 2026 年 6 月的一个快照；完整对比文章列出了所核对的版本。