文本标注工具对比：开源与付费 NLP 工具

文本标注工具把文档展示给标注者，并记录他们标出的内容：给整篇文本的标签、像命名实体这样高亮的片段，以及片段之间的关联。Potato、INCEpTION、doccano 和 Label Studio 的 Community Edition 都可以免费自行部署，也都能处理命名实体识别和关系。它们的差别在于共指、知识库链接，以及不买付费方案能否衡量标注者之间的一致性。 Prodigy 是付费选项。brat 和 Argilla 已不再增加新功能。

大多数文本任务属于三种形式之一。文本分类给整篇文档一个标签。命名实体识别等片段任务标出文本中的某一段。关系抽取和共指消解把片段彼此关联起来。本页的工具都能处理片段，差别最大的是关联这一步。

本页只讨论文本。所有数据类型放在一页里的对比见 AI 标注工具对比。

哪些文本标注工具值得比较？

功能对照

文本标签上的一致性

两名标注者标同一个实体时，边界很少完全一致。按词元逐一比较标签的指标，会把每一处边界差异都算成对标签的分歧。所以，工具如何给片段一致性打分，和它是否报告一致性同样重要。

• Potato 报告基于 BIO 标签的词元级 κ、精确匹配与部分匹配下的片段 F1、单元化形式的 Krippendorff α，以及 Mathet 等人 (2015) 的 γ。后两者除了片段的类别，还会衡量片段从哪里开始、到哪里结束。见衡量片段上的一致性。
• INCEpTION 计算 Cohen κ、Fleiss κ 和 Krippendorff α，并提供用于处理分歧的审定界面。
• Prodigy 提供 Krippendorff α 和 Gwet AC2，以及用于裁决的 review 配方。
• Label Studio 把一致性功能留给付费方案。其 Enterprise 版列出的指标是精确匹配、数值差、IoU 和片段重叠。
• doccano 没有一致性指标。

一般情况见标注者间一致性详解。

各工具详情

INCEpTION

INCEpTION 由达姆施塔特工业大学开发，是 WebAnno 的后继者，也是语言学工作中最接近的比较对象。它有关系层、用于共指的链层、文档级标注，以及把标注链接到 Wikidata 或 DBpedia 等知识库条目的概念特征。在知识库链接上，它领先于 Potato。它的推荐器会给出标注建议，并内置主动学习。它是 Java 应用，部署起来比本页其他工具更费事。该系统见 Eckart de Castilho 等人 (EMNLP 2024)。

Prodigy

Explosion 出品的 Prodigy 围绕"模型参与标注循环"而设计，与 spaCy 的结合比这里任何其他工具都紧密。它覆盖分类、片段、通过 rel.manual 配方标注的关系，以及通过 coref.manual 标注的共指，并借助 spacy-llm 调用 LLM。任务用 Python 配方定义。它是本页唯一的付费工具。

Label Studio

Label Studio 的文本功能只是一个同时处理图像、音频、视频和时间序列的工具的一部分。它的 Relations 标签用来关联已标注的区域。Community Edition 免费且开源。一致性、对照标准答案的审核和质量看板都在付费方案里，最便宜的是每月 99 美元的 Starter。

doccano

doccano 是文本方面搭建最快的工具。它的项目类型包括文档分类、序列标注、序列到序列、意图识别与槽位填充，以及语音转文本。序列标注项目可以允许重叠片段和关系。它没有共指或事件标注，也没有一致性指标。

brat

许多 NLP 语料库是在 brat 中构建的，它的 standoff 格式涵盖实体、n 元事件、二元关系、等价集合、属性和规范化。最新版本是 2012 年 11 月的 v1.3，master 分支最后一次提交是在 2021 年 10 月。它的独立服务器会导入 Python 的 cgi 模块，而该模块已在 Python 3.13 中移除，所以不做兼容处理的话，在当前的 Python 上无法启动。读取 brat 语料库仍然值得。在 brat 中开新项目就很难说得通了。

Argilla

Argilla 专注于语言模型的反馈与偏好数据，并与 Hugging Face Datasets 集成。它支持文本分类、词元分类和生成文本评估。它的代码仓库现在写明，原作者已转向其他项目，今后会修复缺陷、发布补丁，但不再增加新功能。

研究系统

有几个标注系统以 ACL 系统演示的形式发表。Thresh 用 YAML 配置细粒度的文本评估任务，用于摘要、简化和机器翻译。GATE Teamware 2 处理文档分类，带有标注者培训和质量筛查。

以上内容于 2026 年 8 月和 9 月对照各项目的文档、价格页和代码仓库核实。

在工具之间迁移语料库

从 2.9 版起，Potato 可以导入 brat standoff、doccano JSONL、Prodigy 的 db-out 文件和 CoNLL，因此在其中任何一个工具里开始的项目都能在 Potato 中继续。已有标签会作为预标注导入。brat 的关系和事件不会导入，而是列在导入警告中。见导入项目。

反过来，Potato 可以导出 CoNLL-2003、CoNLL-U、Hugging Face 数据集、JSONL、CSV 和 Parquet。见为机器学习导出标注。

Potato 中的实体与关系任务

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link 在 entities 方案的片段之间画出带类型的关联，allowed_source_labels 防止标注者把错误类型的实体连起来。事件和 n 元关系见关系与事件抽取，链见共指消解。

Potato 在文本上不做的事

• 它的知识库链接比 INCEpTION 简单。
• 它不会像 Prodigy 的配方那样，在标注者工作时更新 spaCy 模型。
• 它没有 spaCy 导出器。请从 CoNLL 或 JSONL 转换。
• 从 brat 导入时会跳过关系和事件。

常见问题

最好的免费文本标注工具是哪个？

如果只有一个命名实体或分类项目，doccano 最省事。如果是要把实体链接到知识库的语言学标注，INCEpTION 最完整。如果研究中每个条目由多名标注者标注、使用众包工人并需要报告一致性，Potato 不需要付费方案就具备这些功能。

有没有 Prodigy 的开源替代品？

Potato、INCEpTION 和 doccano 都免费且开源。Prodigy 用 Python 配方的地方，Potato 用 YAML 配置；它还能导入 Prodigy 的 db-out 文件，所以在 Prodigy 中已经收集的标注可以沿用。

哪些文本标注工具会报告标注者间一致性？

Potato 和 INCEpTION 在免费版本中报告，Prodigy 在付费产品中报告。Label Studio 把一致性留给付费方案，doccano 没有。对于片段任务，要检查指标是否考虑了边界分歧，例如 Krippendorff 的单元化 α 和 γ。

brat 还在维护吗？

没有。它的最后一个版本是 2012 年 11 月的 v1.3，独立服务器在 Python 3.13 上不做兼容处理就无法启动。从 2.9 版起，Potato 可以导入 brat 语料库，并把已有实体作为预标注保留下来。

能用免费工具标注共指吗？

可以。INCEpTION 有用于共指的链层，Potato 有把提及归并成链的 coreference 方案。doccano 不支持共指。

延伸阅读

• AI 标注工具对比，所有数据类型汇总在一页
• 音频标注工具对比
• 图像标注工具对比
• 视频标注工具对比
• AI 智能体评估工具对比
• 世界模型与机器人回合评估工具对比
• 片段标注
• 命名实体识别