AI 自动标注对比：Label Studio、CVAT、Labelbox、Prodigy、Argilla 和 Potato

这里比较的六款工具都能导入或生成模型标签，并把它们交给人审核，所以本文的比较重点放在每款工具对它所保留的标签衡量了什么。在我们于 2026 年 10 月阅读的文档中，这些工具都以点值形式报告相对于标准答案或标注者之间的准确率、精确率、召回率或一致性，没有一款工具描述了机器标签质量的区间或误差界。

这里的自动标注，指的是任何在人之前或代替人给条目打上模型标签的功能，无论模型是检测器、分类器，还是按任务提示的 LLM。这次比较的每款工具都有某种形式的自动标注，而在选择之前值得问清楚的三个问题上，它们各不相同：

1. 机器标签如何进入项目：作为预测导入，由连接的模型生成，还是由工具内部的 LLM 提示产生。
2. 人如何审核这些标签，以及人在标注时能否看到模型的答案。
3. 工具对机器标签出错的频率报告了什么，以什么为参照，带有怎样的不确定性。

下面每一节都取材于该工具截至 2026 年 10 月的官方文档，引用处附有链接。对于我们在文档中没有找到的内容，我们会如实说明，因为一项功能可能存在但没有写进文档。

Label Studio

Label Studio 通过 ML 后端连接模型，ML 后端是一个把你的模型包装成 Web 服务器的 SDK；它还以 predictions 键导入预测，并附带 model_version 和 score。导入的预测无法修改，而且分数作用于整条预测。企业版和 Starter Cloud 版增加了 Prompts，它根据 LLM 提示生成预测并为其打分；ML 页面还介绍了一项企业版功能，用于“LLM 辅助的自动标注和模型评估”。

审核属于企业版工作流。质量指南写明“标注审核工作流仅在 Label Studio 企业版中提供”，提供接受、拒绝和修正后接受等操作，以及按模型置信度排列任务的选项。审核抽样设置以概率比率的形式生效，不确定性抽样会先把置信度最低的预测交给人。

在质量方面，Label Studio 企业版把标注和模型预测与标准答案作比较，“以计算一个介于 0 到 1 之间的准确率分数”，它的一致性矩阵也可以包含模型版本。Prompts 报告相对于标准答案的总体准确率和 F1、评估过的任务数以及推理成本，每一项都是点分数。它的 Prompts 概览还写道：“用于提示评估的数据越多，你对结果就越有信心”，但没有给出区间。

CVAT

CVAT 的自动标注用检测器或重识别模型对数据做预标注，可以选择设置置信度阈值。可用的模型取决于版本。AI 模型表为社区版列出了 Nuclio 函数，为 CVAT Online 和企业版列出了来自 Hugging Face 和 Roboflow 的第三方模型以及原生 AI 智能体函数。

在人工审核方面，CVAT 有一个用于报告问题的审核模式和一个验证阶段，共识功能会把多位标注者的工作合并成一个结果，并给出一个 0 到 1 的一致性分数。CVAT 的标准答案与蜜罐质量控制标明适用于 CVAT Online 和企业版，它把标注作业与一个标准答案作业作比较，报告准确率、精确率和召回率。文档把这种方法描述为统计方法，即从一小部分数据估计整个数据集的质量，并写道“通常 5-15% 的数据就足够了”。质量报告把任务中的每个作业都与标准答案作业作比较，所以它只是把自动标注的输出作为这些作业内容的一部分来打分，我们没有找到把机器标注与人工标注分开的报告。

Labelbox

Labelbox 可以导入预标签，它将其描述为“以编程方式导入 Labelbox 项目的建议标注”，供人审核。它的 Foundry 功能用模型生成标签，并带有一个置信度阈值，“它告诉模型在建议一个标签之前需要有多大把握”。除教育版订阅外，所有套餐都提供 Foundry。

使用 Foundry 预测的指南提出了两种把预测交给人的方式。一种按置信度筛选，例如把低于 0.75 的全部送去审核。另一种是送出“随机抽取的预测样本供审核”，这“有助于你发现系统性问题，并计算总体准确率指标”。Labelbox 的模型指标根据预测和标准答案，在 0 到 1 的各个阈值上计算精确率、召回率、F1、IoU 和混淆矩阵。它的弃用页面称 Model experiments 功能自 7 月 15 日起不再提供，但没有写明年份，而指标指南仍把自定义指标指向 Experiment 类型，所以请确认你的工作区中是否仍提供模型运行指标。

Prodigy

Prodigy 围绕“模型在环”构建。ner.correct 之类的配方会显示 spaCy 模型的预测供人修正，ner.teach 和 textcat.teach 优先选择模型最没把握的样例，ner.model-annotate 则把模型的标签当作标注者给出的标签记录下来。基于 spacy-llm 构建的 LLM 配方为同样的修正工作流产生标签，文档提醒：“LLM 标注可能是错的。你仍然需要参与其中，对标注进行把关。”

review 配方把标注者之间的冲突合并为一个最终标注，metric.iaa.* 配方报告标注者之间的百分比一致率、Krippendorff's alpha 和 Gwet's AC2。文档没有说明是否应把模型通过 model-annotate 给出的标签纳入这些一致性数字。对于比较提示词或模型，ab.llm.tournament 让人评判成对的输出，并用 Glicko 评分系统给各种组合排名。Prodigy 的价格页面列出了个人许可证和公司许可证，两者的安装程序、Web 应用和插件相同，只有公司许可证增加了基于 OpenID Connect 的 SSO。

Argilla

Argilla 把模型输出作为建议附加到记录上，每条建议都带有一个分数、产生它的智能体，以及 model 或 human 类型。在标注视图中，建议显示为带有闪光图标标记的预填回答，如果数据集包含置信度分数，也会一并显示。Argilla 1.x 有一个指标模块，它把回答与建议作比较，报告准确率、F1 和 Krippendorff's alpha 等指标。我们在 Argilla 2.x 的文档中没有找到一致性或模型指标的报告功能。合成数据和 AI 反馈（包括 LLM 评审）放在单独的 distilabel 库中。

Potato

Potato 通过 ai_support 连接 LLM 和视觉模型，从 2.9 版起，它会把模型最初的回答（pre_annotation_seeds）与标注者保存的内容（final_annotation）并排记录下来，所以接受率来自你自己的数据。icl_labeling 把你的标注者已经达成一致的标注作为示例交给 LLM，让它标注其余条目，并把它的一部分标签样本送回给人做盲态核验，按方案跟踪准确率。

对于模型或 LLM 评审，Potato 的评审校准会把模型的标签放在标注者看不到的地方，抽取一份随机或分层样本供人盲态标注，并报告相对于人工黄金标签的准确率、人与模型、模型与模型以及人与人之间的 Cohen's kappa、Krippendorff's alpha，以及以期望校准误差和 Brier 分数表示的校准。把模型的 kappa 与人工标注者之间的 kappa 作比较，就能知道模型的表现是否与另一位标注者相当，LLM 评审一致性对此有解释。Solo Mode 让一位专家与一个 LLM 一起标注，一旦两者的一致性超过阈值，就把剩余语料交给 LLM。与其他工具一样，这些功能报告的都是点估计，错误率的区间需要在工具之外计算，最后一节会介绍做法。

六款工具在三个问题上的对比

下表根据各项目截至 2026 年 10 月发布的文档，比较六款工具在三个问题上的情况：

在任何工具中检查机器标签

无论你用哪款工具，站得住脚的数字都来自同样的三个步骤。随机抽取供人检查的条目，而不是从低置信度那一端挑选，因为最难条目组成的样本对其余条目的错误率说明不了任何问题。让人在看不到模型答案的情况下标注这份样本，因为可见的建议会把答案往它那边拉。然后报告样本上的错误率及其置信区间，可以用 Wilson 区间这样的二项比例区间，这样读者就能看出 200 条检查过的标签是否支撑你提出的结论。

Labelbox 的随机样本送审、CVAT 随机选取的标准答案帧（Online 和企业版），以及 Potato 的评审校准样本（也可以分层抽取）都已经是随机抽取的。在其他工具中，可以导出一个随机的条目 ID 子集，把它们作为一个单独的任务分配出去并隐藏预测，再在工具之外计算区间。

延伸阅读

• 标注工具对比：更全面的功能对比
• LLM 预标注：人审核建议时的自动化偏差
• LLM 评审一致性：把评审与人与人之间的一致性作比较