用你的标签训练的模型辅助标注

模型辅助标注会在标注者已给出的标签上训练一个模型，并把模型对新条目的预测作为预标签展示出来，供标注者确认或更正，从而加快标注。由于预标签也会把标注者拉向模型的答案，使用预标签的研究应当留出一部分标注者，并衡量答案移动了多少。

v2.14.0 新增

预标签是模型在任何人标注某条目之前为该条目提出的一个标签。模型辅助标注也称为预标注，是一种人在回路的工作流，标注者接受、编辑或拒绝这些预标签，被接受和被更正的标签构成数据集。本指南讨论的是模型在项目自己的标注上训练、并在更多标注到来时重新训练的情形。LLM 与视觉预标注指南讨论由提示驱动的通用模型生成的预标签，主动学习指南则讨论如何选择下一步要标注的条目。

用你的标签训练的模型与 LLM 预标注有何不同

LLM 或预训练的视觉模型在提示和少量示例的引导下，从第一个条目起就能预标注。用你的标签训练的模型一开始一无所有，需要先有一个已标注条目的种子集。Potato 的 sklearn-text 训练器在训练划分中的条目少于 10 个时拒绝拟合，Hugging Face 的文本、词元和图像分类器则在少于 20 个时拒绝。作为回报，训练出的模型学到的是你的标注者在你的条目上实际划出的标签边界。每次运行都在留出训练的条目上评分，并且在任何标注者看到预标签之前，得分就已显示在训练页面上。小型分类器还可以在你自己的机器上运行，每个条目无需付费。

在种子集增长期间，LLM 建议可以覆盖研究的开头，当训练出的模型的留出得分超过 LLM 与同一批标签的一致性时，再由训练出的模型接手。主动学习可以与二者结合，因为主动学习选择条目的顺序，而预标注改变的是每个条目上的工作。

预标签何时节省时间

当阅读并确认一个标签比产生一个标签更快时，预标注就能节省时间。在一项有两位标注者的词性标注实验中，Fort and Sagot (2010) 测得，一位标注者在没有预标注时每 10 个句子约需 7.5 分钟，在更正标注器输出时约需 2.5 分钟。仅在 50 个句子上训练的标注器达到了 81.6% 的准确率，该标注器的预标注所节省的时间，与在 37,990 个句子上训练、准确率 96.4% 的标注器所节省的时间，并无显著差异。只有在 10 个句子上训练的标注器让标注显著慢于其他标注器，而那个标注器的准确率为 66.5%。Lingren et al. (2014) 发现，临床命名实体标注每个实体可节省 13.85% 至 21.5% 的时间，一致性和标注者表现没有显著变化。Mikulová et al. (2022) 发现，来自准确的句法分析器的预标注让依存标注更快也更一致。

对于在项目自己的标签上训练的模型，Fort 和 Sagot 的结果表明，在最初几十个已标注条目上训练的模型可能就已能节省时间。仍接近随机水平的模型会耗费时间，所以最初的预标签应当等到留出得分远高于随机水平之后再出现。

预标签何时有害

预标签改变的不只是速度，还有答案。*锚定*是被建议的答案对后续判断的牵引，不加思考的接受则是不读就接受建议，是一种自动化偏差。在 Fort 和 Sagot 的实验中，使用 81.6% 的标注器的预标注时，较准确的那位标注者的准确率从 98.1% 降到 95.8%，而使用最好的标注器时，同一位标注者犯下了与标注器自身相同的系统性错误（把过去分词标成形容词）。在一项关于主观任务中 LLM 建议的预注册研究中，Schroeder et al. (2025) 发现，标注者并没有变快，而且采纳建议的频率高到足以改变标签分布。当以受协助的标签作为评估参照时，LLM 的实测准确率也随之上升。

在被接受的预标签上重新训练，会增加一个反馈循环。标注者原样保存的预标签成为该标注者的答案，下一次训练运行会像对待其他标签一样从这个答案中学习。因此，标注者接受的错误会作为训练数据回来，下一个模型可能在新条目上重复这个错误。一致性度量抓不住这个循环，因为接受同一个预标签的标注者，按构造就是一致的。如何区分认真审核与不加思考的接受描述了针对不读就接受的标注者的计时信号，衡量 LLM 建议如何锚定标注者则描述了针对那些读了仍被牵引的标注者的盲条目。

设计选择

有四项设置决定预标签对某项研究有没有帮助：置信度下限、获得预标签的条目、被留出的标注者比例，以及模型重新训练的频率。

置信度阈值

低于置信度下限的预测会被隐藏，标注者从零开始标注该条目。下限越高，显示的预标签越少，其中正确的比例越大。只有当模型的置信度经过校准时，下限才有意义。校准过的模型在置信度为 0.8 的预测上，对留出条目大约有 80% 是正确的。一次运行有至少 50 个训练条目时，Potato 的 sklearn-text 默认会校准分类器的置信度，条目少于 1,000 时用 Platt 缩放，此后用保序回归。请依据留出条目来设定下限，取模型的正确率高到检查预标签比标注条目更快的那个置信度。

哪些条目获得预标签

Potato 从不为模型自己的训练条目生成预标签，因为模型对训练数据有把握，其原因与新数据毫无关系。除这条规则之外，也不要在用于衡量标注者间一致性的条目和金标准条目上放预标签。在带有共同预标签的条目上衡量的一致性，衡量的是预标签，而屏幕上显示着预标签时作答的金标准条目，衡量模型的程度不亚于衡量标注者。在其余条目中，按置信度从低到高排序的审核队列会把标注者安排到模型可能出错的地方。如果每个条目仍需要人工标签，则适合采用按置信度从低到高提供每个条目的队列。

留出标注者以衡量影响

锚定的衡量方法，是比较同一批标注者在同类条目上，有预标签时给出的答案与没有预标签时给出的答案。Potato 的 ai_support.holdout 对随机一部分标注者与条目配对不提供任何形式的协助，训练预标签也在被扣下的形式之列。Potato 按配对而不是按条目抽取，所以大多数条目既有受协助的标注者，也有留出的标注者。加盐哈希使每个配对在重启之后仍留在同一组。对于 radio、multiselect、likert 和 select 方案，管理员仪表盘的 AI influence 标签页会比较这两组，看答案与模型一致的频率、答案与金标准一致的频率，以及每组内部的一致性。当每组在有模型答案的条目上都有 10 个答案之后，该标签页会报告与模型一致性的差异，并给出 95% 的自助法区间。请在标注开始之前设定比例和盐值，因为在研究中途更改其中任何一个都会重新洗牌各组。衡量 AI 影响列出了留出所扣下的每一种协助界面。

多久重新训练一次

频繁重新训练会让预标签跟上最新的指南决定和更正，而每次重新训练也会替换标注者看到的预标签。Potato 的 auto_retrain 在 update_frequency 条新标注到来（默认 25）、并且距上次运行结束已过 min_interval_s 秒（默认 600）时启动一次运行。较大的 update_frequency 节省算力，并让预标签在更长的工作时段内保持稳定。请在整个研究期间保持 split_seed 固定，因为更改种子会把留出条目移入训练，使一次运行的留出得分无法与下一次比较。Potato 还会把审核者更正过的每个条目放入之后每次运行的训练划分。这样，更正会教给下一个模型，而不会被用来给模型评分。

Potato 中的模型辅助标注

Potato 的模型训练在管理员训练页面上，用一项研究自己的标注拟合模型，在留出条目上给模型评分，并把模型的预测作为预标签写回条目。回写会让模型的答案在标注页面上处于预选状态。只有当标注者编辑预标签或转到下一条时，预标签才成为标注者的答案。在此之前，该条目不算完成。下面这些块在带有名为 sentiment 的 radio 方案的配置中，加入了带自动重新训练和 20% 留出的模型辅助标注：

model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas 指定标注者能看到其预测的方案。该列表默认为空，在列表中写入某个方案之前，标注者看不到任何预测。include_unlabeled: true 还会对无人标注的条目做预测，而预标签正是在这些条目上节省时间。没有这项设置时，一次运行只对该次运行的留出条目做预测。低于 min_confidence 的预测会被保存但不显示。留出块在 ai_support.enabled 关闭时也能工作。

assignment_strategy: model_review 按置信度从低到高提供带预标签的条目以供审核，assignment_strategy: llm_confidence 则按该顺序提供每个条目。审核者对每个预标签记录 accept、correct 或 reject 判定。被拒绝的预标签会从条目上撤下，不再显示。DELETE /admin/training/api/runs/<run_id>/predictions 会撤回一次运行写入的所有预标签。循环中的模型逐步演示回写、审核队列、采集顺序和 auto_retrain，上游的回写参考则列出预测在标注者看到之前要通过的每一项检查。

延伸阅读

• 模型训练概览，训练页面和训练循环
• 训练你的第一个模型，使用 sklearn-text 且无需 GPU 的教程
• 从标注数据到训练好的模型
• LLM 与视觉预标注
• 用于标注的主动学习
• 如何区分认真审核与不加思考的接受
• 衡量 LLM 建议如何锚定标注者

参考文献

1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323