数据标注术语表

标注研究所用术语的简明定义，从 Krippendorff's alpha 和裁定到 IOB 标记和过程奖励模型，每条都链接到一篇指南。

这份术语表定义了数据标注中使用的 50 个术语，按项目中各术语出现的阶段分组。每个词条用一到三句话给出定义，并链接到深入介绍该术语的 Potato 指南。

各组依次从研究设计，经过一致性、质量控制、模型辅助标注和 LLM 评估，到质性编码和数据集文档。存在公认外部定义的地方，词条会链接到维基百科或提出该术语的论文。标注概念常见问题回答了关于标注的常见问题，例如一项任务需要多少名标注者。标注学习路径按目标把指南排成阅读顺序。

研究设计

条目（Item）

条目是数据文件中供标注者标注的一个单位，例如一个句子或一张图像。Potato 从配置中 item_properties 下指定的字段读取每个条目的 ID 和内容。数据格式介绍了 Potato 能读取的文件布局。

标注方案（Annotation scheme）

标注方案是标注者为每个条目回答的一个问题或一个标注组件，例如单选类别或一组高亮的跨度。Potato 配置在 annotation_schemes 下列出各方案，每个方案指定一个 annotation_type。选择标注方案把研究需要的回答类型与方案对应起来。

标签集（Label set）

标签集，也称 tagset，是标注者在一个方案中从中选择的封闭类别列表。在单选方案中，各类别不应重叠，并应覆盖每个条目，列表不够用时可加一个"Other"标签。命名实体识别展示了团队如何把标准实体标签集裁剪到某个领域。

标注指南（Annotation guidelines）

标注指南是告诉标注者哪个标签适用于哪个条目的书面规则，包含定义和疑难案例的示例。指南会在研究期间变化，每次修订都有版本号，读者就能把某个标签追溯到给出该标签时有效的规则。撰写有效的标注指南给出了文档的结构。

试标（Pilot）

试标是在正式研究之前进行的一小轮标注，用来找出标注者理解不一的规则和条目。团队审查试标中的每一处分歧，在规则不清的地方修订指南，并再做一轮试标，直到一致性趋于稳定。先试标，再修订描述了这一循环。

重叠度（Overlap）

重叠度是独立标注每个条目的标注者人数。重叠度为两人或以上，一致性才可以衡量，而在预算固定时，每个条目多一名标注者，就意味着标注的不同条目变少。Potato 用 num_annotators_per_item 设置重叠度，你需要多少位标注者？按任务给出了经验法则。

跨度（Span）

跨度是条目内被标注的一段，记录为起始位置、结束位置和标签。文本中的命名实体和模型输出中的幻觉陈述，都是以跨度来标注的。跨度标注介绍了文本和音频中的跨度任务。

IOB 标记（IOB tagging）

IOB 标记也称 BIO 标记，把跨度编码为每个词元一个标记。B- 标记跨度的第一个词元，I- 标记跨度内较后的词元，O 标记不属于任何跨度的词元。该格式可追溯到 Ramshaw 和 Marcus（1995），Potato 的 conll_2003 导出会把跨度标注转换为 BIO 标记。

李克特量表（Likert scale）

李克特量表请标注者在一组简短的有序标签点上评定同意程度或强度，通常是五点或七点。由于李克特评分是有序的，对它的一致性应使用序数 alpha 或加权 kappa，而不是名义系数。评分量表介绍了点数和标签的设置。

成对比较（Pairwise comparison）

成对比较向标注者展示两个条目，问在某个给定标准上哪一个更好。每位标注者使用绝对量表的方式各不相同，而比较只问哪个条目更好。成对比较与最佳-最差量表把这种格式与评分做了对比。

最佳-最差量表（Best–worst scaling，BWS）

最佳-最差量表向标注者展示一小组条目，常为四个，并问在某个给定标准上哪个最好、哪个最差。统计每个条目被选为最佳和最差的次数，就得到每个条目一个实数分数，Kiritchenko 和 Mohammad（2017）发现 BWS 在情感强度上比评分量表更可靠。Potato 的 bws 标注类型实现了这一格式，最佳-最差量表计算器可把选择结果转为分数。

Bradley–Terry 模型（Bradley–Terry model）

Bradley–Terry 模型根据大量成对比较为每个条目估计一个分数。在该模型中，一个条目击败另一个条目的概率只取决于这两个条目的分数。模型两两对比用该模型根据人的投票为 LLM 排名，Bradley–Terry 计算器则把该模型拟合到一份比较结果的 CSV 上。

边界框（Bounding box）

边界框是标注者在图像或视频帧中围绕物体画出的矩形，存储为坐标和标签。如何用 Potato 标注图片在介绍多边形和关键点的同时也介绍了边界框。

交并比（Intersection over union，IoU）

交并比用两个形状共有的面积除以两者合起来覆盖的面积，取值从 0（无重叠）到 1（形状完全相同）。IoU 是应用于区域的 Jaccard 指数，时间 IoU 则把同样的比值用在时间片段上。标注者之间的平均 IoU 在大而居中的物体上即使没有一致也会偏高，如何测量边界框上的标注者间一致性会对该数值做偶然校正。

一致性与可靠性

标注者间一致性（Inter-annotator agreement，IAA）

标注者间一致性是指独立标注相同条目的标注者给出相同标签的程度。研究用经过偶然校正的系数报告 IAA，以证明任务定义明确。标注者间一致性详解介绍了这些系数，维基百科把这个主题称为评分者间信度。

百分比一致率（Percent agreement）

百分比一致率是得到相同标签的条目所占比例，或一个条目上标注者两两配对中得到相同标签的比例。百分比一致率不考虑偶然因素，两名标注者即使都在随机标注，只要各自把 90% 的条目标为同一个标签，也会在约 82% 的条目上一致。Potato 的 reliability 导出会为每个问题同时报告百分比一致率和 Krippendorff's alpha。

经偶然校正的一致性（Chance-corrected agreement）

经偶然校正的系数，把观察到的一致性与标注者按观察到的标签频率随机标注时预期的一致性相比较。数值为 1 表示完全一致，0 表示一致性与偶然水平相当，负值表示一致性低于偶然。Cohen's kappa、Fleiss' kappa 和 Krippendorff's alpha 是常见的经偶然校正的系数。

Cohen's kappa

Cohen's kappa 衡量恰好两名标注者在相同条目上经偶然校正的一致性。Cohen（1960）为名义类别提出了该系数，加权 kappa 则通过给接近的错误部分得分，把 kappa 扩展到有序类别。一致性计算器可根据标签的 CSV 计算 kappa。

Fleiss' kappa

当每个条目都收到相同数量的标签、标注者人数不限时，Fleiss' kappa 衡量经偶然校正的一致性。Fleiss（1971）为名义类别提出了该系数。存在缺失标签或重叠不均时，Krippendorff's alpha 更适合这样的数据。

Krippendorff's alpha

Krippendorff's alpha 衡量任意数量标注者之间经偶然校正的一致性，并能容忍缺失标签。alpha 有适用于名义、有序、区间和比率数据的不同版本。质性研究中的编码者间信度解释了惯用的 0.800 和 0.667 阈值，一致性指南的常见问题介绍了负值。

成对 F1（Pairwise F1）

成对 F1 衡量跨度上的一致性，做法是把一名标注者的跨度当作参照、另一名标注者的跨度当作预测，再对所有标注者两两配对的 F1 取平均。kappa 不太适合跨度任务，因为没有人标出的文本构不成一组固定的、可供计数的条目。跨度与结构化输出的一致性介绍了精确和部分边界匹配，跨度与边界框一致性计算器负责计算分数。

一致性漂移（Agreement drift）

一致性漂移是指在研究进行过程中，标注者运用指南的方式逐渐发生变化。正式研究前的一次一致性检查，无法发现漂移。Potato 在 /admin/iaa 的一致性报告会在已完成条目的连续窗口中为一致性打分，当最新窗口低于项目基线的幅度达到 calibration.drop_threshold 设定的比例时，就提示进行一轮重新校准。

质量控制

黄金标准（Gold standard）

黄金标准条目的答案经过专家核实。把黄金条目混入标注流，就能得到每位标注者的实时准确率，一些众包工具把黄金条目称为 honeypot。Potato 的 gold_standards 块设置黄金条目出现的频率和最低准确率（accuracy.min_threshold，默认 0.7）。

注意力检查（Attention check）

注意力检查是指令中写明了正确答案的条目，例如"Select Disagree for this item."。没有选出所述答案的标注者就是没有认真阅读，Oppenheimer、Meyvis 和 Davidenko（2009）把问卷版本命名为指令操纵检查（instructional manipulation check）。Potato 的 attention_checks 块每隔 frequency 个条目插入一次检查，默认在 2 次失败后警告标注者，5 次失败后将其屏蔽。

培训阶段（Training phase）

培训阶段在正式任务之前给标注者带有已知答案和反馈的练习条目，只有达到及格分数的标注者才能进入正式任务。Potato 的 training 块设置练习条目、通过标准和失败后的处理方式。培训阶段介绍了各选项。

裁定（Adjudication）

裁定是指由专家审查标注者标得不一致的条目并确定最终标签。Potato 的 adjudication 块会把一致性低于 agreement_threshold（默认 0.75）的每个条目排入队列，交给 adjudicator_users 中列出的用户。裁定与分歧处理把裁定与聚合做了比较。

多数投票（Majority vote）

多数投票以多数标注者给出的标签作为条目的最终标签。多数投票对粗心的标注者和认真的标注者一视同仁，2–1 的分裂与 3–0 的全票结果等同。聚合众包标签介绍了按估计可靠性给标注者加权的模型。

Dawid–Skene 模型（Dawid–Skene model）

Dawid–Skene 模型仅根据标签矩阵，用 EM 算法同时估计每个条目的真实标签和每位标注者的混淆矩阵。Dawid 和 Skene（1979）提出该模型用于估计观察者的错误率。Dawid–Skene 计算器把该模型拟合到一份标签 CSV 上，聚合众包标签把该模型与多数投票做了比较。

MACE

MACE（Multi-Annotator Competence Estimation）把每位标注者建模为要么知道答案、要么在猜测，并估计每个条目的真实标签，同时为每位标注者给出 0 到 1 的能力分数。Hovy 等人（2013）提出了 MACE。MACE 记录了 Potato 如何在研究的标签上运行该模型。

软标签（Soft label）

软标签为条目记录各类别上的概率分布，而不是单一类别。软标签来自一名标注者把分数分配到多个标签上，或来自多名标注者选择的分布，软标签保留了多数投票所丢弃的分歧。Potato 的 soft_label 标注类型收集的是第一种。

模型辅助标注

预标注（Pre-annotation）

预标注向标注者展示由模型提出的标签，称为预标签。标注者对每个预标签选择接受、修正或拒绝，核对一个质量好的预标签比从头标注更省时间。Potato 的 pre_annotation 块从文件或数据中的某个字段载入预测。

走过场（Rubber-stamping）

走过场是指不核对预标签就接受，是一种自动化偏差。仅凭标签本身计算的任何度量，都无法区分走过场的数据与认真复核的数据，一致性之所以上升，是因为接受同一个预标签的标注者在构造上就是一致的。如何在预标注数据中区分认真复核与走过场根据工作所用的时间把两者区分开。

主动学习（Active learning）

主动学习按每个未标注条目对用迄今收集的标签训练出的模型有多大信息量，来为标注队列排序。目标是用比随机抽样更少的标签达到目标模型准确率。面向标注的主动学习介绍了这一循环，Potato 的 active_learning 块则在研究中配置该循环。

不确定性采样（Uncertainty sampling）

不确定性采样是最简单的主动学习策略，挑选模型对预测标签最没有把握的条目。选出的条目聚集在决策边界附近，已标注样本便不再能代表语料。Potato 的 random_sample_percent 让队列中保留一定比例的随机条目（默认 0.2），主动学习参考记录了其他策略。

LLM 与智能体评估

以 LLM 作评审者（LLM-as-a-judge）

LLM 评审者是被提示去给输出打分或做比较的语言模型，通常依据评分标准。Zheng 等人（2023）发现，作为评审者的 GPT-4 与受控和众包的人类偏好的一致程度都超过 80%。如何衡量 LLM 评审者与人类标注者之间的一致性把评审者与人的一致性，同人与人之间的一致性做了比较。

校准（Calibration）

当所述置信度与准确率相符时，评审者或分类器就是校准的，一个校准良好的评审者在 80% 置信度下给出的判断，约有 80% 是正确的。在标注管理中，校准轮次会让标注者回到有已知答案的共同示例上，以重新统一他们对指南的理解。LLM 评审者指南介绍了第一种含义，一致性漂移介绍了第二种。

评分标准（Rubric）

评分标准把一个质量判断拆成若干命名的标准，每个标准按定义好的量表打分。分别为每个标准打分，可以看出输出在哪个标准上不合格，而一个总体分数会掩盖原因。基于评分量表的 LLM 评估介绍了评分标准的设计。

偏好数据（Preference data）

偏好数据记录人们针对同一提示词，更偏好两个或多个模型回复中的哪一个。成对偏好判断是基于人类反馈的强化学习（RLHF）中奖励模型的常用训练数据。收集 RLHF 与偏好数据介绍了如何用 Potato 的 pairwise 标注类型收集这类数据。

智能体轨迹（Agent trajectory）

智能体轨迹记录一次智能体运行的每个步骤，从智能体的推理到每次工具调用和工具输出。标注轨迹就是判断整次运行，并标出出错的步骤，为每个步骤给出错误类别和严重程度。标注智能体轨迹介绍了应当收集哪些标签。

过程奖励模型（Process reward model，PRM）

过程奖励模型为解答中的每个推理步骤打分，而不只看最终答案，训练 PRM 需要说明每个步骤是否正确的步骤级标签。Lightman 等人（2023）以 PRM800K 为名发布了 80 万条步骤级人工标签，并发现在 MATH 题上，过程监督优于结果监督。过程奖励模型与步骤级标注介绍了如何用 Potato 的 process_reward 标注类型收集。

幻觉（Hallucination）

幻觉是模型输出中既没有输入支持、也没有已知事实支持的陈述。把没有依据的词语标为带错误标签的跨度，比对整条回答只打一个标记能得到更好用的数据。用跨度标注检测幻觉给出了错误所用的标签集。

质性编码

代码与编码（Code and coding）

在质性研究中，编码是给访谈、田野笔记或开放式回答的摘录附上简短标签，这些标签称为代码。演绎代码在编码开始之前就来自理论或研究问题，归纳代码则在编码过程中来自数据。为质性编码准备访谈转录稿介绍了从录音到已编码摘录的各个步骤。

码本（Codebook）

码本列出每个代码，附有定义、适用与不适用的规则，以及来自数据的示例。Potato 会给每条保存的标注盖上当时生效的码本修订号，该标记显示每段摘录是用哪个版本的码本编码的。为质性研究编制码本介绍了词条的撰写，质性编码的共享码本记录了该功能。

内容分析（Content analysis）

内容分析依据由固定变量和类别构成的码本，对文章或演讲等单位进行编码。至少两名编码者对一个样本编码，研究要为每个变量报告编码者间信度。Potato 中的定量内容分析：码本与 Krippendorff's alpha从头到尾演示了这一方法。

主题分析（Thematic analysis）

主题分析是在质性数据集中发展主题的一类方法，Braun 和 Clarke（2006）为心理学阐述了该方法。反思性主题分析把编码视为一种诠释，因此不使用一致性系数。当方法主张不用系数时阐述了这两种立场。

编码者间信度（Intercoder reliability，ICR）

编码者间信度是质性研究和内容分析中的用语，指对相同摘录应用同一份码本的编码者之间的一致性。研究通常在占数据 10% 到 25% 的双重编码样本上报告 Krippendorff's alpha 或 Cohen's kappa。质性研究中的编码者间信度把系数与编码设计相匹配。

备忘录（Memo）

分析备忘录是研究者在编码期间写下的、关于数据和代码的笔记，例如某个代码为何适合某个段落。Potato 可把备忘录附在条目、文本选区或图像上的形状上，并把备忘录保存在项目数据库中。备忘录介绍了回复、问题和备忘录导出。

数据集文档

数据规格表（Datasheet）

数据集的数据规格表回答一组关于数据集动机、构成、收集过程和推荐用途等主题的标准问题。Gebru 等人（2021）参照每个电子元件所附的规格表，提出了数据集的规格表。记录数据集与模型把数据规格表与另外两种标准做了比较。

数据声明（Data statement）

数据声明描述语言数据集的整理依据、语言变体、说话人和标注者的人口统计信息，以及指南。Bender 和 Friedman（2018）为自然语言处理提出了数据声明。数据声明能让读者判断数据集代表了哪些人群。

模型卡（Model card）

模型卡报告训练好的模型的预期用途、局限性，以及按人口统计及其他群体分解的性能。Mitchell 等人（2019）提出了模型卡。数据规格表或数据声明中的标注者人口统计信息，使模型卡中各群体的结果得以解读。

这些术语在 Potato 配置中的位置

上面的许多术语对应 Potato 中的一个配置键或一种标注类型。下表列出了有直接对应设置的术语。

术语	Potato 设置
条目	`item_properties`（`id_key`、`text_key`）
标注方案	`annotation_schemes` 下的一个条目
重叠度	`num_annotators_per_item`
黄金标准	`gold_standards`
注意力检查	`attention_checks`
培训阶段	`training`
裁定	`adjudication`
一致性漂移	`calibration`
预标注	`pre_annotation`
主动学习、不确定性采样	`active_learning`
李克特量表、成对比较、BWS、软标签、跨度、PRM	`annotation_type: likert`、`pairwise`、`bws`、`soft_label`、`span`、`process_reward`
Krippendorff's alpha、百分比一致率	`reliability` 导出
IOB 标记	`conll_2003` 导出

把这些块加入一份可运行的配置，就可以为每个条目收集三个标签、在黄金条目上为标注者打分，并把一致性低的条目送交裁定者：

yaml

num_annotators_per_item: 3
 
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  frequency: 20          # about one gold item per 20 items
  accuracy:
    min_threshold: 0.8   # stricter than the 0.7 default
 
adjudication:
  enabled: true
  adjudicator_users: ["lead_annotator"]
  agreement_threshold: 0.75   # items below the threshold go to the adjudicator

黄金文件中的每条记录都需要一个 id 和一个 gold_label，完整格式见质量控制。

参考文献

Bender, E. M., & Friedman, B. (2018). Data statements for natural language processing: Toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6. https://aclanthology.org/Q18-1041/
Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika, 39(3/4), 324. https://doi.org/10.2307/2334029
Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Applied Statistics, 28(1), 20. https://doi.org/10.2307/2346806
Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92. https://doi.org/10.1145/3458723
Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E. (2013). Learning whom to trust with MACE. Proceedings of NAACL-HLT 2013. https://aclanthology.org/N13-1132/
Kiritchenko, S., & Mohammad, S. (2017). Best-worst scaling more reliable than rating scales: A case study on sentiment intensity annotation. Proceedings of ACL 2017 (Volume 2: Short Papers). https://aclanthology.org/P17-2074/
Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., et al. (2023). Let's verify step by step. arXiv:2305.20050. https://arxiv.org/abs/2305.20050
Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220-229. https://doi.org/10.1145/3287560.3287596
Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872. https://doi.org/10.1016/j.jesp.2009.03.009
Ramshaw, L., & Marcus, M. (1995). Text chunking using transformation-based learning. Third Workshop on Very Large Corpora. https://aclanthology.org/W95-0107/
Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. https://arxiv.org/abs/2306.05685