Skip to content

你需要多少位标注者？

如何确定标注项目的标注者人数与重叠度，在一致性、成本与统计置信度之间取得平衡，并附 Potato 的重叠设置。

并不存在唯一正确的数字，但这一决定可归结为三个杠杆：每个条目由多少人标注（重叠度）、任务有多清晰，以及你的预算。清晰的任务只需很少的重叠；主观的任务则需要更多。 本指南给出经验法则，以及实现它们的设置。

重叠 vs. 覆盖

每一份标注预算都要在两个目标之间分配：

  • 覆盖：标注更多不同的条目（每个标注一次）。
  • 重叠：对同一批条目多次标注，从而获得一致性估计以及聚合的能力。

二者无法同时最大化。一种常见做法：先对一个子集做完全重叠以测量一致性，待你确信任务可靠后，再对其余条目各标注一次。

经验法则

  • 客观任务（类别清晰、一致性高）：大多数条目用 1 位标注者，并在 5–10% 的样本上做 2–3 倍重叠以监控质量。
  • 中等主观任务：每个条目 3 位标注者，通过多数投票或 MACE 来裁定。
  • 高度主观任务（冒犯性、情绪、偏好）：每个条目 5 位以上标注者，并考虑保留完整的标签分布，而不是将其压缩为单一答案。

更多的标注者会降低某一条目聚合标签的方差，但收益递减——从 1 增至 3 的帮助，远大于从 7 增至 9。

在 Potato 中设置重叠

Potato 的任务分配控制每个条目被多少位标注者看到，以及条目如何分配。

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

别忘了质量检查

如果部分标注者不可靠，单靠增加人数也无济于事。把重叠与黄金标准和注意力检查结合起来，这样你就能在聚合之前对低质量的工作加权或剔除。

延伸阅读