Skip to content

撰写有效的标注指南

如何编写能产出一致标签的标注手册，涵盖清晰的定义、实战示例、边界情形规则，以及"试标—修订"循环。

标注指南（即"标注手册"）是标注者所遵循的规则手册。决定标签质量的最大因素，是指南能否让两个认真的人选出相同的标签，而不是指南有多详尽。 一份简短、精准、附有优质示例的手册，胜过一份冗长含糊的手册。

这一主题与社会科学中的内容分析相通——标注手册的设计在该领域已被研究了数十年，它最终决定了你的评分者间信度。

一份好手册应包含什么

  • 每个标签一句话定义，外加一句说明该标签不是什么。否定式定义能预防最常见的分歧。
  • 实战示例，包括边界情形。来自你自己数据的真实条目胜过凭空编造的例子。
  • 决胜规则。 当两个标签都可能适用时，说明哪个优先。一致性的成败正是在这里决出。
  • "拿不准时"的默认选项和一条退路（"无法判断"选项），这样标注者就不会默默地瞎猜。

把规则放在标注者看得到的地方

Potato 可以把说明和每个标签的提示直接显示在控件旁边，让指南出现在做决策的当下，而不是躺在另一份文档里：

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]
    tooltips:
      Toxic: "Insults, threats, identity attacks, or harassment."
      Not toxic: "Disagreement or strong opinion without an attack."
      Can't tell: "Not enough context to judge."

"Can't tell" 选项很重要：它把真正的歧义与被迫的猜测区分开来，从而让你的一致性指标保持真实。

先试标，再修订

指南不可能一次就写对。先做一次小规模试标，逐一查看标注者出现分歧的每个条目，判断究竟是指南不清楚，还是条目本身确实模棱两可。修订指南后再次试标。通常两到三轮就能让标签集趋于稳定。

Potato 的黄金标准与注意力检查让你能把已定论的案例编码为检查项，使日后的标注者保持校准。

延伸阅读