Skip to content

黄金标准与注意力检查

如何用黄金标准条目和注意力检查揪出低质量标注者并保持项目校准，附 Potato 配置。

黄金标准和注意力检查都是你已经知道正确答案的条目。把它们混进数据流，就能衡量每位标注者的准确率，并揪出那些敷衍了事、理解有误或试图钻空子的人。 它们是标注质量控制的第一道防线，在众包中尤其如此。

黄金标准

黄金标准条目是有专家核验过答案的条目。把它们零散地掺进去，再把每位标注者的回答与已知答案对比，就能得到每个人的准确率分数。黄金条目可以是隐式的（仅用于评分），也可以即时给出反馈（用于培训）。

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

用你的标注指南所敲定的那些无歧义案例来构建黄金集。不要把真正存在歧义的条目当作黄金标准，否则会因为标注者做出了合理选择反而惩罚了优秀标注者。

注意力检查

注意力检查是一种答案明显、且嵌在指令里的条目（"本条目请选择'不同意'"）。它能揪出没在认真读题的标注者。Potato 还能标记可疑的作答时间，即那些快到不可能读完就提交的回答。

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

利用这些信号

  • 设定一个及格准确率阈值。 低于阈值的标注者可以重新培训或剔除。
  • 与培训阶段结合使用。 要求标注者在黄金条目上达到及格分数后才能开始正式工作。
  • 不要检查过度。 检查太多会惹恼优秀标注者并抬高成本。保持一个小而稳定的比例就够了。

要估计标注者能力，并用统计方法从分歧中推断标签，参见裁定与分歧处理以及 Potato 的 MACE 支持。

延伸阅读