Skip to content

你需要多少位標註者？

如何確定標註項目的標註者人數與重疊度，在一致性、成本與統計置信度之間取得平衡，並附 Potato 的重疊設定。

並不存在唯一正確的數字，但這一決定可歸結為三個槓桿：每個條目由多少人標註（重疊度）、任務有多清晰，以及你的預算。清晰的任務只需很少的重疊；主觀的任務則需要更多。 本指南給出經驗法則，以及實現它們的設定。

重疊 vs. 覆蓋

每一份標註預算都要在兩個目標之間分配：

  • 覆蓋：標註更多不同的條目（每個標註一次）。
  • 重疊：對同一批條目多次標註，從而獲得一致性估計以及聚合的能力。

二者無法同時最大化。一種常見做法：先對一個子集做完全重疊以測量一致性，待你確信任務可靠後，再對其餘條目各標註一次。

經驗法則

  • 客觀任務（類別清晰、一致性高）：大多數條目用 1 位標註者，並在 5–10% 的樣本上做 2–3 倍重疊以監控品質。
  • 中等主觀任務：每個條目 3 位標註者，通過多數投票或 MACE 來裁定。
  • 高度主觀任務（冒犯性、情緒、偏好）：每個條目 5 位以上標註者，並考慮保留完整的標籤分佈，而不是將其壓縮為單一答案。

更多的標註者會降低某一條目聚合標籤的方差，但收益遞減——從 1 增至 3 的幫助，遠大於從 7 增至 9。

在 Potato 中設定重疊

Potato 的任務分配控制每個條目被多少位標註者看到，以及條目如何分配。

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

別忘了品質檢查

如果部分標註者不可靠，單靠增加人數也無濟於事。把重疊與黃金標準和注意力檢查結合起來，這樣你就能在聚合之前對低品質的工作加權或剔除。

延伸閱讀