Skip to content

黃金標準與注意力檢查

如何用黃金標準條目和注意力檢查揪出低品質標註者並保持項目校準，附 Potato 配置。

黃金標準和注意力檢查都是你已經知道正確答案的條目。把它們混進資料流，就能衡量每位標註者的準確率，並揪出那些敷衍了事、理解有誤或試圖鑽空子的人。 它們是標註品質控制的第一道防線，在眾包中尤其如此。

黃金標準

黃金標準條目是有專家核驗過答案的條目。把它們零散地摻進去，再把每位標註者的回答與已知答案對比，就能得到每個人的準確率分數。黃金條目可以是隱式的（僅用於評分），也可以即時給出反饋（用於培訓）。

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

用你的標註指南所敲定的那些無歧義案例來構建黃金集。不要把真正存在歧義的條目當作黃金標準，否則會因為標註者做出了合理選擇反而懲罰了優秀標註者。

注意力檢查

注意力檢查是一種答案明顯、且嵌在指令裡的條目（"本條目請選擇'不同意'"）。它能揪出沒在認真讀題的標註者。Potato 還能標記可疑的作答時間，即那些快到不可能讀完就提交的回答。

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

利用這些訊號

  • 設定一個及格準確率閾值。 低於閾值的標註者可以重新培訓或剔除。
  • 與培訓階段結合使用。 要求標註者在黃金條目上達到及格分數後才能開始正式工作。
  • 不要檢查過度。 檢查太多會惹惱優秀標註者並抬高成本。保持一個小而穩定的比例就夠了。

要估計標註者能力，並用統計方法從分歧中推斷標籤，參見裁定與分歧處理以及 Potato 的 MACE 支援。

延伸閱讀