Skip to content

ゴールドスタンダードと注意力チェック

ゴールドスタンダード項目と注意力チェックを使って低品質なアノテーターを見つけ、プロジェクトの基準を保つ方法を Potato の設定とともに解説します。

ゴールドスタンダードと注意力チェックは、正解があらかじめ分かっている項目です。これをデータの流れに混ぜ込むことで、各アノテーターの正確さを測り、急いでいる人、混乱している人、タスクをごまかそうとする人を見つけられます。 これらはアノテーションの品質管理の最前線であり、特にクラウドソーシングで効果を発揮します。

ゴールドスタンダード

ゴールドスタンダード項目は、専門家が検証した答えを持つ項目です。これを散りばめ、各アノテーターの回答を既知の答えと比べることで、一人ひとりの正確さのスコアが得られます。ゴールド項目は、サイレント（採点だけに使う）にも、即時フィードバックを返す（トレーニングに使う）にもできます。

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

ゴールドのセットは、ガイドラインで決着した曖昧さのない事例から作りましょう。本当に曖昧な項目をゴールドに使ってはいけません。妥当な選択をした優秀なアノテーターを罰してしまいます。

注意力チェック

注意力チェックは、答えが明白で指示文に埋め込まれている項目です（「この項目では『不同意』を選んでください」）。読んでいないアノテーターを捕まえられます。Potato は、人間が読めるはずのない速さで送信された回答など、疑わしい所要時間にもフラグを立てられます。

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

このシグナルの使い方

  • 合格となる正確さのしきい値を設けます。 それを下回るアノテーターは再トレーニングするか除外できます。
  • トレーニングフェーズと組み合わせます。 本番作業を始める前に、ゴールド項目で合格点を取ることを必須にします。
  • チェックをやりすぎないこと。 チェックが多すぎると優秀なアノテーターをいら立たせ、コストを押し上げます。小さく一定の割合で十分です。

アノテーターの能力を推定し、不一致から統計的にラベルを推論する方法については、裁定と不一致の扱いと Potato の MACE サポートを参照してください。

さらに読む