アノテーターは何人必要か？
アノテーションプロジェクトの人数と重複をどう決めるか。一致度・コスト・統計的な信頼性のバランスを取る方法を、Potato の重複設定とともに解説します。
唯一の正解はありませんが、判断は 3 つのレバーに集約されます。各項目を何人がラベル付けするか（重複）、タスクがどれだけ明確か、そして予算です。明確なタスクは重複が少なくて済み、主観的なタスクはより多くを要します。 本ガイドでは経験則と、それを実装するための設定を示します。
重複とカバレッジ
アノテーションの予算は、つねに 2 つの目標のあいだで配分されます。
- カバレッジ：より多くの異なる項目に（各 1 回ずつ）ラベルを付ける。
- 重複：同じ項目を複数回ラベル付けし、一致度の推定値と集約の手段を得る。
両方を同時に最大化することはできません。よくあるやり方は、まずサブセットを完全に重複させて一致度を測り、タスクを信頼できると判断したら残りを 1 回ずつアノテーションする方法です。
経験則
- 客観的なタスク（カテゴリが明確で一致度が高い）：ほとんどの項目はアノテーター 1 人で、品質を監視するために 5〜10% のサンプルに 2〜3 倍の重複を設ける。
- やや主観的なタスク：項目ごとにアノテーター 3 人とし、多数決または MACE で裁定する。
- きわめて主観的なタスク（攻撃性・感情・選好）：項目ごとにアノテーター 5 人以上とし、単一の答えに集約せずラベル分布全体を保持することを検討する。
アノテーターを増やすと項目の集約ラベルの分散は下がりますが、収穫は逓減します。1 人から 3 人への増加は、7 人から 9 人よりはるかに効果的です。
Potato で重複を設定する
Potato のタスク割り当ては、各項目を何人のアノテーターが見るか、項目をどう配分するかを制御します。
yaml
automatic_assignment:
on: true
instance_per_annotator: 50 # how many items each person labels
labels_per_instance: 3 # how many annotators label each item (overlap)品質チェックを忘れずに
一部のアノテーターが信頼できなければ、人数を増やしても役に立ちません。重複をゴールドスタンダードと注意力チェックと組み合わせ、集約する前に低品質な作業に重みを付けたり除外したりできるようにしましょう。