裁定と不一致の扱い
アノテーターの意見が割れたときにどうするか。裁定のワークフロー、多数決による集約、そして MACE のようにアノテーターを能力で重み付けする統計モデルを解説します。
不一致は当たり前であり、情報でもあります。それを解消するとは、複数のアノテーターのラベルを 1 つの信頼できるラベルにまとめることであり、専門家のレビュー、集約、あるいはアノテーターを信頼度で重み付けする統計モデルによって行います。 早すぎる段階で単一の答えを強いると、どの項目が本当に難しいのかというシグナルを捨ててしまいます。
解消の 3 つの方法
-
多数決。 単純で透明です。最も多いラベルを採用します。アノテーターの水準がほぼ同等でタスクが明確なときはうまく機能しますが、不注意なアノテーターと丁寧なアノテーターを同じように扱ってしまいます。
-
専門家による裁定。 不一致のあった項目を専門家に回し、最終判断を下してもらいます。最も正確で、最もコストがかかります。重要で、かつ集約が当てにならない項目に使ってください。
-
統計的集約。 MACE（Multi-Annotator Competence Estimation）のようなモデルは、各アノテーターの一致パターンからその信頼度を推定し、重み付けされた「最良の推測」ラベルと、アノテーターごとの能力スコアを出力します。これにより、すべての項目を手作業で確認することなく、いいかげんな回答者の重みを自動的に下げられます。背景にあるクラウドソーシングのラベル向け潜在変数モデルの考え方を参照してください。
実践的なワークフロー
- 重複したアノテーションを集める（1 項目につき複数人）。
- 多数決または MACE で集約してドラフトのラベルを得て、一致度の低い項目に印を付ける。
- 印を付けた項目だけを専門家の裁定に回す。
- そこで学んだことをガイドラインに反映する。
Potato は、レビュアーがすべてのアノテーターのラベルを並べて確認し、解消後の答えを記録する裁定ワークフローに対応しています。
不一致そのものがデータであるとき
ユーモア、攻撃性、感情といった主観的なタスクでは、繰り返し現れる不一致は誤りではなく、人と人との本当の違いを反映していることがあります。そうした場合は、単一の答えに丸めてしまうのではなく、ラベルの分布全体（ソフトラベルやパースペクティビストなアノテーションと呼ばれることもあります）を保持することを検討してください。Potato は合意を強いるのではなく、分布を記録することに対応しています。