ゴールドラベルなしの品質管理

アノテーションの品質を確かめる標準的なやり方は、答えの分かっているアイテムを仕込んで、誰が間違えるかを見ることです。これは機能しますが、作るのに手間がかかり、仕込もうと思いついたケースしかテストできず、経験のあるアノテーターは仕込みを見抜けるようになります。ゴールドアイテムをまったく使わずに品質のシグナルを得る手法が2つあります。他の人が何と答えるかをアノテーターに予測させるピア予測によるスコアリングと、小さな編集を加えてもラベルが保たれるかを問う反実仮想プロービングです。 Potatoはその両方を、Truth SerumとBoundary Labとして搭載しています。

ゴールドスタンダードと注意力チェックは、「アノテーターがちゃんと注意を払っているかをどう確かめるか」に対する定番の答えで、それだけの働きはします。ただ、無視できないコストが3つあります。

まず、自分で作らなければなりません。つまり、すでに理解しているアイテムにラベルを付ける作業に専門家の時間を使うということです。次に、あらかじめ想定した失敗パターンしかカバーできません。そして長く続くタスクでは、アノテーターはいずれそれに気づきます。使い回されたゴールドアイテムは、もう何も測っていません。

以下の2つの手法は、この3つをどれも回避します。しかもどちらもLLMを必要としません。

ピア予測：他の人が何と答えるかを尋ねる

アノテーターがラベルを選んだあと、Truth Serumはもう1つだけ質問します。

あなたは Sarcastic を選びました。他のアノテーターのうち何パーセントが、あなたと同じラベルを選ぶと思いますか？

スライダー1つ、クリック1回です。この追加の数値1つが、驚くほど多くの仕事をします。

Truth Serumの予測カード

なぜこの予測が情報を持つのか

この手法は意外に多い（surprisingly popular）という原理に基づいています（Prelec, Seung & McCoy 2017、Nature。PrelecのBayesian truth serum、2004年を発展させたものです）。主張はこうです。真値の最良の推定は、最も多くの人が選んだ答えではなく、人々が予測したよりも多く選ばれた答えである、と。

理屈はこうです。正しい少数意見を持つ人は、たいてい自分が少数派だと分かっています。なぜ多くの人が違う答えを出すのかが見えているので、予測を尋ねればそう答えます。一方、よくある思い込みを持っている人は、みんな自分と同じ考えだろうと思いがちです。だからある答えが自分の予測得票率を上回ったとき、その差は、それを選んだ人が周りの知らない何かを知っている証拠になります。

多数決が最も派手に失敗するのは、まさに自信を持った多数派が誤っていて事情を知る少数派が正しいときです。意外に多いというスコアリングは、その場面のために作られています。

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

私たちの知る限り、ピア予測によるスコアリングを搭載したアノテーションツールはPotatoが初めてです。

そこから得られるもの

3つあり、どれも答えの用意を必要としません。

「多数派が誤っていそうなところ」のキュー。 意外に多いラベルが多数派ラベルと食い違うアイテムがすべて並びます。専門家の目を向ける価値があるのはここで、たいていは心配していたよりずっと少ない件数です。

アノテーターごとのキャリブレーションスコア。 各人が予測した一致率と、実際に得られた一致率のずれです。他の人の90%が自分に同意すると予測し続けて、実際には毎回55%しか得られていない人は、自分についての認識について何かを教えてくれています。それを、何も仕込まずに知ることができました。

SPアラインメント。 各アノテーターのラベルが、意外に多いという判定とどれだけ一致するか。単に周りに合わせているのではなく、事情を知っていることの粗い代理指標になります。

引用する前に1つ注意があります。これは自分の回答についての予測を使う簡略版で、各アノテーターは全ラベルにわたる分布ではなく、自分が選んだラベルの得票率を予測します。そして min_annotators: 3 は下限であって推奨値ではありません。判定がノイズっぽくなくなるのは5件以上からです。

反実仮想プローブ：編集してもラベルが保たれるかを尋ねる

Truth Serumは多数派が誤ったアイテムを見つけます。Boundary Labが見つけるのは別のもので、コードブックが曖昧な箇所と、実はちゃんと読んでいないアノテーターです。

ラベルが確定した瞬間、Potatoはテキストに最小限の編集を加えたものを提示し、そのラベルがまだ成り立つかを尋ねます。

あなたは Polite と答えました。この編集を加えても、その判断は保たれますか？

Boundary Labのプローブ

回答はクリック1回です。しかしそう尋ねたことで、通常のアノテーションから、素のラベル出力では得られない3つのものが生まれます。

副産物としてのコントラストセット

回答済みのプローブはすべて、ラベル付きの*（オリジナル, 反実仮想）*ペアです。これはコントラストセットであり、モデルの頑健性を高めることが示されている反実仮想拡張データにあたります（Gardner et al. 2020、Evaluating Models' Local Decision Boundaries via Contrast Sets、Kaushik et al. 2020）。

コントラストセットの構築は普通、別立てで手間のかかる作業です。ここではもともとやっていたラベル付けから自然に出てきます。

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

sources のリストはフォールバックの連鎖です。精選した反実仮想をデータと一緒に配布しても、LLMで生成しても、否定の反転、強調語の入れ替え、丁寧さのマーカーといった語彙変換からルールベースの層に作らせてもかまいません。この最後の層があるので、Boundary LabはLLMをまったく設定しなくても動きますし、誰もAPIキーを設定していないときに壊れるのではなく段階的に縮退するのもそのおかげです。

見えない品質管理

一部のプローブは不変性プローブ、つまり意味を保つ言い換えです。「スライドを会議の前に送ってください」（"Send me the slides before the meeting"）が「会議の前に、スライドを送ってください」（"Before the meeting, send me the slides."）になります。

一貫したアノテーターは、ここで判断を変えることはありません。変えてしまう人は、注意して読んでいないか、そのラベルの意味について安定した考えを持っていないかのどちらかです。どちらにせよ知っておきたいことで、しかも偽のアイテムを1つも仕込まずに分かりました。このプローブは通常の作業と見分けがつきません。実際に通常の作業そのものだからです。

ダッシュボードは、不変性プローブのhold率が60%を下回るアノテーターにフラグを立てます。

境界の根拠

ラベルが実際に反転したとき、アノテーターは何が線を越えさせたのかを述べます。「please が命令口調を和らげている」といった具合です。この根拠が積み上がると、ガイドラインの記述が足りていない箇所がそのまま地図になり、それがより良いガイドラインの入力になります。

ダッシュボードはラベル別の境界感度も示します。各ラベルを狙った最小編集のうち、実際に反転した割合です。反転率90%のラベルは紙一重のところにあり、定義を明確にする必要がありそうです。10%なら頑健です。

どちらを使うべきか

答える問いが違い、そして併用できます。

心配しているのが*「難しいケースでコンセンサスのラベルが誤っているかもしれない」ならTruth Serumから、「コードブックの精度が足りていない気がするし、全員がちゃんと読んでいるかも怪しい」*ならBoundary Labから始めてください。

どちらも心理測定の代わりにはなりません。各ラベルをどれだけ信頼すべきか、どのアノテーターを重く見るべきかを教えてくれるのはそちらです。3つを合わせると、品質が抜き取り検査ではなく継続的に測られ、しかもその測定のどれもが自前で用意した答えに依存しない研究になります。

参考資料

• Truth SerumとBoundary Lab — 設定の全体
• エラーバーつきのラベル — IRTの事後確率と、コードブックのバグ検出
• ゴールドスタンダードと注意力チェック — 古典的なやり方と、それがいまも正解である場面
• 品質管理
• 効果的なアノテーションガイドラインの書き方