LLM ジャッジと人間のアノテーターの一致度を測る方法

LLM ジャッジを信頼してよいかを判断するには、ジャッジの回答を見せずに 2 人以上にサンプルへラベルを付けてもらい、ジャッジとその人たちの一致度を、人同士の一致度と比べます。人との Cohen の kappa が人同士の kappa に近いジャッジは、アノテーターがもう 1 人加わったのとほぼ同じ働きをしています。それを大きく下回るジャッジはそうではありません。

LLM-as-a-Judge は、出力を採点するようにプロンプトで指示された言語モデルで、多くの場合ルーブリックに沿って採点します。Cohen の kappa は、2 人の評価者の一致度を、偶然に期待される一致を補正して測る指標です。ジャッジがキャリブレーションされているとは、確信度と実際の正答率が一致していることを指します。確信度 80% で下した判定のうち、およそ 80% が正しいはずです。

1 人を基準にした正解率では足りない理由

最初によく行う確認は正解率です。数百件に自分でラベルを付け、ジャッジが何回一致したかを数えます。この数字には二つの問題があります。一つは、1 人のラベルを、その人の誤りも含めて正解として扱っていることです。もう一つは偶然の一致を補正していないことで、ほとんどの回答が役に立つデータセットでは、すべての回答を「役に立つ」と判定するジャッジでも高い値が出ます。

二つめの問題は kappa で解決できます。一つめの問題は、2 人目の人間のアノテーターで解決できます。注意深い 2 人の間の食い違いから、課題そのものがどこまでの一致を許すかがわかり、ジャッジにそれ以上を求めることはできないからです。

ジャッジを人同士の一致度と比べる

3 種類のペアを報告してください。人と人、ジャッジと人、そして複数のジャッジを比べるならジャッジとジャッジです。2 人の一致度が κ = 0.62 なら、それぞれの人と 0.60 で一致するジャッジは 3 人目のアノテーターのようにふるまっており、0.9 を求めるのは課題が許す以上を求めることになります。0.35 のジャッジは、生の正解率がどれほど良く見えても、人と一致しているとは言えません。

Zheng ら (2023) は MT-Bench で同じ比較を行い、GPT-4 と人の選好との一致度が、人同士の一致度と同程度であることを示しました。

人が 3 人以上いる場合や、一部のラベルが欠けた項目がある場合は、ペアごとの kappa に加えて、全評価者についての Fleiss の kappa か Krippendorff の alpha も報告してください。どれを選ぶかはアノテーター間一致度の解説で扱っています。

人には盲検で付けてもらう

アノテーターがジャッジの回答を見られると、それに引きずられます。すると、測った一致度の一部は、ジャッジが自分自身と一致しているだけのものになります。人のラベルは、ジャッジの回答を画面に出さずに集めてください。アノテーターがモデルの事前ラベルを見直すときにも、同じ効果で一致度が上がります。素通しで受け入れた事前ラベルを見つけるを参照してください。

判定だけでなく確信度も確かめる

ジャッジは人と一致していても、自信過剰なことがあります。どの項目を人に回すかをジャッジの確信度で決めていると、自信過剰のせいで、回すべき項目がレビューをすり抜けてしまいます。

モデルが自分について述べる確信度は、回答の他の部分と同じく生成されたテキストにすぎません。サンプリングを使えば経験的な確信度が得られます。温度を 0 より大きくして項目ごとにジャッジに k 回問い合わせ、最も多かった回答を判定とし、その回答を返したサンプルの割合を確信度とします。温度が 0 だと k 個のサンプルがすべて同じになり、確信度は常に 1.0 になります。

期待キャリブレーション誤差（ECE）は、判定を確信度ごとのグループに分け、各グループの確信度と正解率を比べます。Brier スコアは、確信度と結果の差の二乗の平均です。信頼性図は、完全にキャリブレーションされたジャッジがたどる対角線に対して、各グループをプロットしたものです。

ペア比較のジャッジの位置バイアスを確かめる

二つの回答を比べるジャッジは、内容にかかわらず、先に出た方、あるいは後に出た方を好むことがあります。Zheng らは、LLM ジャッジのこの位置バイアスを記録しています。各ペアを、順序を入れ替えて 2 回実行してください。順序を入れ替えると覆る判定は、位置で決まっていたことになります。一貫したままのペアの割合は、一致度と並べて報告すべきです。モデルのペア比較を参照してください。

順序のある尺度

1〜5 の評価で、人が 5 を付けたところにジャッジが 4 を付けたなら、ほぼ一致しています。単純な kappa は、これを 1 と 5 の食い違いと同じに数えます。重み付き kappa、または順序尺度や間隔尺度の距離を使う Krippendorff の alpha を使い、平均絶対誤差も併せて報告してください。評価尺度を参照してください。

ラベルを付ける項目数

50 項目で計算した kappa の信頼区間は広く、実際の差がノイズにすぎなくても 2 つのジャッジが違って見えるほどです。推定値とともに区間を報告し、人のサンプルの大きさは始める前に決めておいてください。方法はアノテーション研究の統計的検出力で説明しています。ジャッジのラベルで層別してサンプルを取ると、まれなクラスもサンプルに残ります。

Potato での進め方

Potato のジャッジキャリブレーションは、各ジャッジを項目ごとに k 回実行し、そのラベルを別の保存領域に置くので、アノテーターの目に触れることはありません。そのうえで、盲検の人手ラベル付け用にランダムまたは層別のサンプルを取り、レポートを書き出します。

annotation_schemes:
  - annotation_type: radio
    name: helpfulness
    description: "Is this response helpful?"
    labels: [helpful, unhelpful]
 
judge_calibration:
  enabled: true
  prompt: |
    You are an impartial expert annotator. Classify the response as exactly
    one of: helpful, unhelpful.
  models:
    - endpoint_type: ollama
      model: llama3.1:8b
      base_url: http://localhost:11434
      temperature: 0.7
  k_samples: 5
  sampling:
    strategy: stratified
    sample_size: 200
    seed: 42
  human:
    num_raters: 2
    gold: majority
  schemas: [helpfulness]

レポートには、人のゴールドラベルに対する各モデルの正解率、適合率、再現率、F1 と、人–モデル、モデル–モデル、人–人のペアに分けた Cohen の κ が含まれます。さらに、全評価者についての Fleiss の κ と Krippendorff の α、信頼性ビン付きの ECE と Brier スコア、モデルごとの混同行列も含まれます。Likert スキームでは、平均絶対誤差と順序尺度の α が加わります。バージョン 2.9 からは、ジャッジの評価カードに位置を入れ替えたときの一貫性も表示され、人手のフェーズが終わる前でも、生成されたラベルを /judge_calibration/results で読めます。

すべてのオプションは LLM-as-Judge のキャリブレーションに一覧があります。1 つのジャッジのルーブリックを既存のゴールドセットに合わせて調整する方法は、ジャッジアラインメントで扱っています。

その他のツール

LangSmith、Langfuse、Galileo は、いずれも人の修正に合わせてジャッジを調整できます。Langfuse は、人のスコアとジャッジのスコアの間の Cohen の κ を、一度に 2 系列ずつ計算します。Label Studio の有料プランでは、アノテーターと LLM がどこで一致しているかを確認できます。AI エージェント評価ツールの比較を参照してください。

よくある質問

LLM ジャッジと人の kappa はどのくらいなら良いと言えますか？

決まったしきい値はありません。同じ項目での 2 人の人同士の kappa と、ジャッジと人の kappa を比べてください。人同士の値に近いジャッジは、もう 1 人のアノテーターと同じくらい人と一致しています。κ と α のよく使われる目安（0.8 以上なら信頼でき、0.67〜0.8 なら暫定的な結論に使える）は課題全体についての目安であり、難しい課題ではどのジャッジも到達できる値に上限があります。

アノテーターに LLM ジャッジの回答を見せるべきですか？

一致度を測っている間は見せないでください。ジャッジの判定を見たアノテーターはそれに引きずられやすく、ジャッジの見かけの一致度が上がってしまいます。見せるとしても、キャリブレーション用のサンプルにラベルを付け終えてからにしてください。

LLM ジャッジの位置バイアスはどう確かめますか？

各ペアを両方の順序で 1 回ずつ、計 2 回提示し、順序によって判定が何回変わるかを数えます。一貫していたペアの割合を一致度と並べて報告し、判定が覆ったペアは除外するか、やり直してください。

LLM ジャッジの期待キャリブレーション誤差とは何ですか？

ECE は、ジャッジの確信度と正解率のずれを測る指標です。判定を確信度ごとのグループに分け、各グループの確信度と、そのうち人のラベルと一致した判定の割合との差を、グループの大きさで重み付けして平均したものが ECE です。キャリブレーションのよいジャッジの ECE は 0 に近くなります。

参考資料

• LLM-as-Judge のキャリブレーション
• その LLM ジャッジは信頼できるか？
• ルーブリックに基づく LLM 評価
• アノテーター間一致度の解説
• AI エージェント評価ツールの比較