Übereinstimmung zwischen einem LLM-Judge und menschlichen Annotatoren messen
Einen LLM-as-a-Judge an menschlichen Labels prüfen: Judge-Mensch-Kappa mit Mensch-Mensch-Kappa vergleichen, Kalibrierung mit ECE und Brier-Score messen und auf Positionsbias testen.
Um zu entscheiden, ob Sie einem LLM-Judge trauen können, lassen Sie mindestens zwei Personen eine Stichprobe von Items labeln, ohne die Antworten des Judges zu sehen, und vergleichen dann die Übereinstimmung des Judges mit diesen Personen mit der Übereinstimmung der Personen untereinander. Ein Judge, dessen Cohens Kappa mit den Menschen nahe am Kappa der Menschen untereinander liegt, schneidet etwa so gut ab wie eine weitere annotierende Person. Einer, der deutlich darunter liegt, nicht.
Ein LLM-as-a-Judge ist ein Sprachmodell, das per Prompt Ausgaben bewertet, meist anhand einer Rubrik. Cohens Kappa misst die Übereinstimmung zwischen zwei Bewertenden, korrigiert um die zufällig zu erwartende Übereinstimmung. Ein Judge ist kalibriert, wenn seine Konfidenz dazu passt, wie oft er richtig liegt: Von den Urteilen, die er mit 80 % Konfidenz abgibt, sollten etwa 80 % stimmen.
Warum Genauigkeit gegenüber einer Person nicht reicht
Die übliche erste Prüfung ist die Genauigkeit. Man labelt selbst ein paar Hundert Items und zählt, wie oft der Judge übereinstimmt. Diese Zahl hat zwei Probleme. Sie behandelt die Labels einer Person als Wahrheit, samt deren Fehlern, und sie ist nicht um den Zufall korrigiert, sodass ein Judge, der jede Antwort „hilfreich“ nennt, auf einem Datensatz gut abschneidet, in dem die meisten Antworten hilfreich sind.
Kappa behebt das zweite Problem. Eine zweite menschliche annotierende Person behebt das erste, denn die Uneinigkeit zwischen zwei sorgfältigen Personen zeigt, wie viel die Aufgabe selbst hergibt, und mehr kann man von einem Judge nicht verlangen.
Den Judge mit der Übereinstimmung der Menschen untereinander vergleichen
Berichten Sie drei Arten von Paaren: Mensch mit Mensch, Judge mit Mensch und Judge mit Judge, wenn Sie mehrere Judges vergleichen. Stimmen zwei Personen mit κ = 0,62 überein, verhält sich ein Judge mit 0,60 gegenüber jeder von ihnen wie eine dritte annotierende Person, und 0,9 von ihm zu verlangen, verlangt mehr, als die Aufgabe hergibt. Ein Judge bei 0,35 stimmt nicht mit Menschen überein, wie gut seine rohe Genauigkeit auch aussehen mag.
Zheng et al. (2023) haben denselben Vergleich auf MT-Bench angestellt und fanden die Übereinstimmung von GPT-4 mit menschlichen Präferenzen vergleichbar mit der Übereinstimmung zwischen Menschen.
Bei mehr als zwei Menschen oder bei Items, denen einige Labels fehlen, berichten Sie zusätzlich zu den paarweisen Kappas Fleiss' Kappa oder Krippendorffs Alpha über alle Bewertenden. Inter-Annotator-Übereinstimmung erklärt behandelt die Wahl.
Die Menschen verblinden
Sehen Annotatoren die Antwort des Judges, orientieren sie sich daran, und ein Teil der gemessenen Übereinstimmung ist dann der Judge, der mit sich selbst übereinstimmt. Sammeln Sie die menschlichen Labels, ohne dass die Antworten des Judges auf dem Bildschirm stehen. Derselbe Effekt hebt die Übereinstimmung, wenn Annotatoren Vorannotationen eines Modells prüfen. Siehe Durchgewinkte Vorannotationen erkennen.
Neben den Urteilen auch die Konfidenz prüfen
Ein Judge kann mit Menschen übereinstimmen und trotzdem zu selbstsicher sein. Entscheidet seine Konfidenz, welche Items an einen Menschen gehen, lässt Überkonfidenz die falschen Items die Prüfung überspringen.
Eine Konfidenz, die das Modell über sich selbst angibt, ist generierter Text wie der Rest seiner Antwort. Stichproben liefern eine empirische: Befragen Sie den Judge k-mal pro Item bei einer Temperatur über null, nehmen Sie die häufigste Antwort als sein Urteil und den Anteil der Stichproben, die diese Antwort gaben, als seine Konfidenz. Bei Temperatur 0 sind die k Stichproben identisch und jede Konfidenz liegt bei 1,0.
Der Expected Calibration Error (ECE) gruppiert Urteile nach Konfidenz und vergleicht die Konfidenz jeder Gruppe mit ihrer Genauigkeit. Der Brier-Score ist die mittlere quadrierte Differenz zwischen Konfidenz und Ergebnis. Ein Reliabilitätsdiagramm trägt die Gruppen gegen die Diagonale auf, der ein perfekt kalibrierter Judge folgen würde.
Paarweise Judges auf Positionsbias testen
Ein Judge, der zwei Antworten vergleicht, bevorzugt womöglich die erste oder die zweite, unabhängig vom Inhalt. Zheng et al. haben diesen Positionsbias bei LLM-Judges dokumentiert. Führen Sie jedes Paar zweimal aus, mit vertauschter Reihenfolge. Ein Urteil, das mit der Reihenfolge kippt, wurde von der Position entschieden, und der Anteil der Paare, die konsistent bleiben, gehört neben die Übereinstimmung in den Bericht. Siehe Paarweiser Modellvergleich.
Geordnete Skalen
Sagt ein Judge auf einer Skala von 1 bis 5 eine 4, wo ein Mensch eine 5 sagt, hat er fast übereingestimmt. Einfaches Kappa wertet das genauso wie 1 gegen 5. Verwenden Sie gewichtetes Kappa oder Krippendorffs Alpha mit ordinaler oder intervallskalierter Metrik, und berichten Sie den mittleren absoluten Fehler dazu. Siehe Ratingskalen.
Wie viele Items gelabelt werden sollten
Ein auf 50 Items berechnetes Kappa hat ein breites Konfidenzintervall, so breit, dass zwei Judges verschieden aussehen können, obwohl der Unterschied Rauschen ist. Berichten Sie das Intervall mit dem Schätzwert und legen Sie die Größe der menschlichen Stichprobe fest, bevor Sie beginnen; Statistische Power für Annotationsstudien zeigt, wie. Wird die Stichprobe nach dem Label des Judges geschichtet, bleiben seltene Klassen darin enthalten.
Umsetzung in Potato
Die Judge-Kalibrierung in Potato führt jeden Judge k-mal pro Item aus und legt seine Labels in einem separaten Speicher ab, sodass Annotatoren sie nie sehen. Dann zieht sie eine zufällige oder geschichtete Stichprobe für das verblindete menschliche Labeln und schreibt einen Bericht.
annotation_schemes:
- annotation_type: radio
name: helpfulness
description: "Is this response helpful?"
labels: [helpful, unhelpful]
judge_calibration:
enabled: true
prompt: |
You are an impartial expert annotator. Classify the response as exactly
one of: helpful, unhelpful.
models:
- endpoint_type: ollama
model: llama3.1:8b
base_url: http://localhost:11434
temperature: 0.7
k_samples: 5
sampling:
strategy: stratified
sample_size: 200
seed: 42
human:
num_raters: 2
gold: majority
schemas: [helpfulness]Der Bericht gibt Genauigkeit, Precision, Recall und F1 für jedes Modell gegenüber dem menschlichen Referenzlabel an sowie Cohens κ, aufgeteilt in die Paare Mensch–Modell, Modell–Modell und Mensch–Mensch. Hinzu kommen Fleiss' κ und Krippendorffs α über alle Bewertenden, ECE mit Reliabilitätsklassen und Brier-Score sowie eine Konfusionsmatrix pro Modell. Für Likert-Schemata kommen der mittlere absolute Fehler und ordinales α dazu. Seit Version 2.9 zeigt die Bewertungskarte des Judges auch die Konsistenz bei vertauschter Position, und die generierten Labels lassen sich unter /judge_calibration/results lesen, bevor die menschliche Phase abgeschlossen ist.
Kalibrierung von LLM-as-Judge listet alle Optionen auf. Judge Alignment behandelt die Abstimmung der Rubrik eines einzelnen Judges an einem vorhandenen Referenzdatensatz.
Andere Werkzeuge
LangSmith, Langfuse und Galileo erlauben jeweils, einen Judge an menschlichen Korrekturen auszurichten. Langfuse berechnet Cohens κ zwischen einer menschlichen Bewertung und einer Judge-Bewertung, jeweils für zwei Reihen gleichzeitig. Die kostenpflichtigen Tarife von Label Studio zeigen, wo Annotatoren und LLMs übereinstimmen. Siehe Werkzeuge zur Evaluation von KI-Agenten im Vergleich.
Häufige Fragen
Was ist ein gutes Kappa zwischen einem LLM-Judge und Menschen?
Es gibt keinen festen Schwellenwert. Vergleichen Sie das Judge-Mensch-Kappa mit dem Kappa zwischen zwei Menschen auf denselben Items. Ein Judge nahe am Mensch-Mensch-Wert stimmt etwa so gut mit Menschen überein wie eine weitere annotierende Person. Die übliche Faustregel für κ und α, ab 0,8 verlässlich und von 0,67 bis 0,8 für vorläufige Schlüsse, beschreibt die Aufgabe als Ganzes, und eine schwierige Aufgabe begrenzt, was ein Judge erreichen kann.
Sollten Annotatoren die Antwort des LLM-Judges sehen?
Nicht, solange Sie Übereinstimmung messen. Annotatoren, die das Urteil des Judges sehen, orientieren sich tendenziell daran, was die scheinbare Übereinstimmung des Judges aufbläht. Zeigen Sie das Urteil erst, wenn die Kalibrierungsstichprobe gelabelt ist, wenn überhaupt.
Wie prüfe ich einen LLM-Judge auf Positionsbias?
Legen Sie jedes Paar zweimal vor, einmal in jeder Reihenfolge, und zählen Sie, wie oft sich das Urteil mit der Reihenfolge ändert. Berichten Sie den Anteil konsistenter Paare neben der Übereinstimmung, und verwerfen oder wiederholen Sie die Paare, bei denen das Urteil kippt.
Was ist der Expected Calibration Error bei einem LLM-Judge?
ECE misst die Lücke zwischen der Konfidenz eines Judges und seiner Genauigkeit. Urteile werden nach Konfidenz gruppiert, und ECE ist die mittlere Differenz zwischen der Konfidenz jeder Gruppe und dem Anteil ihrer Urteile, der mit dem menschlichen Label übereinstimmte, gewichtet nach Gruppengröße. Ein gut kalibrierter Judge hat einen ECE nahe null.