Qualitätskontrolle ohne Gold-Labels

Der übliche Weg, Annotationsqualität zu prüfen, führt über eingeschleuste Elemente, deren Antwort man bereits kennt, und über die Frage, wer sie falsch beantwortet. Das funktioniert, ist aber teuer im Aufbau, prüft nur die Fälle, an die jemand gedacht hat, und erfahrene Annotatoren lernen mit der Zeit, die eingeschleusten Elemente zu erkennen. Zwei Techniken liefern ein Qualitätssignal ganz ohne Gold-Elemente: die Peer-Prediction-Bewertung, bei der Annotatoren vorhersagen, was die anderen sagen werden, und die kontrafaktische Sondierung, die fragt, ob ein Label eine kleine Änderung übersteht. Potato liefert beides mit, als Truth Serum und Boundary Lab.

Gold-Standards und Aufmerksamkeitschecks sind die Standardantwort auf die Frage „Woher weiß ich, ob meine Annotatoren aufpassen?", und sie verdienen ihren Platz. Sie kosten aber an drei Stellen wirklich etwas.

Sie müssen erst gebaut werden, und das heißt Expertenzeit für Elemente, die man ohnehin schon versteht. Sie decken nur die Fehlermodi ab, mit denen jemand gerechnet hat. Und bei jeder länger laufenden Aufgabe erkennen die Annotatoren sie irgendwann. Ein Gold-Element, das wiederverwendet wird, ist ein Gold-Element, das nichts mehr misst.

Beide Techniken unten umgehen alle drei Kosten, und keine von beiden braucht ein LLM.

Peer Prediction: fragen, was die anderen sagen werden

Nachdem ein Annotator ein Label gewählt hat, stellt Truth Serum noch eine Frage:

Du hast Sarcastic gewählt. Welcher Prozentsatz der anderen Annotatoren wird dasselbe Label wählen wie du?

Ein Schieberegler, ein Klick. Diese eine zusätzliche Zahl leistet überraschend viel.

Die Vorhersagekarte von Truth Serum

Warum die Vorhersage informativ ist

Die Methode ist das Prinzip der überraschend beliebten Antwort (Prelec, Seung & McCoy 2017, Nature; aufbauend auf Prelecs Bayesian truth serum, 2004). Die Behauptung lautet: Die beste Schätzung der Wahrheit ist nicht die beliebteste Antwort, sondern die Antwort, die beliebter ausfällt, als die Leute vorhergesagt haben.

Der Gedanke dahinter geht so. Wer eine richtige Minderheitsmeinung vertritt, weiß meistens, dass er in der Minderheit ist. Er sieht, warum die meisten anders antworten würden, und sagt das auch, wenn man ihn um eine Vorhersage bittet. Wer dagegen einem verbreiteten Irrtum aufsitzt, nimmt eher an, dass alle seiner Meinung sind. Übertrifft eine Antwort ihre eigene vorhergesagte Beliebtheit, dann ist dieser Abstand ein Hinweis darauf, dass die Leute, die sie gewählt haben, etwas wissen, was die Menge nicht weiß.

Die Mehrheitsentscheidung versagt am deutlichsten genau dort, wo eine selbstsichere Menge falschliegt und eine informierte Minderheit recht hat. Für diesen Fall ist die Bewertung nach der überraschend beliebten Antwort gebaut.

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

Soweit wir wissen, ist Potato das erste Annotationswerkzeug mit Peer-Prediction-Bewertung.

Was dabei herauskommt

Drei Dinge, und keines davon brauchte einen Lösungsschlüssel.

Eine Warteschlange „Wo die Menge wahrscheinlich falschliegt". Jedes Element, dessen überraschend beliebtes Label vom Mehrheitslabel abweicht. Diese Elemente lohnen die Aufmerksamkeit eines Experten, und es sind meist deutlich weniger, als man befürchtet hat.

Kalibrierungswerte je Annotator. Wie weit die vorhergesagte Zustimmung einer Person von der Zustimmung abweicht, die sie tatsächlich bekommen hat. Wer beständig vorhersagt, dass 90 % der anderen zustimmen werden, und beständig 55 % bekommt, sagt damit etwas über seine Selbsteinschätzung. Und das ganz ohne ein eingeschleustes Element.

SP-Übereinstimmung. Wie oft das Label eines Annotators mit dem überraschend beliebten Urteil zusammenfällt, was ein grobes Indiz dafür ist, informiert zu sein statt bloß gefällig.

Ein Hinweis, bevor das irgendwo zitiert wird: Dies ist die vereinfachte Variante mit Vorhersage zur eigenen Antwort, bei der jeder Annotator die Beliebtheit des von ihm gewählten Labels vorhersagt und nicht eine vollständige Verteilung über alle Labels. Und min_annotators: 3 ist eine Untergrenze, keine Empfehlung. Ab fünf hören die Urteile auf zu rauschen.

Kontrafaktische Sonden: fragen, ob das Label eine Änderung übersteht

Truth Serum findet Elemente, bei denen die Menge danebenlag. Boundary Lab findet etwas anderes: die Stellen, an denen das Codebuch mehrdeutig ist, und die Annotatoren, die nicht wirklich lesen.

Sobald ein Label festgelegt ist, zeigt Potato eine minimale Änderung des Textes und fragt, ob das Label weiterhin gilt.

Du hast Polite gewählt. Würde das diese Änderung überstehen?

Eine Sonde in Boundary Lab

Die Antwort kostet einen Klick. Aber weil gefragt wurde, liefert gewöhnliche Annotation jetzt drei Dinge, die ein reiner Label-Export nicht hergibt.

Kontrastmengen als Nebenprodukt

Jede beantwortete Sonde ist ein gelabeltes Paar aus (Original, kontrafaktischer Variante). Das ist eine Kontrastmenge: kontrafaktisch angereicherte Daten der Art, die nachweislich die Robustheit von Modellen verbessert (Gardner et al. 2020, Evaluating Models' Local Decision Boundaries via Contrast Sets; Kaushik et al. 2020).

Eine Kontrastmenge aufzubauen ist sonst ein eigener und teurer Arbeitsschritt. Hier fällt sie bei der Arbeit ab, die ohnehin lief.

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

Die Liste sources ist eine Rückfallkette. Kuratierte kontrafaktische Varianten lassen sich zusammen mit den eigenen Daten ausliefern oder per LLM erzeugen, und die regelbasierte Stufe gewinnt sie aus lexikalischen Transformationen wie umgeschalteten Negationen, getauschten Intensivierern und Höflichkeitsmarkern. Wegen dieser letzten Stufe läuft Boundary Lab ganz ohne konfiguriertes LLM, und deshalb degradiert die Funktion sanft, statt kaputtzugehen, wenn niemand einen API-Schlüssel gesetzt hat.

Unsichtbare Qualitätskontrolle

Manche Sonden sind Invarianz-Sonden: bedeutungserhaltende Paraphrasen. Aus „Schick mir die Folien vor dem Meeting" („Send me the slides before the meeting") wird „Vor dem Meeting schick mir die Folien" („Before the meeting, send me the slides").

Ein konsistenter Annotator kippt bei denen nie. Wer es doch tut, liest entweder nicht sorgfältig oder hat keine stabile Vorstellung davon, was das Label bedeutet. Beides will man wissen, und man hat es erfahren, ohne ein einziges gefälschtes Element einzuschleusen. Die Sonde ist von der gewöhnlichen Arbeit nicht zu unterscheiden, weil sie gewöhnliche Arbeit ist.

Das Dashboard markiert Annotatoren mit einer Halterate unter 60 % bei Invarianz-Sonden.

Grenzbegründungen

Kippt ein Label doch, sagt der Annotator, was die Grenze überschritten hat: „please entschärft die Aufforderung". Diese Begründungen summieren sich zu einer Karte davon, wo genau die Richtlinie zu unbestimmt ist, und die ist der Ausgangspunkt für eine bessere Richtlinie.

Das Dashboard meldet außerdem die Grenzsensitivität pro Label: von den minimalen Änderungen, die auf ein Label zielen, der Anteil, der es tatsächlich gekippt hat. Ein Label mit 90 % Kipprate steht auf Messers Schneide und braucht wahrscheinlich eine klarere Definition. Eines bei 10 % ist robust.

Welche der beiden nehmen?

Sie beantworten verschiedene Fragen, und sie lassen sich kombinieren.

Wer sich sorgt, „das Konsenslabel könnte bei den schwierigen Fällen falsch sein", fängt mit Truth Serum an. Wer sich sorgt, „mein Codebuch ist wohl nicht präzise genug, und ich bin nicht sicher, ob alle wirklich lesen", fängt mit Boundary Lab an.

Keines von beiden ersetzt die Psychometrie, die sagt, wie sicher man bei jedem Label sein kann und welche Annotatoren wie stark zählen sollten. Zusammen ergeben die drei eine Studie, in der Qualität laufend gemessen statt stichprobenhaft geprüft wird und in der keine dieser Messungen an einem Lösungsschlüssel hängt, den erst jemand bauen musste.

Weiterführende Informationen

• Truth Serum und Boundary Lab — vollständige Konfiguration
• Labels mit Fehlerbalken — IRT-Posteriors und der Codebuch-Problem-Detektor
• Gold-Standards und Aufmerksamkeitschecks — der klassische Ansatz, und wann er weiterhin der richtige ist
• Qualitätskontrolle
• Annotationsrichtlinien schreiben