Skip to content

Menschliche Evaluation generierter Texte

Wie du eine belastbare menschliche Evaluation von LLM- und NLG-Ausgaben durchführst: Kriterien präzise definieren, absolute gegen paarweise Bewertungen abwägen, die Studie ausreichend groß anlegen und genug berichten, um sie wiederholbar zu machen.

Automatische Maße wie BLEU und ROUGE korrelieren nur schwach damit, wie gut ein generierter Text wirklich ist, deshalb bleibt die menschliche Evaluation der Standard, und meistens wird sie schlecht gemacht. Drei Dinge unterscheiden eine belastbare menschliche Evaluation von einer dekorativen: jedes Kriterium präzise definieren, relative Urteile absoluten Werten vorziehen und so viel Detail berichten, dass jemand anderes die Studie wiederholen könnte. Dieser Leitfaden behandelt das Vorgehen, nicht die Formulierung der Skala.

Warum menschliche Evaluation, und warum ihr schwer zu trauen ist

Bei offener Generierung, also Zusammenfassungen, Dialog, Übersetzung, LLM-Antworten, vergleichen automatische Maße gegen Referenztexte und verfehlen das meiste, worauf es ankommt: Eine flüssige, korrekte Antwort, die anders formuliert ist als die Referenz, schneidet schlecht ab, eine flüssig formulierte Falschaussage dagegen gut. Das menschliche Urteil bleibt also die Referenzgröße. Der Haken ist, dass menschliche Evaluation selbst ein Messinstrument ist, und ein schlecht gebautes liefert Zahlen, die genauso verrauscht sind wie die Maße, die es ersetzen sollte.

Das Ausmaß des Problems ist dokumentiert. Howcroft et al. (2020) sichteten zwanzig Jahre NLG-Evaluationen und fanden ein Feld, das sich nicht einmal über die Bedeutung seiner eigenen Kriterien einig war: Begriffe wie Fluency, Adequacy und Naturalness wurden von Arbeit zu Arbeit unterschiedlich (oder gar nicht) definiert, was die Ergebnisse unvergleichbar macht. Ihre Konsequenz ist der Ausgangspunkt jeder ernsthaften Evaluation: Leg genau fest, was jedes Kriterium bedeutet, bevor du ein einziges Urteil erhebst.

Kriterien präzise definieren

An vagen Kriterien scheitern die meisten menschlichen Evaluationen. Bewerte die Qualität von 1 bis 5 lädt jede annotierende Person ein, sich ihre eigene Definition von Qualität auszudenken. Zerleg die Bewertung in benannte, getrennt definierte Dimensionen und schreib zu jeder eine operationale Definition in einem Satz:

  • Sprachliche Korrektheit: Ist der Text grammatisch und wohlgeformt, unabhängig davon, ob er stimmt?
  • Kohärenz: Ergeben die Sätze zusammengenommen einen sinnvollen Zusammenhang?
  • Treue zur Quelle / faktische Korrektheit: Ist jede Aussage durch die Quelle gedeckt (bei Zusammenfassung und RAG) oder wahr (bei offener Generierung)? Hier werden Halluzinationen gefunden.
  • Relevanz: Geht die Antwort tatsächlich auf den Prompt ein?
  • Nützlichkeit: Erreicht die Antwort bei Assistenzaufgaben das, was die nutzende Person wollte?

Wenn du diese Dimensionen getrennt misst, erfährst du, warum ein System besser abschneidet als ein anderes, und nicht nur, dass es so ist.

Absolute Werte oder relative Vergleiche

Die wichtigste Entwurfsentscheidung ist, ob Annotierende jeweils eine Ausgabe bewerten oder mehrere vergleichen.

  • Absolute Bewertungen (Likert) sind einfach, leiden aber unter Skalenverzerrung: Annotierende setzen ihren Anker unterschiedlich, meiden die Extreme und driften im Verlauf einer Sitzung, sodass eine 4 der einen Person nicht die 4 der anderen ist.
  • Paarweise Präferenz (ist A oder B besser?) umgeht die Skalenverzerrung vollständig und ist in der Regel zuverlässiger, weshalb sie RLHF-Präferenzdaten und dem Modellvergleich zugrunde liegt. Der Preis ist, dass du eine Rangfolge bekommst und kein absolutes Niveau.
  • Best-Worst-Skalierung zeigt eine kleine Menge und fragt nur nach dem besten und dem schlechtesten Element, ein günstiger Weg zu verlässlichen Rangfolgen aus wenigen Urteilen.

van der Lee et al. (2021) haben Leitlinien für gute Praxis zusammengestellt, die genau diese Entscheidungen abdecken, also wie viele Elemente und Bewertende, welche Skala und welche statistische Auswertung. Die Lektüre lohnt sich, bevor du dich auf einen Entwurf festlegst.

Groß genug anlegen und vollständig berichten

Zwei Fehlerquellen bleiben, auch wenn der Entwurf stimmt.

Erstens unterdimensionierte Vergleiche. Einen kleinen Qualitätsunterschied zwischen zwei guten Systemen nachzuweisen braucht mehr Elemente, als die meisten erwarten. Rechne vorher die Poweranalyse, nimm einen passenden Signifikanztest und berichte Effektstärken, nicht nur, welcher Mittelwert höher lag.

Zweitens fehlende Angaben. Belz et al. (2021) haben die Reproduzierbarkeit in der NLP untersucht und fanden menschliche Evaluationen besonders schwer zu reproduzieren, meist weil die Arbeit die genauen Kriterien, die Anweisungen, die Zusammensetzung der Annotierenden und die Auswertung verschweigt. Halte all das während der Studie fest, nicht im Nachhinein.

Ein paar handwerkliche Punkte verhindern vermeidbare Verzerrung: Reihenfolge der Ausgaben randomisieren, damit die Position nichts verrät (Menschen bevorzugen die erste Option), System verblinden, damit niemand erkennt, welches Modell was produziert hat, und einen kleinen Pilotdurchlauf machen, um die Übereinstimmung zu messen und verwirrende Kriterien zu korrigieren, bevor die Studie hochskaliert.

Umsetzung in Potato

Potato bietet für jeden Evaluationsstil ein Schema, die Entwurfsentscheidung von oben lässt sich also direkt in Konfiguration übersetzen. Für absolute Bewertungen je Kriterium:

yaml
annotation_schemes:
  - name: faithfulness
    annotation_type: likert
    description: "Is every claim in the response supported by the source? 1 = many unsupported, 5 = fully supported."
    size: 5
  - name: fluency
    annotation_type: likert
    description: "Is the response grammatical and well-formed?"
    size: 5

Für einen verblindeten A/B-Vergleich nimmst du ein pairwise-Schema und randomisierst, welches System als A gezeigt wird:

yaml
annotation_schemes:
  - name: preference
    annotation_type: pairwise
    description: "Which response is more helpful overall?"
    labels: ["A is better", "Tie", "B is better"]

Für strukturierte Bewertung mehrerer Kriterien in einem Durchgang sammelt das Schema rubric_eval einen Wert pro Dimension. Was immer du wählst: Halte eine gemeinsame Teilmenge überlappend, damit du Übereinstimmung berichten kannst, und behalte die Labels der einzelnen Annotierenden im Export, damit der Signifikanztest die nötige Varianz hat.

Weiterführende Lektüre