Skip to content

Rubrikbasierte LLM-Evaluation

Wie du LLM-Ausgaben anhand mehrerer gewichteter Kriterien bewertest, im Stil von MT-Bench, mit dem Rubrik-Evaluationstyp von Potato.

Eine Rubrik zerlegt ein vages Urteil (ist das eine gute Antwort?) in einzelne bewertete Kriterien: Hilfreichkeit, Korrektheit, Vollständigkeit, Ton, Sicherheit, jedes auf einer Skala eingeschätzt. Damit wird die Evaluation wiederholbar, und man sieht, warum eine Antwort besser abschneidet als eine andere. Nach dieser Struktur sind Benchmarks wie MT-Bench gebaut.

Eine Rubrik überführt subjektive Qualität in ein Raster aus definierten Kriterien und Skalenpunkten. Das hebt die Übereinstimmung und macht die Ergebnisse interpretierbar.

Wann sich eine Rubrik lohnt

  • Die Ausgabe ist so reichhaltig, dass ein einzelner Wert Information verliert.
  • Du willst wissen, welche Dimension schwach ist (Korrektheit oder Ton), nicht nur ein Gesamturteil.
  • Du brauchst Kriterien, auf die sich alle Beteiligten vorab einigen.

Geht es nur darum, welche Antwort besser ist, ist ein paarweiser Vergleich günstiger. Rubriken spielen ihre Stärke aus, wenn du ein absolutes, mehrdimensionales Profil brauchst.

Umsetzung in Potato

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: answer_quality
    description: "Rate the answer on each criterion."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it address the user's actual need?"}
      - {name: Accuracy,    description: "Is it factually correct?"}
      - {name: Completeness, description: "Does it cover the important points?"}
      - {name: Tone,        description: "Is the style appropriate?"}

Potato zeigt das als Raster an: Kriterien untereinander, Skalenpunkte nebeneinander. Annotierende füllen jede Zelle.

Gute Kriterien schreiben

  • Halte sie unabhängig. Überlappende Kriterien (hilfreich und nützlich) werden gemeinsam bewertet und bringen nur Rauschen.
  • Verankere die Skala. Beschreibe pro Kriterium, wie eine 1 und wie eine 5 aussieht, nicht nur die Enden im Allgemeinen.
  • Halte sie kurz. Vier bis sechs Kriterien treffen es meist; lange Rubriken ermüden die Annotierenden und senken die Übereinstimmung.

Rubriken und LLM-as-judge

Dieselbe Rubrik, die du Menschen gibst, kann ein LLM als Bewertungsinstanz prompten und billig vorbewerten, bevor Menschen prüfen, genau wie bei der Vorannotation mit LLMs. Behalte eine von Menschen bewertete Stichprobe, um die Instanz dagegen zu halten, und achte auf ihre eigenen Verzerrungen (Länge, Formatierung, Vorliebe für eigene Ausgaben).

Weiterführende Lektüre