Skip to content

Bewertungsskalen

Wie du Bewertungsskalen für die Annotation entwirfst: Likert oder Slider, wie viele Punkte sinnvoll sind, wie du Zustimmungstendenz vermeidest und Bewertungsaufgaben in Potato baust.

Eine Bewertungsskala erfasst den Grad, also wie positiv, wie flüssig, wie hilfreich, statt einer Kategorie. Die zwei üblichen Formen sind die diskrete Likert-Skala (etwa 1–5) und der stetige Slider. Kleine Entwurfsentscheidungen an einer Skala verändern deine Daten stärker, als die meisten erwarten.

Likert: diskrete Punkte

Nimm eine Likert-Skala, wenn du vergleichbare, leicht zusammenfassbare Bewertungen willst:

yaml
annotation_schemes:
  - annotation_type: likert
    name: fluency
    description: "How fluent is this translation?"
    size: 5
    min_label: "Not fluent at all"
    max_label: "Perfectly fluent"

Entscheidungen, die ins Gewicht fallen:

  • Wie viele Punkte? Fünf ist eine sichere Voreinstellung. Sieben lösen feiner auf, sofern die Annotierenden damit umgehen können. Eine gerade Zahl nimmt die neutrale Mitte weg und erzwingt eine Tendenz: nützlich, wenn „neutral“ eine Ausflucht ist, riskant, wenn Neutralität echt vorkommt.
  • Beschrifte die Enden, besser noch jeden Punkt. Beschriftete Punkte werden einheitlicher gelesen als nackte Zahlen.
  • Halte die Richtung über alle Skalen hinweg gleich, damit Annotierende sie nicht aus Gewohnheit umdrehen.

Slider: stetige Werte

Nimm einen slider, wenn die zugrunde liegende Größe wirklich stetig ist, etwa ein Konfidenzwert in Prozent oder die Intensität einer Emotion:

yaml
annotation_schemes:
  - annotation_type: slider
    name: confidence
    description: "How confident are you in your label?"
    min_value: 0
    max_value: 100
    step: 1

Stetige Skalen lösen feiner auf, senken aber die Übereinstimmung, weil niemand ein gemeinsames Gefühl für „67 gegenüber 72“ hat. Fasse die Werte in Klassen zusammen, wenn du Übereinstimmung brauchst.

Verzerrungen, die der Entwurf abfangen muss

  • Zustimmungstendenz: der Hang, zuzustimmen. Streue umgekehrt formulierte Items ein, damit Zustimmung nicht der Normalfall ist. Siehe acquiescence bias.
  • Tendenz zur Mitte: alles sammelt sich in der Mitte. Klare Beschriftungen an den Enden und, wo es passt, eine gerade Punktzahl wirken dem entgegen.
  • Ankereffekt: Die ersten Items setzen den Bezugspunkt. Ein kurzer Kalibrierungssatz zu Beginn hilft.

Über eine einzelne Skala hinaus

  • Bewerte viele Items auf einmal auf derselben Skala mit multirate (etwa jedes gefundene Dokument). Siehe RAG-Evaluierung.
  • Bewerte mehrere gewichtete Kriterien mit rubric_eval. Siehe Rubrikbasierte LLM-Evaluation.
  • Bewertungen der Audioqualität wie MOS laufen über denselben Likert-Mechanismus, siehe Audio-Annotation.

Weiterführende Lektüre