Skip to content

Pairwise und Best–Worst-Scaling

Wann vergleichende Urteile besser passen als Bewertungen, was paarweiser Vergleich und Best-Worst-Scaling (MaxDiff) leisten und wie du beides in Potato einrichtest.

Menschen tun sich schwer damit, stabile absolute Werte zu vergeben, im Vergleichen sind sie gut. Genau das nutzt vergleichende Annotation: Statt „bewerte das von 1 bis 5“ fragst du „was ist besser, A oder B?“. Die zwei Hauptformen sind der paarweise Vergleich und Best–Worst-Scaling. Auf ihnen ruhen die Präferenzdaten heutiger KI.

Hintergrund unter Pairwise comparison und MaxDiff.

Paarweiser Vergleich

Zeig zwei Items und frag, welches gewinnt. Das Format ist einfach, erzielt hohe Übereinstimmung und wird für die Erhebung menschlicher Präferenzdaten im Reinforcement Learning from Human Feedback verwendet.

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better answers the question?"
    mode: binary
    allow_tie: true
    sequential_key_binding: true

Ein erlaubtes Unentschieden hält Annotierende davon ab, einen Unterschied zu erfinden, wo keiner ist. Willst du erfassen, wie viel besser, stell mode auf eine Skala um (etwa von „A deutlich besser“ bis „B deutlich besser“). Das Showcase-Beispiel zu paarweisen Präferenzen zeigt das im Betrieb.

Viele paarweise Urteile lassen sich mit einem Modell wie dem Elo-Wertungssystem oder dem Bradley–Terry-Modell zu einer einzigen Rangfolge verrechnen.

Best–Worst-Scaling (MaxDiff)

Zeig eine kleine Menge, oft vier Items, und frag nach dem besten und dem schlechtesten. Jedes Urteil trägt mehr Information als eine einzelne paarweise Stimme, weil es beide Enden der Menge auf einmal festlegt.

yaml
annotation_schemes:
  - annotation_type: bws
    name: fluency
    description: "Pick the most and least fluent translation."
    tuple_size: 4
    best_description: "Most fluent"
    worst_description: "Least fluent"

Best–Worst-Scaling liefert aus einfachen Entscheidungen verlässliche, intervallartige Werte und wird viel genutzt, um aus den Urteilen vieler Annotierender kalibrierte Rangfolgen zu bilden.

Wann Vergleiche besser sind als Bewertungen

  • Dein Konstrukt lässt sich absolut schwer verankern (Humor, Nützlichkeit, ästhetische Qualität).
  • Du brauchst hohe Übereinstimmung und deine Likert-Skala rauscht.
  • Du baust Präferenzdaten, um ein Modell zu trainieren oder auszurichten.

Der Preis: Du bekommst relative Information und brauchst womöglich ein Modell (Elo, Bradley–Terry), um daraus absolute Werte zu gewinnen.

Weiterführende Lektüre