Skip to content

Inter-Annotator-Übereinstimmung erklärt

Ein praktischer Leitfaden zur Inter-Annotator-Übereinstimmung: prozentuale Übereinstimmung, Cohens und Fleiss' Kappa und Krippendorffs Alpha, wann welches Maß passt und wie Potato sie berichtet.

Die Inter-Annotator-Übereinstimmung (IAA) misst, wie oft unabhängig arbeitende Annotierende dasselbe Label vergeben. Sie ist der übliche Beleg dafür, dass eine Annotationsaufgabe klar definiert ist und den entstandenen Labels zu trauen ist. Niedrige Übereinstimmung heißt meist, dass die Richtlinien unklar sind, und nicht, dass die Annotierenden nachlässig arbeiten.

Das Thema insgesamt läuft unter Interrater-Reliabilität. Potato berechnet die Übereinstimmung laufend im Admin-Dashboard, siehe Qualitätskontrolle.

Warum die rohe prozentuale Übereinstimmung nicht reicht

Das einfachste Maß ist die prozentuale Übereinstimmung, also der Anteil der Elemente, die identisch gelabelt wurden. Das Problem: Ein Teil der Übereinstimmung entsteht zufällig. Wenn zwei Annotierende beide in 90 % der Fälle „positiv“ wählen, stimmen sie meistens überein, selbst wenn sie zufällig labeln. Zufallskorrigierte Maße beheben das.

Ein zufallskorrigierter Koeffizient hat die Form:

text
        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

Dabei ist P_observed die tatsächliche und P_expected die zufällig erwartete Übereinstimmung. Der Wert 1 steht für vollständige Übereinstimmung, 0 für Zufallsniveau.

Die drei, die du tatsächlich brauchst

  • Cohens Kappa: zwei Annotierende, kategoriale Labels. Der Klassiker für ein Paar.
  • Fleiss' Kappa: mehr als zwei Annotierende, kategoriale Labels, wenn verschiedene Elemente von verschiedenen Personen beurteilt werden können.
  • Krippendorffs Alpha: die allgemeinste Option. Sie funktioniert mit beliebig vielen Annotierenden, kommt mit fehlenden Daten zurecht und unterstützt nominale, ordinale, Intervall- und Verhältnisdaten. Das ist der Wert, den Potato standardmäßig berichtet.

Nimm Kappa für einfache kategoriale Paare und greif zu Krippendorffs Alpha, sobald du viele Annotierende, unvollständige Überlappung oder geordnete bzw. stetige Labels hast (wo eine Abweichung um eine Stufe weniger zählen sollte als eine um vier).

Die Zahl deuten

Eine allgemeingültige Grenze gibt es nicht, aber als grober Anhaltspunkt für Alpha bzw. Kappa gilt oft:

  • ≥ 0,80: gut genug, um sich darauf zu stützen.
  • 0,67–0,80: brauchbar für vorläufige Schlüsse; sieh dir die Uneinigkeiten an.
  • < 0,67: überarbeite die Richtlinien, bevor du den Labels traust.

Nimm das als Anlass zum Nachsehen, nicht als Bestanden-oder-durchgefallen-Schwelle. Schau dir immer an, welche Elemente und welche Labels die Uneinigkeit treiben.

Messen in Potato

Lass die Annotierenden sich auf einer gemeinsamen Teilmenge überlappen und schalte dann die Berichterstattung zur Übereinstimmung ein:

yaml
agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

Bei Span- und strukturierten Aufgaben miss die Übereinstimmung auf der Ebene, um die es dir geht (exakter Span-Treffer gegen Überlappung), denn Maße auf Dokumentebene verdecken Uneinigkeit über Grenzen.

Wenn die Übereinstimmung niedrig ist

  1. Lies die strittigen Elemente: Ist die Richtlinie mehrdeutig oder das Element wirklich schwierig?
  2. Schärfe die Definitionen und nimm die schwierigen Fälle als Beispiele auf. Siehe Annotationsrichtlinien schreiben.
  3. Pilotiere erneut. Bleibt die Übereinstimmung bei wirklich subjektiven Aufgaben niedrig, erfasse lieber die Uneinigkeit selbst, statt eine einzelne Antwort zu erzwingen.

Weiterführende Lektüre