Skip to content

Inter-Annotator-Übereinstimmung erklärt

Ein praktischer Leitfaden zur Inter-Annotator-Übereinstimmung: prozentuale Übereinstimmung, Cohens und Fleiss' Kappa und Krippendorffs Alpha, wann welches Maß passt und wie Potato sie berichtet.

Die Inter-Annotator-Übereinstimmung (IAA) misst, wie oft unabhängig arbeitende Annotierende dasselbe Label vergeben. Sie ist der übliche Beleg dafür, dass eine Annotationsaufgabe klar definiert ist und den entstandenen Labels zu trauen ist. Niedrige Übereinstimmung heißt meist, dass die Richtlinien unklar sind, und nicht, dass die Annotierenden nachlässig arbeiten.

Das Thema insgesamt läuft unter Interrater-Reliabilität. Potato berechnet die Übereinstimmung laufend im Admin-Dashboard, siehe Qualitätskontrolle.

Warum die rohe prozentuale Übereinstimmung nicht reicht

Das einfachste Maß ist die prozentuale Übereinstimmung, also der Anteil der Elemente, die identisch gelabelt wurden. Das Problem: Ein Teil der Übereinstimmung entsteht zufällig. Wenn zwei Annotierende beide in 90 % der Fälle „positiv“ wählen, stimmen sie meistens überein, selbst wenn sie zufällig labeln. Zufallskorrigierte Maße beheben das.

Ein zufallskorrigierter Koeffizient hat die Form:

text
        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

Dabei ist P_observed die tatsächliche und P_expected die zufällig erwartete Übereinstimmung. Der Wert 1 steht für vollständige Übereinstimmung, 0 für Zufallsniveau.

Die drei, die du tatsächlich brauchst

  • Cohens Kappa: zwei Annotierende, kategoriale Labels. Der Klassiker für ein Paar.
  • Fleiss' Kappa: mehr als zwei Annotierende, kategoriale Labels, wenn verschiedene Elemente von verschiedenen Personen beurteilt werden können.
  • Krippendorffs Alpha: die allgemeinste Option. Sie funktioniert mit beliebig vielen Annotierenden, kommt mit fehlenden Daten zurecht und unterstützt nominale, ordinale, Intervall- und Verhältnisdaten. Das ist der Wert, den Potato standardmäßig berichtet.

Nimm Kappa für einfache kategoriale Paare und greif zu Krippendorffs Alpha, sobald du viele Annotierende, unvollständige Überlappung oder geordnete bzw. stetige Labels hast (wo eine Abweichung um eine Stufe weniger zählen sollte als eine um vier).

Fleiss' Kappa oder Krippendorffs Alpha bei drei Annotatoren?

Wenn alle drei Annotatoren jedes Item gelabelt haben und die Labels ungeordnete Kategorien sind, lässt sich jeder der beiden Koeffizienten vertreten. Fehlt bei irgendeinem Item ein Label oder sind die Labels geordnet, nimm Krippendorffs Alpha.

Die beiden unterscheiden sich in ihren Annahmen:

  • Fehlende Labels. Fleiss' Kappa erwartet für jedes Item gleich viele Bewertungen. Hat einer der drei Annotatoren ein Item übersprungen, musst du dieses Item verwerfen. Krippendorffs Alpha nutzt jede vorhandene Bewertung.
  • Skalenniveau. Fleiss' Kappa behandelt Labels als ungeordnet, auf einer Skala von 1 bis 5 zählt eine 4 gegen eine 5 also genauso als Uneinigkeit wie eine 1 gegen eine 5. Krippendorffs Alpha verwendet eine Distanzmetrik (nominal, ordinal, intervall- oder verhältnisskaliert) und wertet knappe Abweichungen als kleinere Uneinigkeit.
  • Kleine Stichproben. Krippendorffs Alpha enthält eine Korrektur für kleine Stichproben, sodass die beiden bei einem Pilotlauf mit ein paar Dutzend Items auseinanderliegen können, selbst wenn die Daten zu beiden passen.

Bei vollständigen nominalen Daten und einer vernünftigen Zahl von Items liegen die beiden meist nah beieinander. Berichte den Koeffizienten, den dein Fach erwartet, und nenne im Paper Koeffizient und Metrik, denn „die Übereinstimmung lag bei 0,72“ bedeutet bei beiden etwas anderes.

Potato berichtet mehrere Koeffizienten gleichzeitig, statt dich vorab auf einen festzulegen. Ein kategoriales Schema bekommt prozentuale Übereinstimmung, Cohens Kappa, Fleiss' Kappa und nominales Alpha nebeneinander, ein geordnetes Schema linear und quadratisch gewichtetes Kappa, Spearmans Rho und ordinales Alpha. Vor Version 2.9 sortierte das ordinale Alpha einer Likert-Skala mit Wortlabels die Labels alphabetisch, sodass es praktisch nominal war. Berechne die ordinale Übereinstimmung auf Skalen mit Wortlabels deshalb neu, wenn du sie mit einer früheren Version berichtet hast. Bis Version 2.10.1 gewichtete das ordinale Alpha eine Abweichung mit der einfachen Differenz der Ränge. Das ist nicht Krippendorffs ordinale Metrik. Ab 2.10.2 stimmt es mit dem ordinalen Alpha des Rechners überein, berechne also jedes ordinale Alpha neu, das du mit einer früheren Version berichtet hast. Eine Tabelle mit Labels kannst du auch im Browser mit dem Übereinstimmungsrechner prüfen, der nominales, ordinales und intervallskaliertes Alpha sowie Cohens und Fleiss' Kappa berechnet.

Die Zahl deuten

Eine allgemeingültige Grenze gibt es nicht, aber als grober Anhaltspunkt für Alpha bzw. Kappa gilt oft:

  • ≥ 0,80: gut genug, um sich darauf zu stützen.
  • 0,67–0,80: brauchbar für vorläufige Schlüsse; sieh dir die Uneinigkeiten an.
  • < 0,67: überarbeite die Richtlinien, bevor du den Labels traust.

Nimm das als Anlass zum Nachsehen, nicht als Bestanden-oder-durchgefallen-Schwelle. Schau dir immer an, welche Elemente und welche Labels die Uneinigkeit treiben.

Messen in Potato

Lass die Annotierenden sich auf einer gemeinsamen Teilmenge überlappen und schalte dann die Berichterstattung zur Übereinstimmung ein:

yaml
agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

Bei Span- und strukturierten Aufgaben miss die Übereinstimmung auf der Ebene, um die es dir geht, denn Maße auf Dokumentebene verdecken Uneinigkeit über Grenzen. Für Span-Schemata berichtet Potato Kappa auf Token-Ebene, Span-F1 bei exaktem und partiellem Treffer, Krippendorffs Alpha über Labels pro Zeichen und eine vereinfachte Form von Mathets Gamma. So kannst du eine Uneinigkeit über das Label von einer Uneinigkeit darüber trennen, wo der Span beginnt.

Wenn die Übereinstimmung niedrig ist

  1. Lies die strittigen Elemente: Ist die Richtlinie mehrdeutig oder das Element wirklich schwierig?
  2. Schärfe die Definitionen und nimm die schwierigen Fälle als Beispiele auf. Siehe Annotationsrichtlinien schreiben.
  3. Pilotiere erneut. Bleibt die Übereinstimmung bei wirklich subjektiven Aufgaben niedrig, erfasse lieber die Uneinigkeit selbst, statt eine einzelne Antwort zu erzwingen.

Häufige Fragen

Die folgenden Fragen behandeln den Wertebereich von Krippendorffs Alpha, seine Berechnung und die Übereinstimmung bei nur zwei Annotierenden.

Kann Krippendorffs Alpha kleiner als -1 sein?

Nein. Alpha fällt unter 0, wenn die Annotierenden sich häufiger uneinig sind, als der Zufall erwarten lässt, und nähert sich -1, ohne den Wert zu erreichen. Zwei Annotierende, die bei jedem von N Items uneinig sind und zwei Labels gleich oft verwenden, ergeben ein Alpha von genau -1 + 1/N, also -0,8 bei 5 Items und -0,95 bei 20. Krippendorff (2011) nennt 0 bis 1 als den für die Reliabilität relevanten Bereich und führt Werte unter 0 auf systematische Uneinigkeit oder Stichprobenfehler zurück. Ein deutlich negatives Alpha deutet auf systematische Uneinigkeit hin, etwa wenn Annotierende eine Skala in entgegengesetzter Richtung lesen, und verlangt einen Blick in die Richtlinien statt eines Berichts der Zahl.

Wie berechnet man Krippendorffs Alpha?

Alpha ist 1 minus das Verhältnis von beobachteter Uneinigkeit zur zufällig erwarteten Uneinigkeit. Die beobachtete Uneinigkeit ergibt sich aus Paaren von Labels, die demselben Item gegeben wurden, die erwartete Uneinigkeit aus Paaren, die aus allen Labels der Studie gezogen werden, wobei eine Distanzmetrik (nominal, ordinal, intervall- oder verhältnisskaliert) festlegt, wie stark jede Abweichung zählt. Potato berechnet es pro Annotationsschema im Admin-Dashboard, sobald min_overlap Annotierende dasselbe Item gelabelt haben, und der Übereinstimmungsrechner berechnet im Browser nominales, ordinales und intervallskaliertes Alpha aus einer Tabelle mit Labels.

Lässt sich die Inter-Annotator-Übereinstimmung mit nur zwei Annotierenden berechnen?

Ja. Cohens Kappa ist für genau zwei Annotierende mit kategorialen Labels gedacht, und Krippendorffs Alpha funktioniert mit zwei ebenso wie mit mehr. Beide setzen voraus, dass die zwei Annotierenden dieselben Items unabhängig voneinander gelabelt haben, und bei wenigen Items ist die Schätzung instabil, deshalb berichte die Zahl der Items zusammen mit dem Koeffizienten.

Weiterführende Lektüre