Skip to content

Statistische Power und Stichprobengröße in Annotationsstudien

Wie viele Elemente du brauchst, damit ein Ergebnis etwas bedeutet, warum das eine andere Frage ist als die nach der Zahl der Annotierenden pro Element, und wie du Studien mit zu wenig Power und zu großen Behauptungen vermeidest.

Wie viele Annotierende? und wie viele Elemente? sind zwei verschiedene Fragen, die ständig durcheinandergeraten. Die Überlappung der Annotierenden bestimmt, wie verlässlich das Label eines einzelnen Elements ist; die Zahl der Elemente bestimmt, ob ein beobachteter Unterschied echt ist oder Rauschen. Eine Studie kann fünf Annotierende pro Element haben und trotzdem zu klein sein, um ihre Schlussfolgerung zu tragen. Dieser Leitfaden behandelt die zweite Achse, die statistische Power, und wie eine Annotations- oder Evaluationsstudie nicht mehr behauptet, als sie hergibt.

Zwei Budgets, nicht eines

Jedes Annotationsprojekt verteilt Aufwand entlang zweier unabhängiger Achsen, und es hilft, sie getrennt zu benennen:

  • Überlappung (Annotierende pro Element): kauft dir Reliabilität der Labels, also die Sicherheit, dass das Label eines einzelnen Elements stimmt. Darum geht es in Wie viele Annotierende brauchst du?.
  • Stichprobengröße (Zahl der Elemente): kauft dir statistische Power, also die Fähigkeit, einen echten Unterschied zwischen Bedingungen, Modellen oder Gruppen zu entdecken.

Beide konkurrieren um dasselbe Budget, lösen aber verschiedene Probleme. Zehn Annotierende auf 50 Elementen liefern sehr verlässliche Labels für eine Stichprobe, die zu klein ist, um irgendetwas zu vergleichen. Eine annotierende Person auf 5.000 Elementen liefert verrauschte Labels, aber genug davon, um einen echten Effekt zu finden. Welchen Fehler du gerade zu machen drohst, hängt davon ab, welche Frage du tatsächlich stellst.

Was statistische Power ist

Statistische Power ist die Wahrscheinlichkeit, dass deine Studie einen tatsächlich vorhandenen Effekt findet. Geringe Power heißt: Selbst wenn Modell A wirklich besser ist als Modell B, zeigt dein Experiment das oft nicht, und, weniger offensichtlich, die signifikanten Ergebnisse, die du doch bekommst, sind eher Zufallstreffer mit aufgeblähten Effektstärken. Üblich sind 80 % Power als Ziel, wofür du vorab festlegen musst, welcher kleinste Effekt noch von Interesse ist, und die Studie danach dimensionierst.

Unangenehm ist, wie oft dieser Schritt ausfällt. Card et al. (2020) haben Poweranalysen für gängige NLP-Aufbauten gerechnet und fanden viele publizierte Vergleiche deutlich unterpowert: Um die kleinen Unterschiede zuverlässig zu finden, die typische Arbeiten behaupten, braucht man gerade in der menschlichen Evaluation oft Hunderte bis Tausende Elemente, weit mehr als die Studien tatsächlich verwenden. Ihre praktische Empfehlung lautet, die Powerberechnung vor der Datenerhebung zu machen und nicht im Nachhinein Signifikanz zu konstruieren.

Den Signifikanztest richtig wählen

Genügend Elemente sind notwendig, aber nicht hinreichend; du musst auch korrekt testen. Dror et al. (2018) ist hier die Standardreferenz, und ihre Hinweise sind konkret:

  • Passe den Test an die Daten an. NLP-Metriken sind meist nicht normalverteilt, stütze dich also auf nichtparametrische Verfahren, Bootstrap und Permutationstests, statt einen t-Test vorauszusetzen.
  • Korrigiere für multiple Vergleiche. Wer viele Modelle, Metriken oder Untergruppen testet, produziert falsch Positive; korrigiere bei vielen Tests (Bonferroni, besser noch Benjamini-Hochberg).
  • Berichte Effektstärke und Konfidenzintervall, nicht nur einen p-Wert. Mit genügend Elementen kann ein Unterschied statistisch signifikant und praktisch bedeutungslos sein. Effektstärke und Intervall sagen den Lesenden, ob es sie kümmern muss.

Ein brauchbares Vorgehen

  1. Benenne den kleinsten Unterschied, der zählen würde (etwa 2 Prozentpunkte in der Gewinnrate).
  2. Rechne für diesen Effekt eine Poweranalyse bei 80 % Power und erhalte eine Zielzahl an Elementen.
  3. Entscheide die Überlappung getrennt davon, je nachdem, wie subjektiv die Labels sind (siehe den Leitfaden zur Zahl der Annotierenden).
  4. Nach der Erhebung: Bootstrap- oder Permutationstest, Korrektur für die Zahl der Vergleiche, Effektstärken mit Intervallen berichten.

Die Reihenfolge ist wichtig: Eine Studie erst nach Sichtung der Daten zu dimensionieren, ist der Weg, auf dem unterpowerte Ergebnisse als Befunde daherkommen.

Umsetzung in Potato

Power ist eine Entwurfsentscheidung, kein Config-Schlüssel, aber Potatos Aufgabe ist es, dir saubere Daten für die Analyse zu liefern. Stelle Überlappung für die Reliabilität und Elementzahlen für die Stichprobengröße in der Aufgabenzuweisung ein:

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 400    # sample size: items each annotator sees
  labels_per_instance: 3         # overlap: reliability per item

Die beiden Stellschrauben sind absichtlich unabhängig. Der Export behält das Einzellabel jeder annotierenden Person samt ID und Zeitstempel, und genau das erlaubt dir, beim Berechnen der Signifikanz offline nach Element und nach annotierender Person zu bootstrappen. Erst die Labels pro Person statt nur des Aggregats machen eine saubere, powerbewusste Analyse möglich; wer zu früh auf ein einziges Goldlabel zusammenfasst, verliert die Varianz, die der Bootstrap braucht.

Weiterführende Lektüre