Skip to content

Wie viele Annotierende brauchst du?

Wie du Anzahl und Überlappung der Annotierenden für ein Projekt festlegst und dabei Übereinstimmung, Kosten und statistische Sicherheit abwägst, mit den Überlappungseinstellungen von Potato.

Eine allgemeingültige Zahl gibt es nicht, aber die Entscheidung hängt an drei Stellschrauben: wie viele Personen jedes Element labeln (Überlappung), wie eindeutig die Aufgabe ist und wie groß dein Budget ist. Eindeutige Aufgaben brauchen wenig Überlappung, subjektive mehr. Dieser Leitfaden nennt Faustregeln und die Einstellungen dazu.

Überlappung gegen Abdeckung

Jedes Annotationsbudget verteilt sich auf zwei Ziele:

  • Abdeckung: mehr verschiedene Elemente labeln (jedes einmal).
  • Überlappung: dieselben Elemente mehrfach labeln, was dir Schätzungen der Übereinstimmung und die Möglichkeit zur Aggregation einbringt.

Beides zugleich lässt sich nicht maximieren. Ein verbreitetes Vorgehen: Lass eine Teilmenge vollständig überlappen, um die Übereinstimmung zu messen, und annotiere den Rest einfach, sobald du der Aufgabe traust.

Faustregeln

  • Objektive Aufgaben (klare Kategorien, hohe Übereinstimmung): 1 annotierende Person für die meisten Elemente, dazu 2–3-fache Überlappung auf einer Stichprobe von 5–10 %, um die Qualität im Blick zu behalten.
  • Mäßig subjektive Aufgaben: 3 Annotierende pro Element, aufgelöst per Mehrheitsentscheid oder MACE.
  • Stark subjektive Aufgaben (Beleidigung, Emotion, Präferenz): 5 oder mehr Annotierende pro Element, und überlege, die gesamte Labelverteilung zu behalten, statt sie zusammenzufassen.

Mehr Annotierende senken die Varianz des aggregierten Labels eines Elements, allerdings mit abnehmendem Ertrag: Der Schritt von 1 auf 3 bringt weit mehr als der von 7 auf 9.

Überlappung in Potato einstellen

Potatos Aufgabenzuweisung steuert, wie viele Annotierende jedes Element sehen und wie die Elemente verteilt werden.

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

Qualitätsprüfungen nicht vergessen

Die reine Kopfzahl hilft nicht, wenn einzelne Annotierende unzuverlässig arbeiten. Ergänze die Überlappung um Goldstandards und Aufmerksamkeitstests, damit du schwache Arbeit vor dem Aggregieren geringer gewichten oder ausschließen kannst.

Weiterführende Lektüre