Wie viele Annotatoren brauchen Sie wirklich?
Die Anzahl der Annotatoren und die Überlappung für ein Annotationsprojekt festlegen: Faustregeln für objektive und subjektive Aufgaben, der Kompromiss zwischen Abdeckung und Überlappung und wie man das in Potato einstellt.
„Wie viele Annotatoren brauche ich?" ist eine der ersten Fragen bei jedem Projekt, und die ehrliche Antwort ist, dass es von drei Dingen abhängt: davon, wie klar die Aufgabe ist, wie viel Sie ausgeben können und was Sie mit den Uneinigkeiten vorhaben. Es gibt keine Zauberzahl, aber es gibt sinnvolle Standardwerte.
Abdeckung versus Überlappung
Jedes Annotationsbudget wird zwischen zwei konkurrierenden Zielen aufgeteilt. Abdeckung bedeutet, mehr verschiedene Elemente zu labeln, jedes einmal. Überlappung bedeutet, dieselben Elemente mehrfach zu labeln, damit Sie die Übereinstimmung messen und zusammenfassen können. Beides lässt sich nicht gleichzeitig maximieren.
Ein Muster, das gut funktioniert: Lassen Sie eine kleine Teilmenge vollständig überlappen, um die Übereinstimmung zu messen und zu bestätigen, dass die Aufgabe gut definiert ist, und annotieren Sie den Rest dann einfach, sobald Sie ihr vertrauen. So erhalten Sie ein Qualitätssignal, ohne dafür zu zahlen, dass alles dreimal gelabelt wird.
Faustregeln
Bei Aufgaben mit klaren Kategorien und hoher Übereinstimmung bearbeitet ein einzelner Annotator die meisten Elemente, wobei zwei oder drei Annotatoren bei einer Stichprobe von 5 bis 10 Prozent überlappen, um die Qualität zu überwachen.
Bei mäßig subjektiven Aufgaben verwenden Sie drei Annotatoren pro Element und führen die Ergebnisse per Mehrheitsentscheid oder einem kompetenzgewichteten Modell zusammen.
Bei wirklich subjektiver Arbeit, etwa beim Beurteilen von Beleidigungen, Emotionen oder Präferenzen, verwenden Sie fünf oder mehr Annotatoren pro Element und erwägen Sie, die gesamte Verteilung der Labels beizubehalten, statt sie auf eine einzige Antwort zu reduzieren. Die Uneinigkeit ist oft echtes Signal, kein Rauschen.
Mehr Annotatoren verringern die Varianz des aggregierten Labels eines Elements, allerdings mit abnehmendem Nutzen. Von einem auf drei Annotatoren zu gehen hilft weit mehr als von sieben auf neun.
Überlappung in Potato einstellen
Die automatische Zuweisung von Potato steuert, wie viele Annotatoren jedes Element sehen und wie die Elemente auf die Personen verteilt werden.
automatic_assignment:
on: true
instance_per_annotator: 50 # items each person labels
labels_per_instance: 3 # annotators per item (overlap)Mehr Personal ersetzt keine Qualitätskontrolle
Mehr Annotatoren helfen nicht, wenn einige von ihnen unzuverlässig sind. Kombinieren Sie Überlappung mit Goldstandard-Elementen und Aufmerksamkeitsprüfungen, damit Sie minderwertige Arbeit gewichten oder verwerfen können, bevor Sie aggregieren. Die vollständige Begründung finden Sie im Leitfaden Wie viele Annotatoren brauchen Sie? und unter Übereinstimmung zwischen Annotatoren. Für Implementierungsdetails siehe die Quelldokumentation und die Dokumentation zur Qualitätskontrolle.