Skip to content

Adjudikation und die Auflösung von Uneinigkeit

Was zu tun ist, wenn Annotierende uneinig sind: Adjudikations-Workflows, Aggregation per Mehrheitsentscheid und statistische Modelle wie MACE, die Annotierende nach Kompetenz gewichten.

Uneinigkeit ist normal und aufschlussreich. Sie aufzulösen heißt, aus den Labels mehrerer Annotierender ein vertrauenswürdiges Label zu machen: durch Expertendurchsicht, durch Aggregation oder durch ein statistisches Modell, das Annotierende nach ihrer Zuverlässigkeit gewichtet. Wer zu früh eine einzige Antwort erzwingt, wirft das Signal darüber weg, welche Elemente wirklich schwierig sind.

Drei Wege zur Auflösung

  1. Mehrheitsentscheid. Einfach und nachvollziehbar: Nimm das häufigste Label. Das funktioniert gut, wenn die Annotierenden ungefähr gleich stark sind und die Aufgabe klar ist, behandelt aber eine nachlässige Person genauso wie eine sorgfältige.

  2. Expertenadjudikation. Leite strittige Elemente an eine Expertin oder einen Experten weiter, die oder der entscheidet. Am genauesten, am teuersten. Setze das für die Elemente ein, auf die es ankommt und bei denen Aggregation unzuverlässig ist.

  3. Statistische Aggregation. Modelle wie MACE (Multi-Annotator Competence Estimation) leiten die Zuverlässigkeit jeder annotierenden Person aus ihrem Übereinstimmungsmuster ab und liefern ein gewichtetes Label als beste Schätzung sowie einen Kompetenzwert pro Person. Damit werden Spammer automatisch heruntergewichtet, ohne dass jedes Element von Hand geprüft wird. Der zugrunde liegende Gedanke sind Modelle mit latenten Variablen für crowdgesourcte Labels.

Ein praktikabler Workflow

  • Erhebe überlappende Annotationen (mehrere Personen pro Element).
  • Aggregiere per Mehrheitsentscheid oder MACE zu einem vorläufigen Label und markiere Elemente mit geringer Übereinstimmung.
  • Schicke nur die markierten Elemente in die Expertenadjudikation.
  • Führe die Erkenntnisse in die Richtlinien zurück.

Potato unterstützt einen Adjudikations-Workflow, in dem eine prüfende Person die Labels aller Annotierenden nebeneinander sieht und die aufgelöste Antwort festhält.

Wenn die Uneinigkeit selbst die Daten ist

Bei subjektiven Aufgaben, Humor, Beleidigung, Emotion, kann anhaltende Uneinigkeit echte Unterschiede zwischen Menschen abbilden und keinen Fehler. Dann lohnt es sich, die vollständige Verteilung der Labels zu behalten (manchmal Soft Labels oder perspektivistische Annotation genannt), statt sie auf eine Antwort zusammenzuziehen. Potato kann Verteilungen erfassen, statt Konsens zu erzwingen.

Weiterführende Lektüre