Skip to content

Crowd-Labels aggregieren: jenseits des Mehrheitsentscheids

Wie man viele verrauschte Annotationen mit Annotatormodellen wie Dawid-Skene und MACE zu einem Label verbindet, wann man ihnen trauen kann und wie Potato Kompetenz schätzt und Labels ableitet.

Wenn mehrere Personen dasselbe Element labeln, ist der Mehrheitsentscheid der naheliegende Weg, ihre Antworten zu verbinden, und meistens der falsche. Modelle, die die Zuverlässigkeit jeder annotierenden Person schätzen, gewinnen bessere Labels, erkennen Spammer und sagen dir, wie sicher du sein kannst. Alle setzen jedoch voraus, dass es eine einzige richtige Antwort gibt, deshalb musst du bei subjektiven Aufgaben zuerst entscheiden, ob die Uneinigkeit ein zu entfernender Fehler oder ein zu bewahrendes Signal ist. Dieser Leitfaden behandelt die wichtigsten Aggregationsmodelle, die gemeinsame Annahme dahinter und wie man eines in Potato laufen lässt.

Das Problem, das der Mehrheitsentscheid ignoriert

Sammle drei Labels für ein Element und nimm die Mehrheit. Das funktioniert, wenn die Annotierenden ungefähr gleich stark und überwiegend im Recht sind. Es bricht in dem Moment, in dem sie das nicht sind. Der Mehrheitsentscheid zählt eine sorgfältige Fachperson und einen zufällig klickenden Bot als je eine Stimme, verwirft die Stimmenverteilung (2:1 und 3:0 kommen gleich heraus) und gibt dir kein Mittel, ein wirklich schwieriges Element von einer nachlässigen Person zu unterscheiden. Das ist das Problem der Truth Inference: das latente wahre Label und die Zuverlässigkeit jeder annotierenden Person gleichzeitig zu rekonstruieren, allein aus der Label-Matrix.

Konfusionsmatrix-Modelle: Dawid und Skene

Die grundlegende Methode ist fast 50 Jahre alt. Dawid und Skene (1979) modellierten jede annotierende Person mit einer Konfusionsmatrix, also den Wahrscheinlichkeiten, dass sie ein tatsächlich positives Element positiv, negativ und so weiter labelt, und schätzten diese Matrizen und die wahren Labels gemeinsam per Expectation-Maximization. Wer zwei Kategorien verwechselt, bekommt eine Konfusionsmatrix, die genau das ausdrückt, und die Stimme dieser Person zu dieser Unterscheidung wird entsprechend heruntergewichtet. Fast jedes moderne Aggregationsmodell stammt von dieser Idee ab.

MACE: Kompetenz und Spam-Erkennung

Hovy et al. (2013) stellten MACE vor (Multi-Annotator Competence Estimation), das ein explizites Spamming-Modell ergänzt: Jede annotierende Person gilt entweder als wissend oder als ratend, und MACE schätzt für jedes Element die Wahrscheinlichkeit, dass geraten wurde. Daraus ergibt sich pro Person ein Kompetenzwert zwischen 0 und 1 sowie pro Element eine Entropie, die wirklich mehrdeutige Fälle markiert. Das Verfahren ist schnell, erkennt Zufallsklicker gut und ist das Modell, das Potato mitbringt.

Bayes'sche Modelle und die Befundlage

Das Feld ist weit über diese beiden hinausgewachsen. Paun et al. (2018) verglichen eine Familie Bayes'scher Annotationsmodelle auf realen Datensätzen und fanden, dass sie den Mehrheitsentscheid durchgängig schlagen, besonders wenn die Qualität der Annotierenden stark schwankt, und dabei kalibrierte Unsicherheit liefern, die sich weiterreichen lässt. Auf der technischen Seite haben Zheng et al. (2017) 17 Truth-Inference-Verfahren gebenchmarkt und gefragt, ob das Problem gelöst ist. Die kurze Antwort: Kein einzelnes Verfahren gewinnt überall, aber nahezu alle schlagen den Mehrheitsentscheid, und der Abstand wächst, je schlechter die Labelqualität wird.

Die Annahme, die all diese teilen

Jedes der genannten Modelle nimmt an, dass es ein wahres Label gibt und Uneinigkeit ein Fehler ist. Für objektive Aufgaben ist das in Ordnung. Für subjektive ist es genau verkehrt: Bei Beleidigung, Emotion oder moralischem Urteil können zwei Personen uneinig sein, weil sie den Text tatsächlich unterschiedlich lesen, und Plank (2022) argumentiert, dass diese menschliche Label-Variation oft Signal ist und kein Rauschen. Aggregiere sie weg, und du hast genau das entsorgt, was die Daten interessant machte. (Ausführlicher dazu in Uneinigkeit ist Signal, kein Rauschen.)

Hier fängt es an, eine Rolle zu spielen, wer annotiert hat. NUTMEG (Ivey, Gauch und Jurgens, 2025) ist ein Bayes'sches Modell, das für genau dieses Spannungsfeld gebaut wurde: Es nutzt Hintergrundinformationen über die Annotierenden, um legitime, systematische Uneinigkeit von Rauschen zu trennen, entfernt also nachlässige Labels aus den Trainingsdaten und bewahrt die Uneinigkeit, die daran hängt, wer die annotierende Person ist. Das geht nur, wenn dieser Hintergrund überhaupt erhoben wurde. Wer eine Demografie-Befragung im Vorfeld durchführt (siehe Demografiedaten von Annotierenden verantwortungsvoll erheben und die Befragungsinstrumente von Potato), hat die Metadaten, die ein Modell im Stil von NUTMEG braucht; ohne sie bleibt nur, jede Uneinigkeit entweder ganz als Fehler oder ganz als Signal zu behandeln.

Umsetzung in Potato

Potato lässt MACE über deine Daten mit mehreren Annotierenden laufen und berichtet Kompetenz und abgeleitete Labels im Admin-Dashboard. Es arbeitet mit kategorialen Schemata (radio, likert, select, multiselect) und braucht echte Überlappung, mehrere Annotierende pro Element, um überhaupt etwas schätzen zu können.

yaml
mace:
  enabled: true
  trigger_every_n: 10            # re-estimate after every 10 new annotations
  min_annotations_per_item: 3    # ignore items with fewer than 3 labels
  min_items: 5                   # wait for at least 5 eligible items

Nach dem Durchlauf hat jede annotierende Person einen Kompetenzwert (nahe 1,0 heißt zuverlässig, unter 0,5 spricht für einen Spammer) und jedes Element ein vorhergesagtes Label plus einen Entropiewert. Niedrige Entropie heißt, das Modell ist sicher; Entropie nahe am Maximum heißt kein Konsens, was meist auf ein wirklich schwieriges oder unterspezifiziertes Element hinweist und nicht auf eine schlechte annotierende Person. Alle Optionen stehen in der Feature-Referenz zu MACE.

Zwei praktische Hinweise. Erstens: Aggregiere auf der Überlappung, die du tatsächlich erhoben hast, MACE braucht mehrere Labels pro Element, plane die Überlappung also vor der Studie und nicht danach. Zweitens: MACE liefert ein einzelnes Label; ist deine Aufgabe subjektiv, behalte lieber die Verteilung über ein soft_label-Schema und greife nur dort zur Adjudikation, wo du wirklich eine Antwort brauchst.

Wann aggregieren und wann die Streuung behalten

Eine grobe Entscheidungsregel:

  • Objektive Aufgabe, es gibt einen echten Lösungsschlüssel → auf ein Label aggregieren. Nimm MACE oder Mehrheitsentscheid und mach weiter.
  • Eher objektiv, aber einige Annotierende sind unzuverlässig → mit einem Kompetenzmodell (MACE) aggregieren statt mit schlichtem Mehrheitsentscheid, damit schwache Bewertende das Ergebnis nicht verschieben.
  • Subjektive Aufgabe, Uneinigkeit ist bedeutsam → die vollständige Verteilung behalten (soft_label), und wenn du Metadaten zu den Annotierenden hast, die Uneinigkeit modellieren statt sie zu löschen.

Weiterführende Lektüre