Skip to content

Annotationsrichtlinien schreiben

Wie du ein Codebuch für Annotation schreibst, das zu konsistenten Labels führt: klare Definitionen, durchgerechnete Beispiele, Regeln für Grenzfälle und eine Schleife aus Pilot und Überarbeitung.

Annotationsrichtlinien, also ein Codebuch, sind das Regelwerk, an das sich die Annotierenden halten. Was die Qualität der Labels am stärksten bestimmt, ist nicht der Detailgrad der Richtlinien, sondern ob sie dazu führen, dass zwei sorgfältige Menschen dasselbe Label wählen. Ein kurzes, scharfes Codebuch mit guten Beispielen schlägt ein langes und vages.

Das schließt an die Inhaltsanalyse in den Sozialwissenschaften an, wo der Entwurf von Codebüchern seit Jahrzehnten untersucht wird, und es entscheidet am Ende über deine Intercoder-Reliabilität.

Was in ein gutes Codebuch gehört

  • Eine Definition in einem Satz pro Label, dazu eine Zeile darüber, was das Label nicht meint. Negative Definitionen verhindern die häufigsten Uneinigkeiten.
  • Durchgerechnete Beispiele, auch Grenzfälle. Echte Elemente aus deinen Daten sind besser als erfundene.
  • Regeln für den Gleichstand. Wenn zwei Labels passen könnten, sag, welches gewinnt. Hier entscheidet sich die Konsistenz.
  • Eine Voreinstellung für den Zweifelsfall und einen Notausgang (eine Option wie nicht entscheidbar), damit niemand stillschweigend rät.

Die Regeln dorthin, wo sie gelesen werden

Potato kann Anweisungen und Tooltips pro Label direkt neben den Bedienelementen anzeigen. Die Richtlinie steht damit an der Stelle, an der entschieden wird, und nicht in einem separaten Dokument:

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]

Die Option „Can't tell“ ist wichtig: Sie trennt echte Mehrdeutigkeit von erzwungenem Raten und hält damit deine Übereinstimmungswerte ehrlich.

Erst pilotieren, dann überarbeiten

Richtlinien stimmen nie beim ersten Anlauf. Mach einen kleinen Pilot, sieh dir jedes Element an, bei dem die Annotierenden uneins waren, und entscheide, ob die Richtlinie unklar oder das Element wirklich mehrdeutig war. Bessere die Richtlinie aus und pilotiere erneut. Nach zwei bis drei Runden ist der Labelsatz meist stabil.

Mit Goldstandards und Aufmerksamkeitstests kannst du die geklärten Fälle als Prüfungen hinterlegen, damit auch später hinzukommende Annotierende kalibriert bleiben.

Weiterführende Lektüre