Skip to content

Scrivere le linee guida di annotazione

Come scrivere un codebook di annotazione che produca etichette coerenti: definizioni chiare, esempi svolti, regole per i casi limite e un ciclo di pilota e revisione.

Le linee guida di annotazione (il «codebook») sono il regolamento che gli annotatori seguono. Quello che pesa di più sulla qualità delle etichette non è quanto sono dettagliate, ma se portano due persone attente a scegliere la stessa etichetta. Un codebook breve e preciso, con buoni esempi, batte uno lungo e vago.

Il tema si ricollega alla content analysis nelle scienze sociali, dove la costruzione dei codebook è studiata da decenni, ed è ciò che alla fine determina la tua affidabilità tra codificatori.

Che cosa contiene un buon codebook

  • Una definizione di una frase per etichetta, più una riga su che cosa l'etichetta non è. Le definizioni in negativo evitano i disaccordi più frequenti.
  • Esempi svolti, compresi quelli al limite. Elementi veri presi dai tuoi dati valgono più di esempi inventati.
  • Regole di precedenza. Quando due etichette potrebbero valere entrambe, di' quale prevale. È qui che la coerenza si vince o si perde.
  • Un valore predefinito per i casi dubbi e una via d'uscita (un'opzione «non si può dire»), così gli annotatori non tirano a indovinare in silenzio.

Metti le regole dove gli annotatori le vedono

Potato può mostrare le istruzioni e i tooltip per singola etichetta accanto ai controlli, così la regola sta nel punto in cui si decide e non in un documento a parte:

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]

L'opzione «non si può dire» conta: separa l'ambiguità reale dalle risposte tirate a caso, e questo tiene oneste le misure di accordo.

Prima il pilota, poi la revisione

Le linee guida non escono mai giuste al primo tentativo. Fai un piccolo pilota, guarda ogni elemento su cui gli annotatori si sono trovati in disaccordo e decidi se era poco chiara la linea guida o se l'elemento era davvero ambiguo. Correggi la linea guida e ripeti il pilota. Due o tre giri di solito bastano a stabilizzare l'insieme di etichette.

I gold standard e controlli di attenzione di Potato ti permettono di codificare i casi ormai risolti come verifiche, così anche gli annotatori successivi restano calibrati.

Approfondimenti