Skip to content

Quanti annotatori servono?

Come scegliere il numero di annotatori e la sovrapposizione in un progetto di annotazione, bilanciando accordo, costi e affidabilità statistica, con le impostazioni di Potato.

Non esiste un numero giusto valido sempre, ma la decisione dipende da tre leve: quante persone etichettano ogni elemento (la sovrapposizione), quanto è chiaro il task e quanto puoi spendere. I task chiari richiedono poca sovrapposizione, quelli soggettivi molta di più. Questa guida raccoglie alcune regole pratiche e le impostazioni per applicarle.

Sovrapposizione o copertura

Ogni budget di annotazione si divide tra due obiettivi:

  • Copertura: etichettare più elementi distinti (ciascuno una volta sola).
  • Sovrapposizione: etichettare gli stessi elementi più volte, il che ti dà stime di accordo e la possibilità di aggregare.

Non puoi massimizzare entrambi. Uno schema diffuso: sovrapponi completamente un sottoinsieme per misurare l'accordo, poi, quando ti fidi del task, fai annotare il resto una volta sola.

Regole pratiche

  • Task oggettivi (categorie chiare, accordo alto): 1 annotatore per la maggior parte degli elementi, con una sovrapposizione 2–3× su un campione del 5–10% per tenere sotto controllo la qualità.
  • Task moderatamente soggettivi: 3 annotatori per elemento, con risoluzione a maggioranza o tramite MACE.
  • Task molto soggettivi (offensività, emozione, preferenza): 5 o più annotatori per elemento, e valuta di conservare l'intera distribuzione delle etichette invece di ridurla a una sola.

Più annotatori riducono la varianza dell'etichetta aggregata di un elemento, ma con rendimenti decrescenti: passare da 1 a 3 aiuta molto più che passare da 7 a 9.

Impostare la sovrapposizione in Potato

L'assegnazione dei task di Potato controlla quanti annotatori vedono ogni elemento e come gli elementi vengono distribuiti.

yaml
automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

Non dimenticare i controlli di qualità

Il numero di persone non serve a niente se alcuni annotatori sono inaffidabili. Affianca alla sovrapposizione gold standard e controlli di attenzione, così puoi pesare o escludere il lavoro scadente prima di aggregare.

Approfondimenti