Skip to content

Gold standard e controlli di attenzione

Come usare elementi gold standard e controlli di attenzione per individuare gli annotatori poco accurati e tenere calibrato un progetto, con la configurazione di Potato.

I gold standard e i controlli di attenzione sono elementi di cui conosci già la risposta corretta. Mescolarli nel flusso di lavoro ti permette di misurare l'accuratezza di ogni annotatore e di scoprire chi va di fretta, chi non ha capito il task e chi cerca di aggirarlo. Sono la prima linea del controllo qualità delle annotazioni, soprattutto nel crowdsourcing.

Gold standard

Un elemento gold standard ha una risposta verificata da un esperto. Inseriscine qualcuno qua e là e confronta la risposta di ogni annotatore con quella nota: ottieni un punteggio di accuratezza per persona. Gli elementi gold possono essere silenziosi (servono solo per il punteggio) oppure dare un riscontro immediato (e allora servono per il training).

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

Costruisci il set gold a partire dai casi non ambigui che le tue linee guida hanno già risolto. Non usare come gold elementi davvero ambigui: puniresti annotatori bravi per scelte del tutto ragionevoli.

Controlli di attenzione

Un controllo di attenzione è un elemento la cui risposta è ovvia perché contenuta nell'istruzione stessa (per esempio, «per questo elemento seleziona In disaccordo»). Serve a individuare chi non sta leggendo. Potato può anche segnalare tempi sospetti, cioè risposte inviate più in fretta di quanto un essere umano impieghi a leggere.

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

Usare il segnale

  • Fissa una soglia di accuratezza per il superamento. Chi resta sotto può essere riformato o escluso.
  • Combinalo con una fase di training. Richiedi un punteggio sufficiente sugli elementi gold prima di passare al lavoro vero.
  • Non esagerare con i controlli. Troppi controlli infastidiscono gli annotatori bravi e fanno lievitare i costi. Basta una percentuale piccola e costante.

Per stimare la competenza degli annotatori e dedurre le etichette dal disaccordo per via statistica, vedi Aggiudicazione e disaccordo e il supporto per MACE in Potato.

Approfondimenti