Controllo qualità senza etichette gold

Il modo standard di controllare la qualità dell'annotazione è piazzare elementi di cui conosci già la risposta e vedere chi sbaglia. Funziona, ma costruirli costa, verificano solo i casi che ti sei ricordato di piazzare e gli annotatori esperti imparano a riconoscerli. Due tecniche danno un segnale di qualità senza un solo elemento gold: i punteggi per peer prediction, che chiedono agli annotatori di prevedere cosa diranno gli altri, e il sondaggio controfattuale, che chiede se un'etichetta sopravvive a una piccola modifica. Potato le offre entrambe, come Truth Serum e Laboratorio dei confini di decisione (Boundary Lab).

Standard gold e verifiche di attenzione sono la risposta predefinita alla domanda «come faccio a sapere se i miei annotatori stanno attenti?», e se la meritano. Ma hanno tre costi reali.

Bisogna costruirli, il che significa tempo di esperti speso a etichettare elementi che già capisci. Coprono solo le modalità di fallimento che avevi previsto. E in qualunque task che duri a lungo, prima o poi gli annotatori li riconoscono. Un elemento gold riutilizzato è un elemento gold che smette di misurare qualsiasi cosa.

Le due tecniche qui sotto aggirano tutti e tre i problemi, e nessuna delle due richiede un LLM.

Peer prediction: chiedi cosa diranno gli altri

Dopo che un annotatore ha scelto un'etichetta, Truth Serum chiede una cosa in più:

Hai scelto Sarcastic. Quale percentuale degli altri annotatori sceglierà la tua stessa etichetta?

Uno slider, un clic. Quell'unico numero in più fa una quantità sorprendente di lavoro.

La scheda di previsione di Truth Serum

Perché la previsione è informativa

Il metodo è il principio della risposta sorprendentemente popolare (Prelec, Seung & McCoy 2017, Nature; costruito sul Bayesian truth serum di Prelec, 2004). La tesi è che la migliore stima della verità non sia la risposta più popolare, ma quella più popolare di quanto le persone avessero previsto.

Il ragionamento è questo. Chi sostiene una posizione minoritaria corretta di solito sa di essere in minoranza. Vede perché la maggior parte delle persone risponderebbe diversamente, e lo dice quando gli chiedi una previsione. Chi invece ha in testa un fraintendimento diffuso tende a dare per scontato che tutti la pensino come lui. Così, quando una risposta supera la popolarità che si era prevista per essa, quello scarto è indizio che chi la sceglie sa qualcosa che la folla non sa.

Il voto di maggioranza fallisce nel modo più netto esattamente dove una folla sicura di sé sbaglia e una minoranza informata ha ragione. È il caso per cui è pensato il punteggio sorprendentemente popolare.

truth_serum:
  enabled: true
  schema: sarcasm
  min_annotators: 5

Per quanto ne sappiamo, Potato è il primo strumento di annotazione a offrire punteggi per peer prediction.

Che cosa ne ricavi

Tre cose, e nessuna ha richiesto una griglia di risposte corrette.

Una coda «dove è probabile che la folla sbagli». Ogni elemento la cui etichetta sorprendentemente popolare differisce da quella di maggioranza. Sono gli elementi che meritano l'attenzione di un esperto, e di solito sono molti meno di quanti ne temevi.

Punteggi di calibrazione per annotatore. Quanto l'accordo previsto da ciascuno si discosta dall'accordo che ha davvero ottenuto. Chi prevede sistematicamente che il 90% degli altri sarà d'accordo con lui e sistematicamente ottiene il 55% ti sta dicendo qualcosa sulla propria consapevolezza. E l'hai scoperto senza piazzare niente.

Allineamento SP. Quanto spesso l'etichetta di ciascun annotatore coincide con il verdetto sorprendentemente popolare, che è un indicatore approssimativo dell'essere informati più che semplicemente accomodanti.

Una precisazione prima di citarlo: questa è la variante semplificata con previsione della propria risposta, in cui ogni annotatore prevede la popolarità dell'etichetta che ha scelto invece di una distribuzione completa su tutte le etichette. E min_annotators: 3 è un minimo assoluto, non una raccomandazione. È da cinque in su che i verdetti smettono di essere rumorosi.

Sonde controfattuali: chiedi se l'etichetta sopravvive a una modifica

Truth Serum trova gli elementi su cui la folla ha sbagliato. Boundary Lab trova un'altra cosa: i punti in cui il tuo codebook è ambiguo, e gli annotatori che non stanno davvero leggendo.

Nel momento in cui un'etichetta viene confermata, Potato mostra una modifica minima del testo e chiede se l'etichetta regge ancora.

Hai detto Polite. Reggerebbe anche dopo questa modifica?

Una sonda di Boundary Lab

Rispondere costa un clic. Ma proprio perché l'hai chiesto, l'annotazione ordinaria produce ora tre cose che una semplice esportazione di etichette non può dare.

Insiemi di contrasto, come sottoprodotto

Ogni sonda a cui si risponde è una coppia etichettata (originale, controfattuale). Cioè un insieme di contrasto: dati aumentati con controfattuali, del tipo che ha dimostrato di migliorare la robustezza dei modelli (Gardner et al. 2020, Evaluating Models' Local Decision Boundaries via Contrast Sets; Kaushik et al. 2020).

Costruire insiemi di contrasto è di norma un lavoro di annotazione a parte e costoso. Qui cadono fuori dall'etichettatura che stavi facendo comunque.

boundary_probing:
  enabled: true
  schema: politeness
  probes_per_item: 3
  include_invariance: true
  sources: [precomputed, llm, rules]

L'elenco sources è una catena di ripiego. Puoi distribuire controfattuali curati insieme ai tuoi dati, generarli con un LLM, oppure lasciare che il livello basato su regole li produca da trasformazioni lessicali come l'inversione delle negazioni, lo scambio degli intensificatori e i marcatori di cortesia. È quest'ultimo livello a permettere di usare Boundary Lab senza alcun LLM configurato, ed è il motivo per cui la funzionalità degrada in modo graduale invece di rompersi quando nessuno ha impostato una chiave API.

Controllo qualità invisibile

Alcune sonde sono sonde di invarianza: parafrasi che preservano il significato. «Mandami le slide prima della riunione» diventa «Prima della riunione, mandami le slide» (in originale: Send me the slides before the meeting → Before the meeting, send me the slides).

Un annotatore coerente non cambia mai etichetta di fronte a queste. Chi lo fa o non sta leggendo con attenzione o non ha un'idea stabile di cosa significhi l'etichetta. In entrambi i casi ti conviene saperlo, e l'hai scoperto senza piazzare un solo elemento fittizio. La sonda è indistinguibile dal lavoro ordinario, perché è lavoro ordinario.

La dashboard segnala gli annotatori sotto il 60% di risposte «regge» sulle sonde di invarianza.

Motivazioni sul confine

Quando un'etichetta cambia davvero, l'annotatore dice che cosa ha superato la linea: «please addolcisce l'ordine». Quelle motivazioni si accumulano in una mappa di dove esattamente la tua linea guida è sottospecificata, che è il materiale di partenza per una linea guida migliore.

La dashboard riporta anche la sensibilità di confine per etichetta: delle modifiche minime rivolte a ciascuna etichetta, quale quota l'ha davvero fatta cambiare. Un'etichetta con un tasso di cambiamento del 90% vive sul filo del rasoio e probabilmente ha bisogno di una definizione più chiara. Un'etichetta al 10% è robusta.

Quale delle due usare?

Rispondono a domande diverse, e si combinano.

Se il tuo timore è «l'etichetta di consenso potrebbe essere sbagliata sui casi difficili», parti da Truth Serum. Se è «non credo che il mio codebook sia abbastanza preciso, e non sono sicuro che tutti stiano leggendo», parti da Boundary Lab.

Nessuna delle due sostituisce la psicometria, che ti dice quanta fiducia dare a ciascuna etichetta e quali annotatori pesare di più. Insieme, tutte e tre danno uno studio in cui la qualità è misurata di continuo invece che a campione, e in cui nessuna misura dipende da una griglia di risposte che hai dovuto costruire prima.

Ulteriori letture

• Truth Serum e Laboratorio dei confini di decisione (Boundary Lab) — configurazione completa
• Etichette con barre di errore — distribuzioni a posteriori IRT e il rilevatore di errori nel codebook
• Standard gold e verifiche di attenzione — l'approccio classico, e quando è ancora quello giusto
• Controllo della qualità
• Scrivere linee guida di annotazione