Skip to content

Adjudication e risoluzione dei disaccordi

Cosa fare quando gli annotatori sono in disaccordo, i flussi di adjudication, l'aggregazione per voto di maggioranza e i modelli statistici come MACE che pesano gli annotatori in base alla competenza.

Il disaccordo è normale e porta informazione. Risolverlo significa trasformare le etichette di più annotatori in un'unica etichetta affidabile, tramite revisione di un esperto, tramite aggregazione o tramite un modello statistico che pesa gli annotatori in base a quanto sono affidabili. Forzare una risposta unica troppo presto butta via il segnale su quali elementi siano davvero difficili.

Tre modi per risolvere

  1. Voto di maggioranza. Semplice e trasparente: si prende l'etichetta più frequente. Funziona bene quando gli annotatori si equivalgono e il task è chiaro, ma tratta un annotatore sbrigativo come uno scrupoloso.

  2. Adjudication da parte di un esperto. Gli elementi in disaccordo passano a un esperto che decide. È il metodo più accurato e il più costoso. Usalo per gli elementi che contano e dove l'aggregazione non è affidabile.

  3. Aggregazione statistica. Modelli come MACE (Multi-Annotator Competence Estimation) deducono l'affidabilità di ogni annotatore dal suo schema di accordo e producono un'etichetta pesata, la stima migliore, più un punteggio di competenza per annotatore. Così gli spammer vengono ridimensionati in automatico, senza controllare a mano ogni elemento. L'idea di fondo è quella dei modelli a variabili latenti per le etichette da crowdsourcing.

Un flusso di lavoro pratico

  • Raccogli annotazioni sovrapposte (più persone per elemento).
  • Aggrega con voto di maggioranza o con MACE per ottenere un'etichetta provvisoria e segnalare gli elementi con basso accordo.
  • Manda in adjudication solo gli elementi segnalati.
  • Riporta quello che impari nelle linee guida.

Potato supporta un flusso di adjudication in cui un revisore vede affiancate le etichette di tutti gli annotatori e registra la risposta risolta.

Quando il disaccordo è il dato

Nei task soggettivi, umorismo, offesa, emozione, un disaccordo che persiste può riflettere differenze reali tra le persone, non un errore. In quei casi conviene conservare l'intera distribuzione delle etichette (a volte si parla di soft label o di annotazione perspectivist) invece di collassarla su una risposta sola. Potato permette di raccogliere distribuzioni anziché forzare il consenso.

Approfondimenti