Skip to content
Guides7 min read

Misurare come i suggerimenti di un LLM ancorano gli annotatori con item in cieco

Chi vede l'etichetta di un LLM dà etichette diverse da chi non la vede. Nascondi il suggerimento su un campione casuale e confronta i due accordi.

Potato Team

Un annotatore che vede l'etichetta suggerita da un LLM tende a dare quell'etichetta, quindi l'accordo tra persone e modello è più alto quando il suggerimento è sullo schermo che quando non c'è. Nascondi il suggerimento su un campione casuale di item, misura l'accordo su quegli item in cieco e usa l'accordo in cieco, invece dell'accordo complessivo, per decidere quanto fidarti del modello.

L'ancoraggio è la tendenza di un numero o di una risposta vista per prima ad attirare verso di sé un giudizio successivo. Nell'annotazione l'àncora è una pre-etichetta, un suggerimento del modello che l'annotatore accetta o corregge. L'ancoraggio è diverso dall'approvazione a occhi chiusi, in cui un annotatore accetta i suggerimenti senza leggerli. Anche un annotatore attento che legge ogni suggerimento può essere ancorato, perché su un item ambiguo la risposta suggerita è già sulla pagina. I segnali di tempo intercettano l'approvazione a occhi chiusi, come descrive L'accordo non può intercettare l'approvazione a occhi chiusi. Un annotatore ancorato, però, può dedicare a un item un tempo normale, quindi il tempo non separa l'ancoraggio dal giudizio indipendente.

Le prove che i suggerimenti cambiano le etichette

Un esperimento preregistrato (Schroeder et al., 2025) ha raccolto 7.000 annotazioni su task soggettivi da 350 crowdworker, in 4 condizioni, con 2 modelli e 2 dataset. Mostrare i suggerimenti dell'LLM non ha reso gli annotatori più veloci, ma ha alzato la confidenza che dichiaravano. Gli annotatori accettavano i suggerimenti abbastanza spesso da cambiare in modo significativo la distribuzione delle etichette rispetto agli annotatori che non ne vedevano. Quando le etichette prodotte con l'assistenza dell'LLM sono state usate per valutare l'LLM, le sue prestazioni riportate sono salite in modo significativo.

L'accordo tra un modello e revisori che hanno visto i suoi suggerimenti è quindi in parte accordo tra il modello e sé stesso. Qualsiasi decisione che poggia su quel numero, come affidare al modello il resto di un corpus quando l'accordo supera il 90%, viene presa su una cifra gonfiata.

Gli item in cieco e lo scarto di ancoraggio

Prima che inizi l'annotazione, scegli una quota casuale di item che l'annotatore etichetta senza il suggerimento. Sugli altri il suggerimento compare come al solito. Il confronto tra i due dà tre numeri:

  • l'accordo in cieco, tra il modello e le etichette date senza il suo suggerimento, che stima quanto spesso il modello ha ragione;
  • l'accordo con suggerimento visibile, tra il modello e le etichette date con il suo suggerimento sullo schermo; e
  • lo scarto di ancoraggio, cioè l'accordo con suggerimento visibile meno l'accordo in cieco, che stima di quanto il suggerimento sposta le persone.

Gli item in cieco vanno scelti a caso e fissati per tutto lo studio. Scegliere gli item più difficili, o lasciare che un annotatore decida quando guardare, rende il campione in cieco non rappresentativo, e l'accordo in cieco a quel punto non stima nulla sul resto del corpus. Un'etichetta conta come in cieco solo se l'annotatore non ha mai visto un suggerimento per quell'item, quindi una nuova etichettatura dopo un disaccordo va con le etichette date con il suggerimento visibile.

La quota in cieco è un compromesso tra velocità e prove. Ogni item in cieco viene etichettato senza il tempo che un suggerimento fa risparmiare, e troppo pochi item in cieco rendono rumoroso l'accordo in cieco. I default di Potato sono una quota del 20% con un minimo di 20 item in cieco. Con quella quota uno studio di 20 item produce solo circa 4 item in cieco, quindi fissa il minimo a quanto il corpus può dare.

I suggerimenti in cieco in Solo Mode

Solo Mode è la configurazione di Potato per un esperto che lavora con un LLM. L'LLM etichetta il corpus, l'esperto etichetta accanto a lui, e Solo Mode affida gli item rimanenti all'LLM quando l'accordo dell'esperto con esso supera end_human_annotation_agreement. Prima di Potato 2.11 quell'accordo veniva misurato su etichette date con il suggerimento visibile. Dalla 2.11, solo_mode.suggestions controlla quando compare il suggerimento:

yaml
solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample nasconde il suggerimento su un 20% fisso degli item, scelto una volta per lo studio, così un ricaricamento o un riavvio tengono in cieco gli stessi item. after_label non mostra mai il suggerimento per primo, e quando l'esperto e l'LLM non sono d'accordo, la pagina di risoluzione mostra l'etichetta dell'LLM e il suo ragionamento. Quando ci sono 20 confronti in cieco, il passaggio di consegne confronta con la soglia l'accordo in cieco invece dell'accordo complessivo.

La scheda Blind Agreement della dashboard mostra affiancati l'accordo in cieco e quello con suggerimento visibile, lo scarto tra i due e quanto spesso l'esperto ha preso il suggerimento con il pulsante Accept. Lo scarto viene riportato quando ciascun lato ha almeno 5 confronti. Uno scarto positivo grande significa che l'esperto concorda con l'LLM più spesso quando può vederne la risposta. In quel caso, tieni in cieco più item oppure passa a after_label.

La calibrazione in cieco nel motore di etichettatura

Il motore di etichettatura di Potato, anch'esso nuovo nella 2.11, applica la stessa regola a ogni etichetta che usa come prova. Le richieste di calibrazione, certificazione e audit vengono estratte a caso con probabilità di inclusione registrate, e finché una persona ne ha una in carico, il server nasconde ogni risposta della macchina per quell'item. Pre-annotazioni, giudice inline e assistente IA sono tutti disattivati, e l'item resta in cieco per quella persona anche dopo che l'ha salvato. Il motore certifica le etichette automatiche solo rispetto a queste etichette in cieco.

Le richieste di verifica sono il caso opposto. Mostrano la risposta della macchina, chiedono alla persona di tenerla o di cambiarla e registrano la risposta precompilata, così puoi misurare quanto spesso le persone la accettano. Il motore non usa mai le risposte di verifica per certificare, perché sono ancorate per costruzione. Impostando humans.verify_visibility: blind anche le richieste di verifica vengono servite senza la risposta, al prezzo del tempo che un suggerimento fa risparmiare.

I limiti di un campione in cieco

Un campione in cieco misura il modello rispetto a persone senza assistenza, che è il riferimento giusto solo se le persone senza assistenza sono affidabili sul task. In un task soggettivo in cui annotatori attenti sono in disaccordo tra loro, l'accordo in cieco ha un tetto sotto il 100%, e un modello può trovarsi proprio su quel tetto. Confronta l'accordo del modello con le persone con l'accordo delle persone tra loro, come descrive Accordo dei giudici LLM, prima di leggere un accordo in cieco basso come segno di un modello debole.

Un campione in cieco lascia inoltre come sono le etichette date con un suggerimento visibile. Quelle etichette restano ancorate, e un dataset costruito per lo più con esse eredita le preferenze del modello. Riporta l'accordo in cieco e lo scarto di ancoraggio insieme al dataset, e imposta display: blind_sample prima che venga etichettato il primo item, perché gli item etichettati con il suggerimento visibile non possono essere resi ciechi in seguito.

Approfondimenti

Riferimenti

  1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323