Skip to content
Guides7 min read

Como medir com itens cegos a ancoragem das sugestões de LLM nos anotadores

Anotadores que veem o rótulo de um LLM dão rótulos diferentes dos que não veem. Esconda a sugestão numa amostra aleatória e compare a concordância cega e a visível.

Potato Team

Um anotador que vê o rótulo sugerido por um LLM tende a dar esse rótulo, então a concordância entre as pessoas e o modelo é maior quando a sugestão está na tela do que quando não está. Esconda a sugestão em uma amostra aleatória de itens, meça a concordância nesses itens cegos e use a concordância cega, e não a concordância geral, para decidir o quanto confiar no modelo.

Ancoragem é a tendência de um número ou uma resposta vista primeiro puxar um julgamento posterior para perto dela. Na anotação, a âncora é um pré-rótulo, uma sugestão do modelo que o anotador aceita ou corrige. A ancoragem é diferente da aprovação no automático, em que um anotador aceita sugestões sem lê-las. Um anotador cuidadoso que lê todas as sugestões ainda pode ser ancorado, porque em um item ambíguo a resposta sugerida já está na página. Sinais de tempo detectam a aprovação no automático, como descreve A concordância não detecta a aprovação no automático. Um anotador ancorado, porém, pode gastar um tempo normal em um item, então o tempo não separa a ancoragem de um julgamento independente.

Evidências de que as sugestões mudam os rótulos

Um experimento pré-registrado (Schroeder et al., 2025) coletou 7.000 anotações em tarefas subjetivas de 350 trabalhadores de crowdsourcing, em 4 condições, 2 modelos e 2 conjuntos de dados. Mostrar sugestões de LLM não deixou os anotadores mais rápidos, mas aumentou a confiança que eles mesmos relatavam. Os anotadores aceitaram as sugestões com frequência suficiente para mudar significativamente a distribuição de rótulos em comparação com anotadores que não viram nenhuma. Quando os rótulos feitos com ajuda do LLM foram usados para avaliar o LLM, o desempenho relatado dele subiu significativamente.

A concordância entre um modelo e revisores que viram suas sugestões é, portanto, em parte a concordância do modelo consigo mesmo. Qualquer decisão que se apoie nesse número, como entregar o resto de um corpus ao modelo quando a concordância passa de 90%, é tomada com base em um número inflado.

Itens cegos e a diferença de ancoragem

Antes de a anotação começar, escolha uma fração aleatória de itens que o anotador rotula sem a sugestão. Nos demais, a sugestão aparece como de costume. Comparar os dois grupos dá três números:

  • concordância cega, entre o modelo e os rótulos dados sem a sugestão dele, que estima com que frequência o modelo acerta;
  • concordância visível, entre o modelo e os rótulos dados com a sugestão dele na tela; e
  • a diferença de ancoragem, a concordância visível menos a concordância cega, que estima o quanto a sugestão desloca as pessoas.

Os itens cegos precisam ser escolhidos ao acaso e fixados para o estudo. Escolher os itens mais difíceis, ou deixar o anotador decidir quando olhar, torna a amostra cega não representativa, e a concordância cega deixa então de estimar qualquer coisa sobre o resto do corpus. Um rótulo também só conta como cego se o anotador nunca viu uma sugestão para aquele item, então uma nova rotulagem depois de uma discordância fica com os rótulos visíveis.

A fração cega é um equilíbrio entre velocidade e evidência. Todo item cego é rotulado sem o tempo que uma sugestão economiza, e itens cegos de menos deixam a concordância cega ruidosa. Os padrões do Potato são uma fração de 20% com um mínimo de 20 itens cegos. Com essa fração, um estudo de 20 itens produz só cerca de 4 itens cegos, então ajuste o mínimo ao que o corpus consegue dar.

Sugestões cegas no Modo Solo

O Modo Solo é a configuração do Potato para um especialista trabalhando com um LLM. O LLM rotula o corpus, o especialista rotula ao lado dele, e o Modo Solo entrega os itens restantes ao LLM quando a concordância do especialista com ele passa de end_human_annotation_agreement. Antes do Potato 2.11, essa concordância era medida em rótulos dados com a sugestão visível. A partir da 2.11, solo_mode.suggestions controla quando a sugestão aparece:

yaml
solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample esconde a sugestão em uma fração fixa de 20% dos itens, escolhida uma vez para o estudo, de modo que recarregar a página ou reiniciar o servidor mantém os mesmos itens cegos. after_label nunca mostra a sugestão primeiro e, quando o especialista e o LLM discordam, a página de resolução mostra o rótulo do LLM e o raciocínio dele. Quando há 20 comparações cegas, a passagem para o LLM compara a concordância cega com o limiar em vez da concordância geral.

O cartão Blind Agreement do painel mostra lado a lado a concordância cega e a visível, a diferença entre elas e com que frequência o especialista aceitou a sugestão pelo botão Accept. A diferença é relatada quando cada lado tem pelo menos 5 comparações. Uma diferença positiva grande significa que o especialista concorda com o LLM mais vezes quando consegue ver a resposta dele. Nesse caso, mantenha mais itens cegos ou mude para after_label.

Calibração cega no motor de rotulagem

O motor de rotulagem do Potato, também novo na 2.11, aplica a mesma regra a todo rótulo que usa como evidência. As solicitações de calibração, certificação e auditoria são sorteadas ao acaso, com probabilidades de inclusão registradas, e enquanto uma pessoa tem uma em mãos, o servidor retém todas as respostas de máquina para aquele item. As pré-anotações, o juiz inline e o assistente de IA ficam todos desligados, e o item continua cego para essa pessoa depois que ela o salva. O motor certifica rótulos de máquina apenas contra esses rótulos cegos.

As solicitações de verificação são o caso oposto. Elas mostram a resposta da máquina, pedem à pessoa que a mantenha ou a altere e registram a resposta pré-preenchida, para que você possa medir com que frequência as pessoas a aceitam. O motor nunca usa respostas de verificação para certificar, porque elas são ancoradas por construção. Definir humans.verify_visibility: blind serve também as solicitações de verificação sem a resposta, ao custo do tempo que uma sugestão economiza.

Limites de uma amostra cega

Uma amostra cega mede o modelo contra pessoas sem ajuda, que só são a referência certa se pessoas sem ajuda forem confiáveis na tarefa. Em uma tarefa subjetiva em que anotadores cuidadosos discordam entre si, a concordância cega tem um teto abaixo de 100%, e um modelo pode estar nesse teto. Compare a concordância do modelo com as pessoas à concordância das pessoas entre si, como descreve Concordância de juízes LLM, antes de ler uma concordância cega baixa como sinal de um modelo fraco.

Uma amostra cega também deixa como estão os rótulos dados com uma sugestão visível. Esses rótulos continuam ancorados, e um conjunto de dados feito principalmente com eles herda as preferências do modelo. Relate a concordância cega e a diferença de ancoragem junto com o conjunto de dados e defina display: blind_sample antes de o primeiro item ser rotulado, já que itens rotulados com a sugestão visível não podem se tornar cegos depois.

Leitura adicional

Referências

  1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323