Quando um modelo inventa alguma coisa, um joinha para baixo na resposta inteira não diz quase nada. Você sabe que há um erro em algum lugar. Não sabe qual frase, que tipo de erro, nem o quão grave ele é. A anotação de spans resolve isso: o anotador destaca as palavras exatas e rotula o que está errado nelas.

Essa é a mesma ideia por trás do MQM, o framework de spans de erro que a avaliação de tradução automática usa há anos. Marque o span, categorize o erro, classifique a severidade. O resultado são dados sobre os quais você realmente consegue agir.

Por que spans superam sinalizações da resposta inteira

Um rótulo "não fiel" na resposta inteira é uma estatística resumida. Um span é uma localização e um diagnóstico. Com spans você consegue medir taxas de erro por tipo, identificar padrões em muitas saídas e construir dados de treinamento direcionados para o modo de falha que importa para você. Nada disso é possível quando a unidade de julgamento é a resposta inteira.

Configurando no Potato

Destaque o texto problemático, rotule o tipo de erro e adicione um julgamento de severidade para que um deslize trivial e uma fabricação perigosa não recebam o mesmo peso.

yaml

annotation_schemes:
  - annotation_type: span
    name: errors
    description: "Highlight each problematic span and label the error type."
    labels: [unsupported_claim, factual_error, contradiction, fabricated_citation]
    label_colors:
      unsupported_claim: "#f59e0b"
      factual_error: "#ef4444"
      contradiction: "#8b5cf6"
      fabricated_citation: "#ec4899"
  - annotation_type: radio
    name: severity
    description: "How serious is the worst error?"
    labels: [Minor, Major, Critical]

As regras que definem a qualidade dos seus dados

Dê aos anotadores o material de origem. "Sem suporte" é indefinível sem ele, então os documentos ou o contexto precisam estar na tela, e não atrás de uma aba.

Decida sua regra de fronteira uma vez. O span cobre a frase inteira ou apenas a cláusula falsa? Ambas são defensáveis; escolha uma e coloque por escrito.

Espere subjetividade nos limites. Julgamentos de fidelidade divergem em casos limítrofes, então colete sobreposição em uma amostra e verifique a concordância antes de confiar nos números.

Para onde ir agora

O passo a passo completo, incluindo como definir cada tipo de erro, está no guia Detectando Alucinações. Para a versão deste problema baseada em recuperação, veja Avaliação de RAG e o guia de anotação de spans. Para detalhes de implementação, consulte a documentação de origem de spans de erro.