Skip to content

Como escrever diretrizes de anotação eficazes

Como redigir um manual de anotação que produza rótulos consistentes, com definições claras, exemplos resolvidos, regras para casos-limite e um ciclo de teste-piloto e revisão.

As diretrizes de anotação (um "manual de codificação") são o regulamento que os anotadores seguem. O que mais determina a qualidade dos rótulos é se as diretrizes fazem duas pessoas cuidadosas escolherem o mesmo rótulo, não o quão detalhadas elas são. Um manual curto e preciso, com bons exemplos, supera um longo e vago.

Isso se conecta à análise de conteúdo nas ciências sociais, onde o desenho de manuais de codificação é estudado há décadas, e é o que, em última análise, determina a sua confiabilidade entre avaliadores.

O que um bom manual contém

  • Uma definição de uma frase por rótulo, além de uma linha sobre o que o rótulo não é. As definições negativas evitam as divergências mais comuns.
  • Exemplos resolvidos, incluindo os casos-limite. Itens reais dos seus dados superam os inventados.
  • Regras de desempate. Quando dois rótulos poderiam se aplicar, diga qual vence. É aqui que a consistência se ganha ou se perde.
  • Um padrão para "em caso de dúvida" e uma saída de emergência (uma opção de "não dá para dizer") para que os anotadores não adivinhem em silêncio.

Coloque as regras onde os anotadores as veem

O Potato pode mostrar as instruções e as dicas de cada rótulo bem ao lado dos controles, de modo que a diretriz fique no ponto de decisão, em vez de em um documento à parte:

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]
    tooltips:
      Toxic: "Insults, threats, identity attacks, or harassment."
      Not toxic: "Disagreement or strong opinion without an attack."
      Can't tell: "Not enough context to judge."

A opção "Can't tell" importa: ela separa a ambiguidade genuína dos palpites forçados, o que mantém honestas as suas métricas de concordância.

Faça o piloto e depois revise

As diretrizes nunca saem certas na primeira tentativa. Faça um pequeno teste-piloto, observe cada item em que os anotadores divergiram e decida se a diretriz estava obscura ou se o item era genuinamente ambíguo. Corrija a diretriz e refaça o piloto. Duas ou três rodadas costumam estabilizar o conjunto de rótulos.

Os padrões de referência e verificações de atenção do Potato permitem codificar os casos já resolvidos como verificações, para que os futuros anotadores continuem calibrados.

Leitura adicional