Skip to content

Concordância entre anotadores, explicada

Um guia prático sobre concordância entre anotadores: acordo percentual, kappa de Cohen e de Fleiss, alfa de Krippendorff, quando usar cada métrica e como o Potato as reporta.

A concordância entre anotadores (IAA) mede com que frequência anotadores independentes atribuem o mesmo rótulo. É a evidência padrão de que uma tarefa de anotação está bem definida e de que os rótulos resultantes são confiáveis. Concordância baixa costuma significar que as diretrizes não estão claras, e não que os anotadores são descuidados.

O tema geral é a confiabilidade entre avaliadores. O Potato calcula a concordância em tempo real no painel de administração; veja Controle de qualidade.

Por que o acordo percentual bruto não basta

A medida mais simples é o acordo percentual: a fração de itens que os anotadores rotularam de forma idêntica. O problema é que parte da concordância acontece por acaso. Se dois anotadores escolhem "positivo" 90% das vezes, eles vão concordar na maior parte do tempo mesmo rotulando aleatoriamente. As medidas corrigidas pelo acaso resolvem isso.

Um coeficiente corrigido pelo acaso tem a forma:

text
        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

onde P_observed é a concordância real e P_expected é a concordância esperada por acaso. Um valor de 1 indica concordância perfeita; 0 indica o nível do acaso.

As três que você vai realmente usar

  • Kappa de Cohen: dois anotadores, rótulos categóricos. A escolha clássica para um par.
  • Kappa de Fleiss: mais de dois anotadores, rótulos categóricos, quando itens diferentes podem ser julgados por avaliadores diferentes.
  • Alfa de Krippendorff: a opção mais geral. Funciona com qualquer número de anotadores, lida com dados ausentes e admite dados nominais, ordinais, de intervalo e de razão. É o que o Potato reporta por padrão.

Use kappa para pares categóricos simples; recorra ao alfa de Krippendorff quando tiver muitos anotadores, sobreposição incompleta ou rótulos ordenados/contínuos (em que "errar por um" deveria pesar menos do que "errar por quatro").

Kappa de Fleiss ou alfa de Krippendorff com três anotadores?

Se os três anotadores rotularam todos os itens e os rótulos são categorias sem ordem, qualquer um dos dois coeficientes é defensável. Se faltar rótulo em algum item, ou se os rótulos forem ordenados, use o alfa de Krippendorff.

Os dois diferem no que pressupõem:

  • Rótulos faltando. O kappa de Fleiss espera o mesmo número de avaliações em cada item. Se um dos três anotadores pulou um item, você precisa descartar esse item. O alfa de Krippendorff usa todas as avaliações que tem.
  • Nível de mensuração. O kappa de Fleiss trata os rótulos como não ordenados, então numa escala de 1 a 5 um 4 contra um 5 conta como a mesma discordância que um 1 contra um 5. O alfa de Krippendorff aceita uma métrica de distância (nominal, ordinal, intervalar ou de razão) e pontua diferenças pequenas como discordâncias menores.
  • Amostras pequenas. O alfa de Krippendorff inclui uma correção para amostras pequenas, então num piloto de algumas dezenas de itens os dois podem se afastar mesmo quando os dados servem para ambos.

Com dados nominais completos e um número razoável de itens, os dois costumam ficar próximos. Relate o que sua área espera e informe no artigo o coeficiente e a métrica, porque "a concordância foi de 0,72" significa coisas diferentes em cada um.

O Potato relata o alfa de Krippendorff. Antes da versão 2.9, o alfa ordinal de uma escala Likert com rótulos em texto ordenava esses rótulos em ordem alfabética, o que na prática o tornava nominal. Se você relatou concordância ordinal em escalas com rótulos em texto usando uma versão anterior, recalcule depois de atualizar. Você também pode conferir uma tabela de rótulos no navegador com a calculadora de concordância, que calcula o alfa nominal, ordinal e intervalar junto com os kappas de Cohen e de Fleiss.

Como interpretar o número

Não existe um limiar universal, mas um guia aproximado comum para alfa/kappa é:

  • ≥ 0,80: bom o suficiente para confiar nos dados.
  • 0,67–0,80: utilizável para conclusões provisórias; investigue as discordâncias.
  • < 0,67: revise as diretrizes antes de confiar nos rótulos.

Trate esses valores como um convite a investigar, não como uma barreira de aprovado/reprovado. Olhe sempre quais itens e quais rótulos provocam a discordância.

Como medir no Potato

Faça os anotadores se sobreporem em um subconjunto compartilhado e depois ative o relatório de concordância:

yaml
agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

Para tarefas de trechos (span) e estruturadas, meça a concordância no nível que importa para você (correspondência exata do trecho versus sobreposição), porque as métricas em nível de documento escondem as discordâncias nos limites.

Quando a concordância é baixa

  1. Leia os itens em discordância: a diretriz é ambígua ou o item é genuinamente difícil?
  2. Refine as definições e adicione os casos difíceis como exemplos. Veja Redação de diretrizes de anotação.
  3. Faça um novo piloto. Se a concordância continuar baixa em tarefas genuinamente subjetivas, considere registrar a própria discordância em vez de forçar uma única resposta.

Leituras adicionais