Concordância entre anotadores, explicada

A concordância entre anotadores (IAA) mede com que frequência anotadores independentes atribuem o mesmo rótulo. É a evidência padrão de que uma tarefa de anotação está bem definida e de que os rótulos resultantes são confiáveis. Concordância baixa costuma significar que as diretrizes não estão claras, e não que os anotadores são descuidados.

O tema geral é a confiabilidade entre avaliadores. O Potato calcula a concordância em tempo real no painel de administração; veja Controle de qualidade.

Por que o acordo percentual bruto não basta

A medida mais simples é o acordo percentual: a fração de itens que os anotadores rotularam de forma idêntica. O problema é que parte da concordância acontece por acaso. Se dois anotadores escolhem "positivo" 90% das vezes, eles vão concordar na maior parte do tempo mesmo rotulando aleatoriamente. As medidas corrigidas pelo acaso resolvem isso.

Um coeficiente corrigido pelo acaso tem a forma:

        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

onde P_observed é a concordância real e P_expected é a concordância esperada por acaso. Um valor de 1 indica concordância perfeita; 0 indica o nível do acaso.

As três que você vai realmente usar

• Kappa de Cohen: dois anotadores, rótulos categóricos. A escolha clássica para um par.
• Kappa de Fleiss: mais de dois anotadores, rótulos categóricos, quando itens diferentes podem ser julgados por avaliadores diferentes.
• Alfa de Krippendorff: a opção mais geral. Funciona com qualquer número de anotadores, lida com dados ausentes e admite dados nominais, ordinais, de intervalo e de razão. É o que o Potato reporta por padrão.

Use kappa para pares categóricos simples; recorra ao alfa de Krippendorff quando tiver muitos anotadores, sobreposição incompleta ou rótulos ordenados/contínuos (em que "errar por um" deveria pesar menos do que "errar por quatro").

Kappa de Fleiss ou alfa de Krippendorff com três anotadores?

Se os três anotadores rotularam todos os itens e os rótulos são categorias sem ordem, qualquer um dos dois coeficientes é defensável. Se faltar rótulo em algum item, ou se os rótulos forem ordenados, use o alfa de Krippendorff.

Os dois diferem no que pressupõem:

• Rótulos faltando. O kappa de Fleiss espera o mesmo número de avaliações em cada item. Se um dos três anotadores pulou um item, você precisa descartar esse item. O alfa de Krippendorff usa todas as avaliações que tem.
• Nível de mensuração. O kappa de Fleiss trata os rótulos como não ordenados, então numa escala de 1 a 5 um 4 contra um 5 conta como a mesma discordância que um 1 contra um 5. O alfa de Krippendorff aceita uma métrica de distância (nominal, ordinal, intervalar ou de razão) e pontua diferenças pequenas como discordâncias menores.
• Amostras pequenas. O alfa de Krippendorff inclui uma correção para amostras pequenas, então num piloto de algumas dezenas de itens os dois podem se afastar mesmo quando os dados servem para ambos.

Com dados nominais completos e um número razoável de itens, os dois costumam ficar próximos. Relate o que sua área espera e informe no artigo o coeficiente e a métrica, porque "a concordância foi de 0,72" significa coisas diferentes em cada um.

O Potato relata vários coeficientes de uma vez em vez de obrigar você a escolher um de antemão. Um esquema categórico recebe lado a lado o acordo percentual, o kappa de Cohen, o kappa de Fleiss e o alfa nominal, e um esquema ordenado recebe o kappa com ponderação linear, o kappa com ponderação quadrática, o rho de Spearman e o alfa ordinal. Antes da versão 2.9, o alfa ordinal de uma escala Likert com rótulos em texto ordenava esses rótulos em ordem alfabética, o que na prática o tornava nominal, então recalcule a concordância ordinal em escalas com rótulos em texto se você a relatou usando uma versão anterior. Até a versão 2.10.1, o alfa ordinal ponderava cada discordância pela diferença simples entre postos, o que não é a métrica ordinal de Krippendorff. A partir da 2.10.2 ele coincide com o alfa ordinal da calculadora, então recalcule qualquer alfa ordinal que você relatou com uma versão anterior. Você também pode conferir uma tabela de rótulos no navegador com a calculadora de concordância, que calcula o alfa nominal, ordinal e intervalar junto com os kappas de Cohen e de Fleiss.

Como interpretar o número

Não existe um limiar universal, mas um guia aproximado comum para alfa/kappa é:

• ≥ 0,80: bom o suficiente para confiar nos dados.
• 0,67–0,80: utilizável para conclusões provisórias; investigue as discordâncias.
• < 0,67: revise as diretrizes antes de confiar nos rótulos.

Trate esses valores como um convite a investigar, não como uma barreira de aprovado/reprovado. Olhe sempre quais itens e quais rótulos provocam a discordância.

Como medir no Potato

Faça os anotadores se sobreporem em um subconjunto compartilhado e depois ative o relatório de concordância:

agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

Para tarefas de trechos (span) e estruturadas, meça a concordância no nível que importa para você, porque as métricas em nível de documento escondem as discordâncias nos limites. Para esquemas de span, o Potato relata o kappa em nível de token, a F1 de trechos com correspondência exata e parcial, o alfa de Krippendorff sobre rótulos por caractere e uma forma simplificada do gama de Mathet, o que permite separar uma discordância sobre o rótulo de uma discordância sobre onde o trecho começa.

Quando a concordância é baixa

1. Leia os itens em discordância: a diretriz é ambígua ou o item é genuinamente difícil?
2. Refine as definições e adicione os casos difíceis como exemplos. Veja Redação de diretrizes de anotação.
3. Faça um novo piloto. Se a concordância continuar baixa em tarefas genuinamente subjetivas, considere registrar a própria discordância em vez de forçar uma única resposta.

Perguntas frequentes

As perguntas abaixo tratam da faixa de valores do alfa de Krippendorff, de como ele é calculado e da concordância com apenas dois anotadores.

O alfa de Krippendorff pode ser menor que -1?

Não. O alfa fica abaixo de 0 quando os anotadores discordam mais do que o acaso prevê, e se aproxima de -1 sem chegar a esse valor. Dois anotadores que discordam em cada um de N itens, usando dois rótulos com a mesma frequência, dão um alfa de exatamente -1 + 1/N, que é -0,8 para 5 itens e -0,95 para 20. Krippendorff (2011) aponta 0 a 1 como a faixa que importa para a confiabilidade e atribui valores abaixo de 0 a discordância sistemática ou a erro de amostragem. Um alfa claramente negativo indica discordância sistemática, como anotadores que leem uma escala em sentidos opostos, e pede uma revisão das diretrizes em vez de relatar o número.

Como calcular o alfa de Krippendorff?

O alfa é 1 menos a razão entre a discordância observada e a discordância esperada por acaso. A discordância observada vem de pares de rótulos atribuídos ao mesmo item, e a discordância esperada vem de pares tirados de todos os rótulos do estudo, com uma métrica de distância (nominal, ordinal, intervalar ou de razão) que decide quanto pesa cada divergência. O Potato calcula o alfa por esquema de anotação no painel de administração assim que min_overlap anotadores rotularam o mesmo item, e a calculadora de concordância calcula no navegador o alfa nominal, ordinal e intervalar a partir de uma tabela de rótulos.

Dá para calcular a concordância entre anotadores com apenas dois anotadores?

Sim. O kappa de Cohen foi criado exatamente para dois anotadores com rótulos categóricos, e o alfa de Krippendorff funciona tanto com dois anotadores quanto com mais. Os dois coeficientes exigem que os dois anotadores tenham rotulado os mesmos itens de forma independente, e com poucos itens a estimativa é instável, então relate o número de itens junto com o coeficiente.

Leituras adicionais

• Referência do recurso de controle de qualidade
• Padrões de referência e verificações de atenção
• Adjudicação e discordância