Adjudicação e resolução de divergências
O que fazer quando os anotadores discordam: fluxos de adjudicação, agregação por voto majoritário e modelos estatísticos como o MACE, que ponderam os anotadores pela competência.
A divergência é normal e informativa. Resolvê-la significa transformar os rótulos de vários anotadores em um único rótulo confiável, seja por revisão de especialista, por agregação ou por um modelo estatístico que pondera os anotadores pela sua confiabilidade. Forçar uma resposta única cedo demais descarta o sinal sobre quais itens são realmente difíceis.
Três formas de resolver
-
Voto majoritário. Simples e transparente: adota-se o rótulo mais comum. Funciona bem quando os anotadores têm nível parecido e a tarefa é clara, mas trata um anotador descuidado igual a um cuidadoso.
-
Adjudicação por especialista. Encaminhe os itens com divergência a um especialista, que dá a palavra final. É o mais preciso e o mais caro. Use nos itens que importam e onde a agregação não é confiável.
-
Agregação estatística. Modelos como o MACE (Multi-Annotator Competence Estimation) inferem a confiabilidade de cada anotador a partir do seu padrão de concordância e produzem um rótulo de "melhor palpite" ponderado, além de uma pontuação de competência por anotador. Isso reduz o peso dos spammers automaticamente, sem conferir cada item à mão. Veja a ideia subjacente dos modelos de variável latente para rótulos de crowdsourcing.
Um fluxo de trabalho prático
- Colete anotações sobrepostas (várias pessoas por item).
- Agregue com voto majoritário ou MACE para obter um rótulo provisório e marque os itens de baixa concordância.
- Envie apenas os itens marcados para a adjudicação por especialista.
- Realimente o que você aprendeu nas diretrizes.
O Potato oferece um fluxo de adjudicação em que o revisor vê lado a lado os rótulos de todos os anotadores e registra a resposta resolvida.
Quando a divergência é o próprio dado
Em tarefas subjetivas (humor, ofensa, emoção), a divergência persistente pode refletir diferenças reais entre as pessoas, não erro. Nesses casos, considere manter a distribuição completa dos rótulos (às vezes chamada de soft labels ou anotação perspectivista) em vez de reduzir tudo a uma resposta. O Potato permite registrar distribuições em vez de forçar o consenso.