Pular para o conteúdo

Como medir a concordância entre anotadores em caixas delimitadoras

O IoU bruto não é concordância. Como medir se os anotadores concordam em caixas delimitadoras, polígonos e máscaras com correção de acaso, e por que detecção, classificação e localização precisam de números separados.

O IoU médio entre anotadores mede o quanto a tarefa é fácil, e não o quanto eles concordam. Em um corpus típico de detecção, ele fica em torno de 0,95 mesmo para anotadores que nunca olharam a imagem. Medir a concordância em rótulos espaciais significa corrigir o acaso e relatar detecção, classificação e localização como números separados.

Por que o IoU bruto engana

Considere um corpus em que cada imagem contém um objeto grande e centralizado. Dois anotadores que desenham uma caixa no meio terão grande sobreposição, e o IoU médio sairá em torno de 0,95. O mesmo vale para um anotador que desenhou uma caixa no meio sem olhar.

O número mede a tarefa, e não os anotadores. É o mesmo problema que a concordância percentual tem em rótulos categóricos, em que uma classe dominante infla a pontuação, e tem a mesma correção: corrigir o quanto de concordância a tarefa produz por acidente.

O mecanismo de consenso do CVAT e a etapa de consenso do V7 comparam anotadores com IoU bruto contra um limiar por classe. Nenhum dos dois aplica correção de acaso, e ambos são amplamente usados, de modo que uma "concordância de 0,9" relatada por qualquer um deles em geral não pode ser comparada com nada.

Por que não o α de Krippendorff sobre 1 − IoU

A correção óbvia é alimentar a distância de IoU no α de Krippendorff, que aceita qualquer função de distância. Aqui isso não funciona bem, e vale conhecer o motivo antes de construí-lo.

Braylan, Alonso e Lease (WWW 2022) avaliam funções de distância pelo critério de a pontuação resultante ordenar corretamente a qualidade dos anotadores. Para caixas delimitadoras, o α coloca a L2 simples (0,687) acima do IoU (0,505) e do GIoU (0,507), o que inverte a ordenação dada tanto pelas duas medidas baseadas em distribuição dos autores quanto pelos profissionais da área.

Estruturalmente, a distância de IoU é limitada a [0, 1] e satura. Duas caixas pareadas ao acaso quase sempre têm IoU 0, então a discordância esperada colapsa para cerca de 1, e o α degenera em 1 − mean distance, sem nenhuma correção de acaso restante. O IoU também é plano justamente onde importa: duas caixas que não se sobrepõem pontuam 0 estando encostadas ou em cantos opostos, então não há gradiente exatamente onde os anotadores discordam.

O que relatar em vez disso

Divida a pergunta em três

ComponentePerguntaMedida
DetecçãoEncontraram os mesmos objetos?α nominal sobre a presença
ClassificaçãoDeram o mesmo rótulo aos objetos pareados?α nominal sobre os rótulos
LocalizaçãoOs objetos pareados estão no mesmo lugar?σ e KS

Um anotador que encontra todos os objetos e rotula todos errado é um problema diferente de um que rotula corretamente mas desenha as caixas folgadas. Uma pontuação combinada não diz qual dos dois você tem, e os dois têm correções diferentes.

σ, com uma linha de base de acaso empírica

text
σ = 1 − mean(within-item distance) / mean(between-item distance)

Esta é a forma 1 − D_o/D_e do α generalizada para qualquer distância, com a linha de base de acaso estimada pela comparação de anotações de itens diferentes. σ = 0 significa que os anotadores concordam não mais do que concordariam em imagens sem relação.

Não trunque os valores negativos em zero. "Mais distantes na mesma imagem do que em imagens diferentes" é um estado real, e quase sempre indica que as diretrizes são ambíguas, e não que os anotadores são descuidados.

KS ao lado dele

A estatística de Kolmogorov–Smirnov de duas amostras entre as distribuições de distância dentro do item e entre itens. O σ compara duas médias e pode ser arrastado por alguns valores atípicos, enquanto o KS compara distribuições inteiras.

Relate os dois. Quando eles divergem, uma minoria de itens está carregando a maior parte da discordância, o que indica que vale ir olhar esses itens.

Máscaras precisam de outra ferramenta

Para máscaras de pixels, a pergunta "qual contorno registramos" não é a mesma que "eles concordam". Use o STAPLE (Warfield, Zou e Wells, 2004), que executa maximização de expectativa sobre os rótulos por pixel e estima uma sensibilidade e uma especificidade por anotador.

Sensibilidade e especificidade são relatadas separadamente porque têm correções opostas: sensibilidade baixa significa segmentar de menos, especificidade baixa significa segmentar demais, e um número único de acurácia pontua os dois casos de forma idêntica.

O STAPLE também supera o voto majoritário quando os anotadores cuidadosos são minoria. Com dois anotadores cuidadosos contra três ruidosos, o voto majoritário obtém Dice 0,846 em relação à verdade e o STAPLE obtém 1,000.

Caixas 3D precisam do IoU rotacionado exato

Para cuboides, use o IoU 3D rotacionado exato. Uma aproximação alinhada aos eixos relata uma discordância que é um artefato da medida assim que os dados têm arfagem e rolagem reais, o que ocorre em todas as varreduras de drone, de mão e de interiores.

Como fazer no Potato

yaml
agreement_metrics:
  enabled: true
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every vehicle."
    source_field: image
    tools: [bbox]
    labels:
      - {name: car, color: "#FF6B6B"}
      - {name: truck, color: "#4ECDC4"}
 
num_annotators_per_item:
  default: 2

Os relatórios aparecem em /admin/iaa. Duas propriedades merecem atenção.

  • Valores indefinidos se explicam. O α é genuinamente indefinido em um corpus unânime. Um NaN solto parece um cálculo quebrado e um 1.0 seria mentira.
  • Nada é truncado em silêncio. A comparação par a par é quadrática no número de anotadores e de instâncias por item, então existe um orçamento. Quando ele é atingido, o item é descartado por inteiro, em vez de medido pela metade, e o relatório informa quantos itens foram incluídos.

Lista de verificação

  1. Obtenha pelo menos duas anotações independentes por item. A concordância sobre um único anotador é indefinida, e não perfeita.
  2. Relate detecção, classificação e localização separadamente.
  3. Corrija o acaso em relação a uma linha de base estimada empiricamente, e não a um limiar fixo.
  4. Relate σ e KS em conjunto.
  5. Use o STAPLE para máscaras e o IoU 3D rotacionado para cuboides.
  6. Informe a cobertura. Um número calculado sobre uma amostra que se apresenta como completa será citado como completo.

Leitura adicional