Pular para o conteúdo

Como anotar máscaras de segmentação de imagens

Polígonos, máscaras de pincel e clique para segmentar, quando cada um é a ferramenta certa, como escrever diretrizes de contorno que os anotadores consigam seguir e como medir a concordância em uma máscara.

A segmentação rotula quais pixels pertencem a um objeto, e quase toda a sua dificuldade está na regra de contorno, e não na ferramenta de desenho. Dois anotadores que recebem a mesma imagem e nenhuma regra sobre sombras vão discordar de forma sistemática, e nenhuma quantidade de ferramentas resolve isso.

Polígono ou máscara

PolígonoMáscara de pincel
Buracos e partes desconectadasDesajeitadoNatural
Estruturas finas (fios, cabelo, pernas)RuimBom
Suporte de formatosAmplo: COCO, YOLO, CVAT, LabelMeMais restrito: COCO RLE, DAVIS, PNG de máscara
EditabilidadeMover um vérticeRepintar uma região
ArmazenamentoPequenoGrande, a menos que seja esparso

Polígonos passam por mais formatos de ida e volta, o que importa se os rótulos precisam sair da ferramenta. Máscaras são a resposta honesta quando o objeto realmente tem buracos ou fiapos.

Se você tiver dúvida, olhe para o que o modelo que consome os rótulos precisa. Um modelo de segmentação semântica consome máscaras de qualquer forma, e a questão é apenas o que os anotadores acham menos sujeito a erro.

Escreva primeiro a regra de contorno

Esta é a parte que determina o seu número de concordância. Decida e dê exemplos para os pontos a seguir.

  • Sombra e reflexo. Dentro ou fora? De forma consistente.
  • Partes transparentes e translúcidas. Um copo, um para-brisa, uma sacola plástica.
  • Estruturas finas. A partir de onde um fio deixa de valer a pena ser traçado?
  • Oclusão. Mascarar apenas a parte visível ou inferir o objeto inteiro?
  • Contato. Duas instâncias encostadas: onde exatamente fica a divisão?
  • Desfoque de movimento. Onde fica o contorno de uma borda borrada?

Um único exemplo resolvido por regra vale mais do que um parágrafo de prosa. Se os anotadores ainda discordarem depois disso, você verá isso como σ baixo com concordância de detecção alta. Eles estão encontrando os mesmos objetos e desenhando-os de forma diferente, o que é um problema de diretrizes, e não de descuido.

Comece por um modelo

O clique para segmentar dá uma primeira passada em cerca de 130 ms, no navegador, sem GPU:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

Cliques positivos acrescentam à máscara, cliques negativos recortam, uma caixa restringe a busca e uma máscara existente pode ser refinada.

A correção é o valor da anotação. Se os seus anotadores aceitarem a primeira máscara todas as vezes, você terá coletado um registro do modelo concordando consigo mesmo. Veja como distinguir revisão de carimbo automático, porque as estatísticas de concordância não vão avisar.

Como medir a concordância em máscaras

Não use o IoU médio entre anotadores. Ele responde "esta tarefa é fácil?", e não "estes anotadores concordam?". Veja o porquê em como medir a concordância em caixas delimitadoras.

Use o STAPLE, que estima um contorno de consenso latente junto com uma sensibilidade e uma especificidade por anotador:

  • Sensibilidade baixa significa segmentar de menos, desenhando por dentro do contorno verdadeiro.
  • Especificidade baixa significa segmentar demais, desenhando com folga ao redor dele.

Os dois têm correções opostas, e é por isso que um número único de acurácia não basta para dar feedback a um anotador.

O STAPLE também pondera pela confiabilidade demonstrada, em vez de contar votos. Dois anotadores cuidadosos superados por três ruidosos, por três a dois, obtêm Dice 0,846 no voto majoritário e 1,000 no STAPLE.

Exportação

O COCO carrega polígonos e máscaras RLE, incluindo as regiões de multidão iscrowd. O DAVIS carrega máscaras por instância. O YOLO carrega polígonos, mas não máscaras. Confira a matriz de formatos antes de se comprometer com um fluxo de máscaras, se os rótulos precisam terminar em um lugar específico.

Leitura adicional