Pular para o conteúdo

Medição e Integridade

O Potato relata concordância com correção de acaso sobre geometria, cuboides 3D, legendas e pontos de ruptura de modelos de mundo, concordância sem correção sobre segmentos de tempo, e registra como as anotações foram feitas.

Cada tipo de anotação do Potato vem com um jeito de medir se os anotadores concordam, com os seus modos de falha declarados, e para a maioria dos tipos essa medida tem correção de acaso. Isso inclui os tipos espaciais, nos quais o padrão da indústria é o IoU bruto ou a correspondência percentual, e nenhum dos dois tem correção de acaso. Os segmentos de tempo são a exceção: o Potato relata medidas sem correção para eles, e a concordância sobre o tempo explica o motivo.

Esta seção cobre as duas metades da pergunta: se os rótulos concordam e como foram produzidos.

O fio condutor

PerguntaMedida
Os anotadores encontraram os mesmos objetos?α de detecção
Chamaram-nos da mesma coisa?α de classificação
Colocaram-nos no mesmo lugar?σ e KS contra uma linha de base de acaso empírica
Em qual máscara confiamos?STAPLE
Concordam sobre quando um evento começa?IoU temporal e F1 de detecção, sem correção de acaso
Concordam sobre uma caixa 3D?IoU 3D rotacionado exato
Descrevem uma região da mesma forma?α com uma distância semântica sobre o texto
Concordam sobre quando o mundo quebrou?concordância de ponto de ruptura com uma varredura de tolerância
Um anotador é competente?MACE, para as partes genuinamente categóricas

Por que a correção de acaso

A concordância bruta é inflada sempre que uma resposta domina, e uma resposta quase sempre domina.

O caso mais claro é o espacial. Um corpus em que toda imagem contém um objeto grande e centralizado mostrará um IoU médio em torno de 0,95, não importa quem anote, inclusive anotadores que nunca olharam a imagem e desenharam uma caixa no meio. A correção de acaso é o que separa "estes anotadores concordam" de "esta tarefa é fácil demais para haver discordância".

A maioria das plataformas de anotação relata a concordância como IoU bruto, correspondência exata ou concordância percentual contra um trabalho de referência. São números úteis que respondem a uma pergunta diferente. Não encontramos nenhuma outra plataforma de anotação que relate um coeficiente com correção de acaso para rótulos espaciais.

Duas propriedades de projeto

Valores indefinidos se explicam. O α é genuinamente indefinido em um corpus unânime. Um NaN solto parece um cálculo quebrado e um 1.0 seria mentira, então o relatório diz qual dos dois é, em palavras.

Nada é truncado em silêncio. Um relatório que atinge o seu orçamento de comparações par a par diz isso e informa quantos itens foram incluídos. Um número calculado sobre uma amostra que se apresenta como calculado sobre tudo é pior do que nenhum número.

O bug que dá origem a esta camada

A adjudicação costumava comparar as chaves de uma anotação, e um esquema de imagem armazena tudo sob uma única chave chamada _data. Por isso, todo par de imagens obtinha concordância 1,0: dois anotadores que não concordavam em nada pareciam unânimes, e nenhuma imagem era encaminhada para revisão.

Isso foi corrigido, e é a razão de a camada de concordância ser embutida em cada tipo de anotação, em vez de acoplada por cima deles.

Como os dados foram feitos

A concordância não detecta dois anotadores concordando com confiança sobre algo errado, nem um pré-rótulo aceito sem ter sido lido. Duas superfícies tratam disso:

  • A telemetria de desenho registra o tempo por forma, a dinâmica dos traços, o número de revisões e a latência de aceitação de sugestões de IA.
  • O registro de teclas é o gêmeo do lado do texto, para saber como uma resposta de texto livre foi produzida.

Ambos são opcionais, e os anotadores veem um aviso de gravação.

Confiança e implantação

Relacionados