Medição e Integridade
O Potato relata concordância com correção de acaso sobre geometria, cuboides 3D, legendas e pontos de ruptura de modelos de mundo, concordância sem correção sobre segmentos de tempo, e registra como as anotações foram feitas.
Cada tipo de anotação do Potato vem com um jeito de medir se os anotadores concordam, com os seus modos de falha declarados, e para a maioria dos tipos essa medida tem correção de acaso. Isso inclui os tipos espaciais, nos quais o padrão da indústria é o IoU bruto ou a correspondência percentual, e nenhum dos dois tem correção de acaso. Os segmentos de tempo são a exceção: o Potato relata medidas sem correção para eles, e a concordância sobre o tempo explica o motivo.
Esta seção cobre as duas metades da pergunta: se os rótulos concordam e como foram produzidos.
O fio condutor
| Pergunta | Medida |
|---|---|
| Os anotadores encontraram os mesmos objetos? | α de detecção |
| Chamaram-nos da mesma coisa? | α de classificação |
| Colocaram-nos no mesmo lugar? | σ e KS contra uma linha de base de acaso empírica |
| Em qual máscara confiamos? | STAPLE |
| Concordam sobre quando um evento começa? | IoU temporal e F1 de detecção, sem correção de acaso |
| Concordam sobre uma caixa 3D? | IoU 3D rotacionado exato |
| Descrevem uma região da mesma forma? | α com uma distância semântica sobre o texto |
| Concordam sobre quando o mundo quebrou? | concordância de ponto de ruptura com uma varredura de tolerância |
| Um anotador é competente? | MACE, para as partes genuinamente categóricas |
Por que a correção de acaso
A concordância bruta é inflada sempre que uma resposta domina, e uma resposta quase sempre domina.
O caso mais claro é o espacial. Um corpus em que toda imagem contém um objeto grande e centralizado mostrará um IoU médio em torno de 0,95, não importa quem anote, inclusive anotadores que nunca olharam a imagem e desenharam uma caixa no meio. A correção de acaso é o que separa "estes anotadores concordam" de "esta tarefa é fácil demais para haver discordância".
A maioria das plataformas de anotação relata a concordância como IoU bruto, correspondência exata ou concordância percentual contra um trabalho de referência. São números úteis que respondem a uma pergunta diferente. Não encontramos nenhuma outra plataforma de anotação que relate um coeficiente com correção de acaso para rótulos espaciais.
Duas propriedades de projeto
Valores indefinidos se explicam. O α é genuinamente indefinido em um corpus unânime. Um NaN solto parece um cálculo quebrado e um 1.0 seria mentira, então o relatório diz qual dos dois é, em palavras.
Nada é truncado em silêncio. Um relatório que atinge o seu orçamento de comparações par a par diz isso e informa quantos itens foram incluídos. Um número calculado sobre uma amostra que se apresenta como calculado sobre tudo é pior do que nenhum número.
O bug que dá origem a esta camada
A adjudicação costumava comparar as chaves de uma anotação, e um esquema de imagem armazena tudo sob uma única chave chamada _data. Por isso, todo par de imagens obtinha concordância 1,0: dois anotadores que não concordavam em nada pareciam unânimes, e nenhuma imagem era encaminhada para revisão.
Isso foi corrigido, e é a razão de a camada de concordância ser embutida em cada tipo de anotação, em vez de acoplada por cima deles.
Como os dados foram feitos
A concordância não detecta dois anotadores concordando com confiança sobre algo errado, nem um pré-rótulo aceito sem ter sido lido. Duas superfícies tratam disso:
- A telemetria de desenho registra o tempo por forma, a dinâmica dos traços, o número de revisões e a latência de aceitação de sugestões de IA.
- O registro de teclas é o gêmeo do lado do texto, para saber como uma resposta de texto livre foi produzida.
Ambos são opcionais, e os anotadores veem um aviso de gravação.
Confiança e implantação
- Implantação isolada da rede (air-gapped) — todo recurso é servido a partir da sua instalação, verificado com zero requisições externas.
- Especificações legíveis por máquina — um JSON Schema e um documento OpenAPI, ambos gerados a partir do código e verificados na CI.