Concordância sobre o tempo
O que o Potato relata quando os anotadores marcam segmentos de tempo e pontos de ruptura, por que a concordância de segmentos não tem correção de acaso e por que a concordância de pontos de ruptura é uma varredura de tolerância.
Dois anotadores que marcam quando um evento começa não escolherão o mesmo quadro, então a concordância temporal precisa dizer a que distância ainda conta como concordar. O Potato responde a isso de forma diferente para segmentos de tempo e para pontos de ruptura: os segmentos são pareados por IoU temporal acima de um limiar, e os pontos de ruptura são relatados ao longo de uma varredura de tolerâncias.
Medidas para segmentos de tempo
Para segmentos de áudio e vídeo, o relatório de concordância compara cada par de anotadores em cada item e calcula a média de quatro números:
| Pergunta | Medida |
|---|---|
| Quão bem os dois conjuntos de segmentos concordam no geral? | Concordância média, que penaliza contornos frouxos, segmentos perdidos e rótulos divergentes |
| Quão próximos estão os limites quando os dois anotadores encontraram o segmento? | IoU temporal médio dos pareados |
| Encontraram os mesmos segmentos? | F1 de detecção no limiar de pareamento, 0,5 por padrão |
| Marcaram o mesmo número de segmentos? | Diferença média na contagem de segmentos |
Os segmentos são pareados apenas pelo IoU temporal. Os rótulos contam somente na concordância média, na qual um par pareado com rótulos diferentes ganha metade do seu IoU, então nenhum número sozinho diz com que frequência os anotadores concordam sobre o rótulo. Um par em que nenhum dos anotadores marcou nada é contado, mas não pontuado, já que duas respostas vazias não são evidência de concordância.
A varredura de tolerância para pontos de ruptura
Pontos de ruptura são instantes únicos, como o momento em que um episódio de robô dá errado, e dois deles contam como a mesma marca quando caem dentro de uma janela de tolerância. Todo número passa a depender dessa janela, então o relatório de episódios de robôs os calcula em 0,04, 0,25, 0,5, 1 e 2 segundos e mostra os cinco.
Relatar um único limiar convida o leitor a presumir a tolerância que sustentar a sua conclusão. A concordância em 0,25 s e a concordância em 2 s são afirmações diferentes sobre os dados:
- Alta em 2 s e baixa em 0,25 s significa que os anotadores concordam que um evento aconteceu, mas não exatamente quando. Isso costuma ser um problema de diretrizes, porque a definição de "quando começa" está subespecificada.
- Baixa em ambas significa que eles discordam sobre se aquilo aconteceu.
Em cada tolerância, a concordância de pontos de ruptura é decomposta em detecção, localização e categoria, como descrito em avaliação de modelos de mundo. Segmentos de tempo não têm tal varredura, e os seus limites são julgados apenas pelo IoU temporal.
A cobertura é relatada ao lado
Para curvas densas, como um traço de recompensa de progresso ao longo de um episódio de robô, a concordância é relatada como ICC mais Pearson com a cobertura declarada.
Uma correlação calculada sobre 5% de uma linha do tempo não diz nada sobre os outros 95%, e um coeficiente que não carrega a sua cobertura será lido como se carregasse.
Uma limitação conhecida
Os segmentos de tempo recebem apenas as medidas sem correção: nada de σ, nada de α de detecção e nada de α de rótulo. A linha de base de acaso do σ é construída a partir de distâncias entre objetos de itens diferentes, e "um segmento de outro clipe" não é uma comparação significativa quando os clipes têm durações diferentes. Acertar isso exige um projeto próprio, e afirmar correção de acaso aqui antes que ele exista seria pior do que dizer isso.
Para medir a concordância de rótulos em segmentos, ou a concordância de limites em várias tolerâncias, cole os segmentos na calculadora de concordância para trechos, caixas e segmentos, que relata o F1 de limites ao longo de uma varredura de tolerância e o α sobre os rótulos dos segmentos pareados.
Relacionados
Designs de exemplo
Cada design é uma configuração do Potato funcional que você pode baixar e executar.
- Sleep-EDF Sleep Stage Scoring in 30-Second EpochsScore ten real overnight polysomnogram excerpts one 30-second epoch at a time with Rechtschaffen and Kales stages, using epoch-mode intervals and signal-cnn.
- Powdermill Bird Soundscape Species Boxes on SpectrogramsCorrect time-frequency boxes with species codes on ten real dawn-chorus excerpts, using Raven selection tables as pre-annotations and torchvision-detect.