Accordo nel tempo
Che cosa riporta Potato quando gli annotatori segnano segmenti temporali e punti di rottura, perché l'accordo sui segmenti non è corretto per il caso e perché l'accordo sui punti di rottura è riportato come sweep di tolleranza.
Due annotatori che segnano quando inizia un evento non sceglieranno lo stesso fotogramma, quindi l'accordo temporale deve dichiarare quanto vicino conta come concordare. Potato risponde in modo diverso per i segmenti temporali e per i punti di rottura: i segmenti vengono abbinati tramite IoU temporale sopra una soglia, mentre i punti di rottura vengono riportati su uno sweep di tolleranze.
Misure per i segmenti temporali
Per i segmenti audio e video, il report di accordo confronta ogni coppia di annotatori su ogni elemento e fa la media di quattro numeri:
| Domanda | Misura |
|---|---|
| Quanto concordano nel complesso i due insiemi di segmenti? | Accordo medio, che penalizza confini imprecisi, segmenti mancati ed etichette discordanti |
| Quanto sono vicini i confini quando entrambi gli annotatori hanno trovato il segmento? | IoU temporale medio dei segmenti abbinati |
| Hanno almeno trovato gli stessi segmenti? | F1 di rilevamento alla soglia di abbinamento, 0,5 per impostazione predefinita |
| Hanno segnato lo stesso numero di segmenti? | Differenza media nel numero di segmenti |
I segmenti vengono abbinati soltanto in base all'IoU temporale. Le etichette contano solo nell'accordo medio, dove una coppia abbinata con etichette diverse ottiene metà del suo IoU, quindi nessun numero da solo dice quanto spesso gli annotatori concordano sull'etichetta. Una coppia in cui nessuno dei due annotatori ha segnato nulla viene contata ma non valutata, perché due risposte vuote non sono una prova di accordo.
Lo sweep di tolleranza per i punti di rottura
I punti di rottura sono istanti singoli, come il momento in cui un episodio robotico va storto, e due di essi contano come lo stesso segno quando cadono entro una finestra di tolleranza. Ogni numero dipende quindi da quella finestra, perciò il report sugli episodi robotici li calcola a 0,04, 0,25, 0,5, 1 e 2 secondi e li mostra tutti e cinque.
Riportare una sola soglia invita il lettore a presumere la tolleranza che sostiene la sua conclusione. L'accordo a 0,25 s e l'accordo a 2 s sono affermazioni diverse sui dati:
- Alto a 2 s e basso a 0,25 s significa che gli annotatori concordano sul fatto che un evento sia avvenuto, ma non su quando esattamente. Di solito è un problema di linee guida: la definizione di «quando inizia» è sotto-specificata.
- Basso in entrambi i casi significa che non concordano nemmeno sul fatto che sia avvenuto.
A ogni tolleranza, l'accordo sui punti di rottura è scomposto in rilevamento, localizzazione e categoria, come descritto in valutazione dei world model. I segmenti temporali non hanno questo sweep; i loro confini sono giudicati solo attraverso l'IoU temporale.
La copertura viene riportata accanto
Per le curve dense, per esempio una traccia di progress reward su un episodio robotico, l'accordo è riportato come ICC più Pearson con la copertura dichiarata.
Una correlazione calcolata sul 5% di una timeline non dice nulla sul restante 95%, e un coefficiente che non porta con sé la propria copertura verrà letto come se lo facesse.
Una limitazione nota
I segmenti temporali ricevono solo le misure non corrette: niente σ, niente α di rilevamento e niente α sulle etichette. La baseline del caso di σ è costruita dalle distanze tra oggetti su elementi diversi, e «un segmento preso da un'altra clip» non è un confronto sensato quando le clip hanno lunghezze diverse. Farlo bene richiede una progettazione a sé, e rivendicare qui una correzione per il caso prima che esista sarebbe peggio che dirlo.
Per misurare l'accordo sulle etichette dei segmenti, o l'accordo sui confini a più tolleranze, incolla i segmenti nel calcolatore di accordo per span, box e segmenti, che riporta l'F1 dei confini su uno sweep di tolleranza e α sulle etichette dei segmenti abbinati.
Correlati
Design di esempio
Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.
- Sleep-EDF Sleep Stage Scoring in 30-Second EpochsScore ten real overnight polysomnogram excerpts one 30-second epoch at a time with Rechtschaffen and Kales stages, using epoch-mode intervals and signal-cnn.
- Powdermill Bird Soundscape Species Boxes on SpectrogramsCorrect time-frequency boxes with species codes on ten real dawn-chorus excerpts, using Raven selection tables as pre-annotations and torchvision-detect.