Accordo nel tempo
IoU temporale per i confini dei segmenti, α di confine, e perché l'accordo sui punti di rottura è riportato come sweep di tolleranza anziché a una soglia unica.
Due annotatori che segnano quando inizia un evento non sceglieranno lo stesso fotogramma, quindi l'accordo temporale deve dichiarare quanto vicino conta come concordare, e quella scelta cambia la risposta. Potato riporta lo sweep invece di scegliere una soglia al posto tuo.
Che cosa viene misurato
| Domanda | Misura |
|---|---|
| I segmenti si sovrappongono? | IoU temporale |
| I confini cadono nello stesso punto? | α di confine |
| Hanno segnato lo stesso tipo di evento? | α nominale sulle etichette |
| Concordano che ci sia stato un evento? | α di rilevamento |
Lo sweep di tolleranza
Per le annotazioni di punti di rottura e di confine, l'accordo dipende da una tolleranza di corrispondenza: quanto possono distare due segni continuando a contare come lo stesso segno?
Riportare una sola soglia invita il lettore a presumere la tolleranza che sostiene la sua conclusione. L'accordo a 0,25 s e l'accordo a 2 s sono affermazioni diverse sui dati:
- Alto a 2 s e basso a 0,25 s significa che gli annotatori concordano sul fatto che un evento sia avvenuto, ma non su quando esattamente. Di solito è un problema di linee guida: la definizione di «quando inizia» è sotto-specificata.
- Basso in entrambi i casi significa che non concordano nemmeno sul fatto che sia avvenuto.
Perciò il report percorre la tolleranza e mostra la curva. Vedi valutazione dei world model, dove l'accordo sui punti di rottura è ulteriormente scomposto in rilevamento, localizzazione e categoria.
La copertura viene riportata accanto
Per le curve dense — per esempio una traccia di progress reward su un episodio robotico — l'accordo è riportato come ICC più Pearson con la copertura dichiarata.
Una correlazione calcolata sul 5% di una timeline non dice nulla sul restante 95%, e un coefficiente che non porta con sé la propria copertura verrà letto come se lo facesse.
Una limitazione nota
I segmenti temporali ricevono per ora solo le misure non corrette. La baseline del caso di σ è costruita dalle distanze tra elementi, e «un segmento preso da un'altra clip» non è un confronto sensato quando le clip hanno lunghezze diverse. Farlo bene richiede una progettazione a sé, e rivendicare qui una correzione per il caso prima che esista sarebbe peggio che dirlo.