Accordo sulla geometria
Come Potato riporta l'accordo corretto per il caso su bounding box e poligoni — rilevamento, classificazione e localizzazione, con σ e una statistica KS rispetto a una baseline empirica del caso.
Potato scompone l'accordo spaziale in tre domande — gli annotatori hanno trovato gli stessi oggetti, li hanno chiamati allo stesso modo, li hanno messi nello stesso punto — e risponde alla terza rispetto a una baseline del caso stimata empiricamente anziché con l'IoU grezzo.
Il problema dell'IoU grezzo
Il motore di consenso di CVAT e la fase di consenso di V7 confrontano entrambi gli annotatori con IoU grezzo rispetto a una soglia per classe. Nessuno dei due applica una correzione per il caso, il che rende il numero di testa non interpretabile da solo:
Un corpus in cui ogni immagine contiene un solo oggetto grande e centrato mostrerà un IoU medio intorno a 0,95 indipendentemente da chi annota. Inclusi annotatori che non hanno mai guardato l'immagine e hanno semplicemente disegnato un box al centro.
La correzione per il caso è ciò che separa «questi annotatori concordano» da «questo compito è troppo facile perché ci sia disaccordo».
L'α di Krippendorff su 1 − IoU qui non funziona
Era il piano iniziale, ed è empiricamente il default sbagliato.
Braylan, Alonso e Lease (WWW 2022) valutano le funzioni di distanza candidate in base al fatto che il punteggio di accordo risultante ordini correttamente la qualità degli annotatori — la proprietà che conta davvero — e riportano che per i bounding box α colloca la semplice L2 (0,687) sopra IoU (0,505) e GIoU (0,507), invertendo l'ordinamento che danno sia le loro misure basate sulla distribuzione sia i professionisti.
C'è una ragione strutturale. La distanza IoU è limitata in [0, 1] e satura: due forme accoppiate a caso hanno quasi sempre IoU 0, quindi il disaccordo atteso collassa intorno a 1 e α degenera in 1 − distanza media, senza più alcuna correzione per il caso al suo interno.
L'IoU semplice è anche piatto proprio dove conta di più. Due box che non si sovrappongono valgono 0 sia che si tocchino sia che stiano agli angoli opposti dell'immagine, quindi la misura non ha gradiente esattamente dove gli annotatori sono in disaccordo.
Che cosa riporta Potato invece
σ, la misura principale
σ = 1 − mean(within-item distance) / mean(between-item distance)
È la forma 1 − D_o/D_e propria di α generalizzata a una distanza arbitraria, con la baseline del caso stimata empiricamente confrontando annotazioni di elementi diversi.
| σ | Significato |
|---|---|
| 1,0 | Accordo perfetto |
| 0,0 | Gli annotatori concordano quanto farebbero su elementi non correlati |
| sotto 0 | Disaccordo sistematico, di solito un problema di definizione più che di sciatteria |
I valori negativi non vengono troncati. «Più distanti sulla stessa immagine che su immagini diverse» è uno stato reale e diagnosticabile, e nasconderlo non aiuta nessuno.
KS, la misura di accompagnamento
La statistica di Kolmogorov–Smirnov a due campioni tra le distribuzioni delle distanze entro elemento e tra elementi. σ confronta due medie e può essere trascinata da pochi valori anomali; KS confronta intere distribuzioni e regge meglio quando la difficoltà degli elementi varia.
Riporta entrambe. Il loro disaccordo è di per sé informativo: significa che una minoranza di elementi porta gran parte del disaccordo.
La scomposizione
Un unico numero di accordo spaziale non può dire quale di tre fallimenti diversi si sia verificato:
| Componente | Domanda | Misura |
|---|---|---|
| Rilevamento | Hanno trovato gli stessi oggetti? | α nominale sulla presenza |
| Classificazione | Hanno dato agli oggetti accoppiati la stessa etichetta? | α nominale sulle etichette |
| Localizzazione | Gli oggetti accoppiati sono nello stesso punto? | σ e KS, più distanza GIoU |
Un annotatore che trova ogni oggetto e li etichetta tutti male è un problema diverso da uno che etichetta correttamente ma disegna box larghi, e un punteggio aggregato non li distingue.
Configurazione
agreement_metrics:
enabled: trueI report compaiono su /admin/iaa.