Vai al contenuto

Come misurare l'accordo tra annotatori sui bounding box

L'IoU grezzo non è accordo. Come misurare se gli annotatori concordano su bounding box, poligoni e maschere con la correzione per il caso, e perché rilevamento, classificazione e localizzazione richiedono valori separati.

L'IoU medio tra annotatori misura quanto è facile il task, non quanto concordano. In un tipico corpus di rilevamento vale circa 0,95 anche per annotatori che non hanno mai guardato l'immagine. Misurare l'accordo sulle etichette spaziali significa correggere per il caso e riportare rilevamento, classificazione e localizzazione come valori separati.

Perché l'IoU grezzo inganna

Prendi un corpus in cui ogni immagine contiene un solo oggetto grande e centrato. Due annotatori che disegnano entrambi un riquadro al centro si sovrapporranno molto, quindi l'IoU medio risulta intorno a 0,95. Lo stesso vale per un annotatore che ha disegnato un riquadro al centro senza guardare.

Il numero misura il task, non gli annotatori. È lo stesso problema che la percentuale di accordo ha sulle etichette categoriali, dove una classe dominante gonfia il punteggio, e ha lo stesso rimedio: correggere per quanto accordo il task produce per caso.

Il motore di consenso di CVAT e lo stadio di consenso di V7 confrontano entrambi gli annotatori con l'IoU grezzo rispetto a una soglia per classe. Nessuno dei due applica la correzione per il caso, ed entrambi sono molto usati, quindi un «accordo di 0,9» riportato da uno dei due di solito non è confrontabile con nulla.

Perché non l'α di Krippendorff su 1 − IoU

La soluzione ovvia è dare la distanza IoU in pasto all'α di Krippendorff, che accetta qualunque funzione di distanza. Qui non funziona bene, e vale la pena conoscerne il motivo prima di costruirla.

Braylan, Alonso e Lease (WWW 2022) valutano le funzioni di distanza in base al fatto che il punteggio risultante ordini correttamente la qualità degli annotatori. Per i bounding box, α colloca la semplice L2 (0,687) sopra IoU (0,505) e GIoU (0,507), il che inverte l'ordine fornito sia dalle loro misure basate sulle distribuzioni sia dai professionisti.

Strutturalmente, la distanza IoU è limitata a [0, 1] e satura. Due riquadri accoppiati a caso hanno quasi sempre IoU 0, quindi il disaccordo atteso collassa a circa 1 e α degenera in 1 − mean distance senza più alcuna correzione per il caso. L'IoU è inoltre piatto proprio dove conta: due riquadri che non si sovrappongono ottengono 0 sia che si tocchino sia che stiano ai lati opposti, quindi non c'è gradiente esattamente dove gli annotatori sono in disaccordo.

Che cosa riportare invece

Dividi la domanda in tre

ComponenteDomandaMisura
RilevamentoHanno trovato gli stessi oggetti?α nominale sulla presenza
ClassificazioneHanno dato la stessa etichetta agli oggetti corrispondenti?α nominale sulle etichette
LocalizzazioneGli oggetti corrispondenti sono nello stesso posto?σ e KS

Un annotatore che trova ogni oggetto e li etichetta tutti male è un problema diverso da uno che etichetta correttamente ma disegna i riquadri in modo largo. Un punteggio combinato non ti dice quale dei due hai, e i due casi hanno rimedi diversi.

σ, con una linea di base empirica del caso

text
σ = 1 − mean(within-item distance) / mean(between-item distance)

È la forma 1 − D_o/D_e di α generalizzata a qualunque distanza, con la linea di base del caso stimata confrontando le annotazioni di elementi diversi. σ = 0 significa che gli annotatori concordano non più di quanto farebbero su immagini non correlate.

Non troncare i valori negativi. «Più distanti sulla stessa immagine che su immagini diverse» è uno stato reale, e quasi sempre significa che le linee guida sono ambigue, non che gli annotatori siano trascurati.

KS accanto a σ

La statistica Kolmogorov–Smirnov a due campioni tra la distribuzione delle distanze interne all'elemento e quella delle distanze tra elementi. σ confronta due medie e può essere trascinato da pochi valori anomali; KS confronta intere distribuzioni.

Riporta entrambi. Quando non concordano, una minoranza di elementi porta con sé gran parte del disaccordo, e questo ti dice di andare a guardare quegli elementi.

Le maschere richiedono uno strumento diverso

Per le maschere di pixel, la domanda «di chi registriamo il contorno» non è la stessa di «concordano?». Usa STAPLE (Warfield, Zou e Wells, 2004), che esegue la massimizzazione dell'aspettativa sulle etichette per pixel e stima una sensibilità e una specificità per ogni annotatore.

Sensibilità e specificità sono riportate separatamente perché hanno rimedi opposti: una sensibilità bassa significa sotto-segmentare, una specificità bassa significa sovra-segmentare, e un singolo valore di accuratezza li giudica in modo identico.

STAPLE batte anche il voto di maggioranza quando gli annotatori accurati sono in minoranza. Con due annotatori accurati contro tre rumorosi, il voto di maggioranza ottiene un Dice di 0,846 rispetto alla verità e STAPLE ottiene 1,000.

I riquadri 3D richiedono l'IoU ruotata esatta

Per i cuboidi, usa l'IoU 3D ruotata esatta. Un'approssimazione allineata agli assi riporta un disaccordo che è un artefatto della misura non appena i dati hanno beccheggio e rollio reali, come le scansioni da drone, a mano e di interni.

Farlo in Potato

yaml
agreement_metrics:
  enabled: true
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every vehicle."
    source_field: image
    tools: [bbox]
    labels:
      - {name: car, color: "#FF6B6B"}
      - {name: truck, color: "#4ECDC4"}
 
num_annotators_per_item:
  default: 2

I report compaiono in /admin/iaa. Vale la pena conoscere due proprietà:

  • I valori non definiti si spiegano da soli. α è davvero non definito su un corpus unanime. Un NaN nudo sembra un calcolo rotto e un 1.0 sarebbe una bugia.
  • Niente viene troncato in silenzio. Il confronto a coppie è quadratico negli annotatori e nelle istanze per elemento, quindi c'è un budget. Quando viene raggiunto, l'elemento viene saltato per intero invece di essere misurato a metà, e il report indica quanti elementi sono stati inclusi.

Lista di controllo

  1. Ottieni almeno due annotazioni indipendenti per elemento. L'accordo su un solo annotatore non è definito, non perfetto.
  2. Riporta separatamente rilevamento, classificazione e localizzazione.
  3. Correggi per il caso rispetto a una linea di base stimata empiricamente invece che a una soglia fissa.
  4. Riporta insieme σ e KS.
  5. Usa STAPLE per le maschere e l'IoU 3D ruotata per i cuboidi.
  6. Indica la copertura. Un numero calcolato su un campione che si presenta come completo verrà citato come completo.

Letture di approfondimento