Skip to content

Consenso sulle maschere con STAPLE

Quale maschera dovrebbe registrare il dataset, e chi l'ha disegnata bene? STAPLE stima un confine latente con sensibilità e specificità per annotatore, e batte il voto di maggioranza quando gli annotatori accurati sono in minoranza.

L'accordo risponde a «sono d'accordo». Non risponde a «quale maschera dovrebbe registrare il dataset, e chi l'ha disegnata bene». È una domanda diversa e richiede un modello diverso.

Perché non MACE

MACE modella ogni annotatore come qualcuno che sa oppure tira a indovinare su un insieme finito e condiviso di etichette. Una maschera vive in uno spazio non limitato, senza variabile categoriale da stimare. Forzarci dentro le maschere significherebbe inventare un insieme di etichette, e qualunque cosa si inventasse guiderebbe la risposta.

Cosa fa STAPLE

STAPLE (Warfield, Zou e Wells, 2004) è lo strumento consolidato per questo nell'imaging medico. Esegue expectation-maximization sulle etichette per pixel e stima, per ogni annotatore:

SignificatoUn valore basso indica
SensibilitàDel vero primo piano, quanto ne hai incluso?Sotto-segmentazione: si disegna dentro il confine
SpecificitàDel vero sfondo, quanto ne hai escluso correttamente?Sovra-segmentazione: si disegna largo attorno all'oggetto

Vengono riportate entrambe perché hanno correzioni opposte. Un unico numero di «accuratezza» punteggerebbe i due modi di sbagliare allo stesso modo e non direbbe all'annotatore che cosa cambiare.

Consenso pesato, non voto di maggioranza

Il disaccordo di un annotatore accurato sposta il consenso più di quello di uno sbrigativo, e l'algoritmo capisce da solo chi è chi a partire dai dati.

Misurato su due annotatori accurati in minoranza tre a due rispetto a tre rumorosi:

MetodoDice rispetto alla verità
Voto di maggioranza0,846
STAPLE1,000

Il voto lascia decidere i tre annotatori rumorosi. STAPLE nota che la coppia accurata concorda al proprio interno mentre i tre rumorosi no.

Avvertenze da conoscere

  • Un annotatore con tre istanze di una classe contribuisce con la loro unione. STAPLE confronta pixel per pixel, e tenere separate le istanze richiederebbe prima di accoppiarle tra annotatori, che è la domanda di rilevamento, trattata a parte in accordo sulla geometria.
  • Gli elementi con meno di due annotatori che portano una maschera vengono contati e saltati, non scartati in silenzio. Altrimenti la copertura risulterebbe sovrastimata.

Controllo dei costi

Il confronto a coppie è quadratico negli annotatori e nelle istanze per elemento. Un progetto con cinque annotatori e 50 istanze per immagine costa 25.000 decodifiche di maschera per immagine, il che trasforma il caricamento di una pagina di amministrazione in un blocco.

Esiste un limite rigido, max_pairs, con valore predefinito 200.000. Quando viene raggiunto:

  • l'elemento viene saltato per intero, mai misurato a metà, perché un elemento processato parzialmente sbilancia la media verso la coppia di annotatori che è capitato di elaborare;
  • il report imposta truncated: true e indica quanti elementi sono rientrati.

Un numero di accordo troncato che si legge come completo è peggio di nessun numero, perché verrà citato.

Correlati