Vai al contenuto

Consenso sulle maschere con STAPLE

Quale maschera dovrebbe registrare il dataset, e chi l'ha disegnata bene? STAPLE stima un confine latente con sensibilità e specificità per annotatore, e batte il voto di maggioranza quando gli annotatori accurati sono in minoranza.

L'accordo risponde a «sono d'accordo». Non risponde a «quale maschera dovrebbe registrare il dataset, e chi l'ha disegnata bene». È una domanda diversa e richiede un modello diverso.

Potato 2.12.1 include un'implementazione di STAPLE in potato/staple.py e una funzione mask_consensus nel suo codice per l'accordo sulla geometria, ma nessun report, pagina di amministrazione o esportazione richiama ancora l'una o l'altra. Il consenso descritto in questa pagina va quindi calcolato fuori da Potato, esportando le maschere di ogni annotatore ed eseguendo su di esse un filtro STAPLE come quello di SimpleITK.

Perché non MACE

MACE modella ogni annotatore come qualcuno che sa oppure tira a indovinare su un insieme finito e condiviso di etichette. Una maschera vive in uno spazio non limitato, senza variabile categoriale da stimare. Forzarci dentro le maschere significherebbe inventare un insieme di etichette, e qualunque cosa si inventasse guiderebbe la risposta.

Cosa fa STAPLE

STAPLE (Warfield, Zou e Wells, 2004) è lo strumento consolidato per questo nell'imaging medico. Esegue expectation-maximization sulle etichette per pixel e stima, per ogni annotatore:

SignificatoUn valore basso indica
SensibilitàDel vero primo piano, quanto ne hai incluso?Sotto-segmentazione: si disegna dentro il confine
SpecificitàDel vero sfondo, quanto ne hai escluso correttamente?Sovra-segmentazione: si disegna largo attorno all'oggetto

Vengono riportate entrambe perché hanno correzioni opposte. Un unico numero di «accuratezza» punteggerebbe i due modi di sbagliare allo stesso modo e non direbbe all'annotatore che cosa cambiare.

Consenso pesato, non voto di maggioranza

Il disaccordo di un annotatore accurato sposta il consenso più di quello di uno sbrigativo, e l'algoritmo capisce da solo chi è chi a partire dai dati.

Misurato su due annotatori accurati in minoranza tre a due rispetto a tre rumorosi:

MetodoDice rispetto alla verità
Voto di maggioranza0,846
STAPLE1,000

Il voto lascia decidere i tre annotatori rumorosi. STAPLE nota che la coppia accurata concorda al proprio interno mentre i tre rumorosi no.

Avvertenze da conoscere

  • Un annotatore con tre istanze di una classe contribuisce con la loro unione. STAPLE confronta pixel per pixel, e tenere separate le istanze richiederebbe prima di accoppiarle tra annotatori, che è la domanda di rilevamento, trattata a parte in accordo sulla geometria.
  • Gli elementi con meno di due annotatori che portano una maschera vengono contati e saltati, non scartati in silenzio. Altrimenti la copertura risulterebbe sovrastimata.

Controllo dei costi

Il confronto a coppie è quadratico negli annotatori e nelle istanze per elemento. Un progetto con cinque annotatori e 50 istanze per immagine costa 25.000 decodifiche di maschera per immagine, il che trasforma il caricamento di una pagina di amministrazione in un blocco.

Esiste un limite rigido, max_pairs, con valore predefinito 200.000. Quando viene raggiunto:

  • l'elemento viene saltato per intero, mai misurato a metà, perché un elemento processato parzialmente sbilancia la media verso la coppia di annotatori che è capitato di elaborare;
  • il report imposta truncated: true e indica quanti elementi sono rientrati.

Un numero di accordo troncato che si legge come completo è peggio di nessun numero, perché verrà citato.

Correlati