Skip to content

Maskenkonsens mit STAPLE

Welche Maske soll der Datensatz festhalten, und wer hat sie gut gezeichnet? STAPLE schätzt eine latente Grenze mit Sensitivität und Spezifität je Bewertendem und schlägt die Mehrheitsentscheidung, wenn sorgfältige Annotierende in der Unterzahl sind.

Übereinstimmung beantwortet „stimmen sie überein". Sie beantwortet nicht „welche Maske soll der Datensatz festhalten, und wer hat sie gut gezeichnet". Das ist eine andere Frage und braucht ein anderes Modell.

Warum nicht MACE

MACE modelliert jede annotierende Person als wissend oder ratend über einer endlichen, geteilten Labelmenge. Eine Maske lebt in einem unbeschränkten Raum ohne kategoriale Variable, die sich schätzen ließe. Masken hindurchzuzwingen hieße, eine Labelmenge zu erfinden, und was auch immer erfunden würde, bestimmte die Antwort.

Was STAPLE tut

STAPLE (Warfield, Zou und Wells, 2004) ist dafür das etablierte Werkzeug in der medizinischen Bildgebung. Es führt Expectation-Maximization über Labels je Pixel aus und schätzt je annotierender Person:

BedeutungEin niedriger Wert heißt
SensitivitätWie viel des echten Vordergrunds wurde einbezogen?Untersegmentierung — es wird innerhalb der Grenze gezeichnet
SpezifitätWie viel des echten Hintergrunds wurde korrekt ausgeschlossen?Übersegmentierung — es wird großzügig darum herum gezeichnet

Beide werden berichtet, weil sie entgegengesetzte Korrekturen verlangen. Eine einzelne „Genauigkeit" würde die beiden Fehlerarten gleich bewerten und der annotierenden Person nichts darüber sagen, was zu ändern ist.

Gewichteter Konsens statt Mehrheitsentscheidung

Der Widerspruch einer sorgfältigen Person verschiebt den Konsens stärker als der einer nachlässigen, und der Algorithmus ermittelt aus den Daten selbst, wer wer ist.

Gemessen an zwei sorgfältigen Annotierenden, die drei zu zwei von verrauschten überstimmt werden:

VerfahrenDice gegen die Wahrheit
Mehrheitsentscheidung0,846
STAPLE1,000

Bei einer Abstimmung entscheiden die drei verrauschten. STAPLE bemerkt, dass das sorgfältige Paar untereinander übereinstimmt und die verrauschten drei nicht.

Wissenswerte Einschränkungen

  • Eine annotierende Person mit drei Instanzen einer Klasse steuert deren Vereinigung bei. STAPLE vergleicht pixelweise, und die Instanzen getrennt zu halten setzte voraus, sie zuerst über Annotierende hinweg zuzuordnen — das ist die Detektionsfrage, die separat in der Geometrie-Übereinstimmung beantwortet wird.
  • Elemente mit weniger als zwei maskentragenden Annotierenden werden gezählt und übersprungen, nicht stillschweigend verworfen. Sonst wird die Abdeckung überschätzt.

Kostenkontrolle

Der paarweise Vergleich ist quadratisch in der Zahl der Annotierenden und der Instanzen je Element. Ein Projekt mit fünf Annotierenden und 50 Instanzen je Bild kostet 25.000 Maskendekodierungen pro Bild, was das Laden einer Admin-Seite zum Hängen bringt.

Es gibt ein hartes Budget, max_pairs, standardmäßig 200.000. Wird es erreicht:

  • wird das Element ganz übersprungen, nie halb gemessen, denn ein teilweise verarbeitetes Element verzerrt den Mittelwert zu dem Annotierendenpaar hin, das zufällig durchlief;
  • setzt der Bericht truncated: true und nennt, wie viele Elemente hineinpassten.

Eine abgeschnittene Übereinstimmungszahl, die vollständig aussieht, ist schlechter als gar keine Zahl, denn sie wird zitiert werden.

Verwandt