Vai al contenuto

Come annotare le maschere di segmentazione delle immagini

Poligoni, maschere a pennello e segmentazione con un clic, quando ciascuno è lo strumento giusto, come scrivere linee guida sui contorni che gli annotatori riescano a seguire e come misurare l'accordo su una maschera.

La segmentazione etichetta i pixel che appartengono a un oggetto, e quasi tutta la difficoltà sta nella regola sul contorno più che nello strumento di disegno. Due annotatori che ricevono la stessa immagine senza una regola sulle ombre saranno in disaccordo in modo sistematico, e nessuno strumento lo risolve.

Poligono o maschera

PoligonoMaschera a pennello
Buchi e parti non connesseScomodoNaturale
Strutture sottili (fili, capelli, zampe)ScarsoBuono
Supporto dei formatiAmpio: COCO, YOLO, CVAT, LabelMePiù ristretto: COCO RLE, DAVIS, PNG di maschera
ModificabilitàSposta un verticeRidipingi una regione
ArchiviazionePiccolaGrande, salvo maschere sparse

I poligoni passano attraverso più formati, il che conta se le etichette devono uscire dallo strumento. Le maschere sono la risposta onesta quando l'oggetto ha davvero buchi o filamenti.

Se hai dubbi, guarda di che cosa ha bisogno il modello che consumerà le etichette. Un modello di segmentazione semantica consuma comunque maschere; la domanda è solo che cosa gli annotatori trovano meno soggetto a errori.

Scrivi prima la regola sui contorni

È la parte che determina il tuo valore di accordo. Decidi, e dai esempi per:

  • Ombra e riflesso. Dentro o fuori? In modo coerente.
  • Parti trasparenti e traslucide. Un bicchiere, un parabrezza, un sacchetto di plastica.
  • Strutture sottili. Dove un filo smette di valere la pena di essere tracciato?
  • Occlusione. Mascherare solo la parte visibile o dedurre l'intero oggetto?
  • Contatto. Due istanze che si toccano: dove cade esattamente la separazione?
  • Sfocatura da movimento. Dove sta il contorno di un bordo sfocato?

Un solo esempio svolto per regola vale più di un paragrafo di prosa. Se dopo questo gli annotatori sono ancora in disaccordo, lo vedrai come σ basso con accordo di rilevamento alto: trovano gli stessi oggetti e li disegnano in modo diverso, il che è un problema di linee guida e non di trascuratezza.

Parti da un modello

La segmentazione con un clic dà una prima bozza in circa 130 ms, nel browser, senza GPU:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

I clic positivi aggiungono a una maschera, i clic negativi tolgono, un riquadro vincola la ricerca e una maschera esistente può essere rifinita.

La correzione è il valore dell'annotazione. Se i tuoi annotatori accettano ogni volta la prima maschera, hai raccolto la registrazione di un modello che concorda con sé stesso: vedi distinguere la revisione dall'approvazione di routine, perché le statistiche di accordo non te lo diranno.

Misurare l'accordo sulle maschere

Non usare l'IoU medio tra annotatori. Risponde a «questo task è facile», non a «questi annotatori concordano»: vedi misurare l'accordo sui bounding box per il perché.

Usa STAPLE, che stima un contorno di consenso latente insieme a una sensibilità e una specificità per ogni annotatore:

  • Una sensibilità bassa significa sotto-segmentare, disegnando all'interno del contorno vero.
  • Una specificità bassa significa sovra-segmentare, disegnando in modo generoso attorno a esso.

Hanno rimedi opposti, ed è per questo che un singolo valore di accuratezza non basta per dare un riscontro a un annotatore.

STAPLE pesa inoltre in base all'affidabilità dimostrata invece di contare i voti. Due annotatori accurati superati tre a due da annotatori rumorosi ottengono un Dice di 0,846 con il voto di maggioranza e di 1,000 con STAPLE.

Esportazione

COCO supporta poligoni e maschere RLE, comprese le regioni di folla iscrowd. DAVIS supporta maschere per singola istanza. YOLO supporta poligoni ma non maschere. Controlla la matrice dei formati prima di impegnarti in un flusso di lavoro con le maschere, se le etichette devono finire in un posto specifico.

Letture di approfondimento