Segmentazione interattiva
Clicca un oggetto e ottieni una maschera, nel browser, senza GPU e senza una chiamata di rete per clic. Come Potato esegue MobileSAM tramite ONNX Runtime Web e come configurarlo.
Clicca un oggetto e ottieni una maschera in circa 130 ms, nel browser dell'annotatore, senza GPU e senza andata e ritorno sulla rete. Bastano due comandi per installarlo, e una volta che i pesi sono sulla macchina funziona in isolamento dalla rete.
Configurazione
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBPoi aggiungi sam ai tools di uno schema:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"Pennello, gomma e riempimento sensibile al colore restano disponibili per il lavoro manuale. La segmentazione interattiva è un modo per iniziare una maschera, non un sostituto della sua correzione.
Esegui examples/image/interactive-segmentation/ per vederla in funzione.
Come funziona
Il modello è MobileSAM, una variante distillata di Segment Anything, eseguita tramite ONNX Runtime Web.
Encoder e decoder sono separati di proposito. L'encoder è costoso e gira una volta per immagine; il decoder è economico e gira una volta per clic. Tenerli separati, e mettere in cache l'embedding per immagine, è l'intera ragione per cui il clic risulta interattivo e non simile a una richiesta di rete. La cache è limitata ed elimina l'embedding usato meno di recente.
Puoi cliccare in positivo per aggiungere a una maschera, cliccare in negativo per toglierne, inquadrare un oggetto per vincolare la ricerca, o rifinire una maschera che hai già.
Perché il browser è l'impostazione predefinita
pip install potato-annotation dovrebbe darti una segmentazione funzionante senza GPU, senza nuove dipendenze Python e senza rete in uscita al momento dell'annotazione. Quest'ultimo punto non è un vezzo: diversi gruppi di ricerca eseguono Potato in isolamento dalla rete, dove un modello scaricato al momento del clic è una funzione mancante e non una lenta.
| Browser (predefinito) | Endpoint sul server | |
|---|---|---|
| Configurazione | potato download-models | pip install 'potato-annotation[vision]' più i pesi |
| GPU | Non richiesta | Consigliata |
| Isolato dalla rete | Sì, una volta scaricati i modelli | Sì |
| Dimensione del modello | Distillato, circa 45 MB | Quello che fornisci |
Esiste un endpoint sul server per i laboratori che hanno una GPU e vogliono un modello più grande, ma è l'eccezione e non l'impostazione predefinita.
Il contratto di input è stato verificato, non presunto
L'encoder di SAM prende un'immagine preelaborata, e la specifica ammette più di una lettura plausibile. Tre di quelle letture producono maschere sicure di sé, plausibili e sbagliate: da 70 a 148 pixel di errore sul centroide, che sembra un annotatore un po' approssimativo e non una pipeline rotta. La lettura corretta arriva a 0,1 px.
La differenza è visibile solo se si controlla con pesi reali e verità di riferimento reale, ed è per questo che il contratto è fissato da un test e non da un commento. Una lettura sbagliata qui avrebbe degradato in silenzio ogni maschera di ogni dataset costruito con essa.
Accordo sulle maschere
Due annotatori che segmentano lo stesso oggetto non produrranno pixel identici, quindi l'accordo sulle maschere richiede più di un valore di sovrapposizione. Potato usa STAPLE (Warfield, Zou e Wells, 2004), che stima un contorno di consenso latente insieme a una sensibilità e una specificità per ogni valutatore.
La differenza rispetto a un voto di maggioranza per pixel non è cosmetica. Con due annotatori accurati superati tre a due da annotatori rumorosi, il voto di maggioranza ottiene un Dice di 0,846 rispetto alla verità e STAPLE ottiene 1,000, perché STAPLE si accorge che la coppia accurata concorda al proprio interno mentre i tre rumorosi no.
Vedi il consenso sulle maschere per i dettagli e le avvertenze.
Correlati
- Prompt testuale — trova gli oggetti per nome invece che per clic
- Tracciamento video — porta una maschera attraverso una clip
- Primitive geometriche — le altre forme
- Model zoo — che cosa viene scaricato, e con quale licenza
- Addestrare modelli di rilevamento e segmentazione sulle annotazioni di immagini — eseguire il fine-tuning del decoder di maschere di SAM sui contorni dei tuoi annotatori per ottenere pre-etichette di contorni
- Documentazione sorgente
Design di esempio
Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.