Interaktive Segmentierung
Ein Objekt anklicken und eine Maske erhalten, im Browser, ohne GPU und ohne Netzwerkaufruf pro Klick. Wie Potato MobileSAM über ONNX Runtime Web ausführt und wie Sie es konfigurieren.
Klicken Sie ein Objekt an und erhalten Sie in etwa 130 ms eine Maske zurück, im Browser der Annotierenden, ohne GPU und ohne Netzwerk-Roundtrip. Zwei Befehle installieren es, und sobald die Gewichte auf dem Rechner liegen, funktioniert es air-gapped.
Einrichtung
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBFügen Sie dann sam zu den tools eines Schemas hinzu:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"Die Werkzeuge Pinsel, Radierer und farbbewusstes Füllen bleiben für die manuelle Arbeit verfügbar. Interaktive Segmentierung ist eine Möglichkeit, eine Maske anzufangen, kein Ersatz dafür, sie zu korrigieren.
Führen Sie examples/image/interactive-segmentation/ aus, um es in Aktion zu sehen.
Wie es funktioniert
Das Modell ist MobileSAM, eine destillierte Variante von Segment Anything, ausgeführt über ONNX Runtime Web.
Encoder und Decoder sind absichtlich getrennt. Der Encoder ist aufwendig und läuft einmal pro Bild; der Decoder ist günstig und läuft einmal pro Klick. Sie getrennt zu halten und das Embedding pro Bild zwischenzuspeichern, ist der ganze Grund, warum sich Klicken interaktiv anfühlt und nicht wie eine Netzwerkanfrage. Der Cache ist begrenzt und verdrängt das am längsten nicht verwendete Embedding.
Sie können positiv klicken, um einer Maske etwas hinzuzufügen, negativ klicken, um etwas davon wegzuschneiden, ein Objekt mit einer Box umfassen, um die Suche einzuschränken, oder eine vorhandene Maske verfeinern.
Warum der Browser die Voreinstellung ist
pip install potato-annotation soll Ihnen funktionierende Segmentierung liefern, ohne GPU, ohne neue Python-Abhängigkeit und ohne ausgehendes Netzwerk zur Annotationszeit. Der letzte Punkt ist keine Nettigkeit: Mehrere Forschungsgruppen betreiben Potato air-gapped, wo ein Modell, das erst beim Klick abgerufen wird, eine fehlende Funktion ist und keine langsame.
| Browser (Standard) | Server-Endpunkt | |
|---|---|---|
| Einrichtung | potato download-models | pip install 'potato-annotation[vision]' plus Gewichte |
| GPU | Nicht erforderlich | Empfohlen |
| Air-gapped | Ja, sobald die Modelle heruntergeladen sind | Ja |
| Modellgröße | Destilliert, etwa 45 MB | Was Sie bereitstellen |
Für Labore mit GPU, die ein größeres Modell wollen, gibt es einen Server-Endpunkt, aber er ist die Ausnahme und nicht die Voreinstellung.
Der Eingabevertrag wurde überprüft, nicht angenommen
Der Encoder von SAM nimmt ein vorverarbeitetes Bild entgegen, und die Spezifikation lässt mehr als eine plausible Lesart zu. Drei dieser Lesarten erzeugen überzeugende, plausible, falsche Masken: 70 bis 148 Pixel Schwerpunktfehler, was wie ein leicht schlampiger Annotierender aussieht und nicht wie eine kaputte Pipeline. Die richtige Lesart landet bei 0,1 px.
Der Unterschied ist nur sichtbar, wenn man gegen echte Gewichte und echte Ground Truth prüft, weshalb der Vertrag durch einen Test festgeschrieben ist und nicht durch einen Kommentar. Eine falsche Lesart hätte hier jede Maske in jedem damit erstellten Datensatz stillschweigend verschlechtert.
Übereinstimmung bei Masken
Zwei Annotierende, die dasselbe Objekt segmentieren, erzeugen nicht identische Pixel, daher braucht Maskenübereinstimmung mehr als eine Überlappungszahl. Potato verwendet STAPLE (Warfield, Zou und Wells, 2004), das eine latente Konsensgrenze zusammen mit einer Sensitivität und Spezifität für jeden Rater schätzt.
Der Unterschied zu einer Mehrheitsabstimmung pro Pixel ist nicht kosmetisch. Wenn zwei sorgfältige Annotierende drei zu zwei von fahrigen überstimmt werden, erzielt die Mehrheitsabstimmung ein Dice von 0,846 gegenüber der Wahrheit und STAPLE 1,000, weil STAPLE bemerkt, dass das sorgfältige Paar miteinander übereinstimmt und die fahrigen drei nicht.
Details und Vorbehalte stehen unter Maskenkonsens.
Verwandtes
- Text-Prompting — Objekte per Name statt per Klick finden
- Video-Tracking — eine Maske durch einen Clip tragen
- Geometrie-Primitive — die anderen Formen
- Modellübersicht — was heruntergeladen wird und unter welcher Lizenz
- Detektions- und Segmentierungsmodelle auf Bildannotationen trainieren — den Maskendecoder von SAM auf den Umrissen deiner Annotatoren fine-tunen, für Vorlabels von Umrissen
- Quelldokumentation
Beispiel-Designs
Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.