Zum Inhalt springen

Interaktive Segmentierung

Ein Objekt anklicken und eine Maske erhalten, im Browser, ohne GPU und ohne Netzwerkaufruf pro Klick. Wie Potato MobileSAM über ONNX Runtime Web ausführt und wie Sie es konfigurieren.

Klicken Sie ein Objekt an und erhalten Sie in etwa 130 ms eine Maske zurück, im Browser der Annotierenden, ohne GPU und ohne Netzwerk-Roundtrip. Zwei Befehle installieren es, und sobald die Gewichte auf dem Rechner liegen, funktioniert es air-gapped.

Einrichtung

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

Fügen Sie dann sam zu den tools eines Schemas hinzu:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

Die Werkzeuge Pinsel, Radierer und farbbewusstes Füllen bleiben für die manuelle Arbeit verfügbar. Interaktive Segmentierung ist eine Möglichkeit, eine Maske anzufangen, kein Ersatz dafür, sie zu korrigieren.

Führen Sie examples/image/interactive-segmentation/ aus, um es in Aktion zu sehen.

Wie es funktioniert

Das Modell ist MobileSAM, eine destillierte Variante von Segment Anything, ausgeführt über ONNX Runtime Web.

Encoder und Decoder sind absichtlich getrennt. Der Encoder ist aufwendig und läuft einmal pro Bild; der Decoder ist günstig und läuft einmal pro Klick. Sie getrennt zu halten und das Embedding pro Bild zwischenzuspeichern, ist der ganze Grund, warum sich Klicken interaktiv anfühlt und nicht wie eine Netzwerkanfrage. Der Cache ist begrenzt und verdrängt das am längsten nicht verwendete Embedding.

Sie können positiv klicken, um einer Maske etwas hinzuzufügen, negativ klicken, um etwas davon wegzuschneiden, ein Objekt mit einer Box umfassen, um die Suche einzuschränken, oder eine vorhandene Maske verfeinern.

Warum der Browser die Voreinstellung ist

pip install potato-annotation soll Ihnen funktionierende Segmentierung liefern, ohne GPU, ohne neue Python-Abhängigkeit und ohne ausgehendes Netzwerk zur Annotationszeit. Der letzte Punkt ist keine Nettigkeit: Mehrere Forschungsgruppen betreiben Potato air-gapped, wo ein Modell, das erst beim Klick abgerufen wird, eine fehlende Funktion ist und keine langsame.

Browser (Standard)Server-Endpunkt
Einrichtungpotato download-modelspip install 'potato-annotation[vision]' plus Gewichte
GPUNicht erforderlichEmpfohlen
Air-gappedJa, sobald die Modelle heruntergeladen sindJa
ModellgrößeDestilliert, etwa 45 MBWas Sie bereitstellen

Für Labore mit GPU, die ein größeres Modell wollen, gibt es einen Server-Endpunkt, aber er ist die Ausnahme und nicht die Voreinstellung.

Der Eingabevertrag wurde überprüft, nicht angenommen

Der Encoder von SAM nimmt ein vorverarbeitetes Bild entgegen, und die Spezifikation lässt mehr als eine plausible Lesart zu. Drei dieser Lesarten erzeugen überzeugende, plausible, falsche Masken: 70 bis 148 Pixel Schwerpunktfehler, was wie ein leicht schlampiger Annotierender aussieht und nicht wie eine kaputte Pipeline. Die richtige Lesart landet bei 0,1 px.

Der Unterschied ist nur sichtbar, wenn man gegen echte Gewichte und echte Ground Truth prüft, weshalb der Vertrag durch einen Test festgeschrieben ist und nicht durch einen Kommentar. Eine falsche Lesart hätte hier jede Maske in jedem damit erstellten Datensatz stillschweigend verschlechtert.

Übereinstimmung bei Masken

Zwei Annotierende, die dasselbe Objekt segmentieren, erzeugen nicht identische Pixel, daher braucht Maskenübereinstimmung mehr als eine Überlappungszahl. Potato verwendet STAPLE (Warfield, Zou und Wells, 2004), das eine latente Konsensgrenze zusammen mit einer Sensitivität und Spezifität für jeden Rater schätzt.

Der Unterschied zu einer Mehrheitsabstimmung pro Pixel ist nicht kosmetisch. Wenn zwei sorgfältige Annotierende drei zu zwei von fahrigen überstimmt werden, erzielt die Mehrheitsabstimmung ein Dice von 0,846 gegenüber der Wahrheit und STAPLE 1,000, weil STAPLE bemerkt, dass das sorgfältige Paar miteinander übereinstimmt und die fahrigen drei nicht.

Details und Vorbehalte stehen unter Maskenkonsens.

Verwandtes

Beispiel-Designs

Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.