Zum Inhalt springen

So annotieren Sie Segmentierungsmasken in Bildern

Polygone, Pinselmasken und Click-to-Segment, wann welches Werkzeug das richtige ist, wie sich Grenzrichtlinien schreiben lassen, denen Annotierende folgen können, und wie sich die Übereinstimmung bei einer Maske messen lässt.

Segmentierung legt fest, welche Pixel zu einem Objekt gehören, und fast die ganze Schwierigkeit liegt in der Grenzregel, nicht im Zeichenwerkzeug. Zwei Annotierende, die dasselbe Bild ohne Regel zu Schatten bekommen, werden systematisch uneins sein, und kein Werkzeug behebt das.

Polygon oder Maske

PolygonPinselmaske
Löcher und getrennte TeileUmständlichNatürlich
Dünne Strukturen (Drähte, Haare, Beine)SchlechtGut
FormatunterstützungBreit: COCO, YOLO, CVAT, LabelMeSchmaler: COCO RLE, DAVIS, Masken-PNG
BearbeitbarkeitEinen Eckpunkt verschiebenEine Region neu übermalen
SpeicherKleinGroß, sofern nicht dünn besetzt

Polygone lassen sich über mehr Formate austauschen, was zählt, wenn die Labels das Werkzeug verlassen müssen. Masken sind die ehrliche Antwort, wenn das Objekt tatsächlich Löcher oder Ausläufer hat.

Wenn Sie unsicher sind, sehen Sie nach, was das Modell braucht, das die Labels verarbeitet. Ein Modell für semantische Segmentierung verarbeitet in beiden Fällen Masken; die Frage ist nur, was für Annotierende am wenigsten fehleranfällig ist.

Zuerst die Grenzregel schreiben

Dieser Teil bestimmt Ihren Übereinstimmungswert. Entscheiden Sie und geben Sie Beispiele für:

  • Schatten und Spiegelung. Drin oder draußen? Einheitlich.
  • Transparente und durchscheinende Teile. Ein Glas, eine Windschutzscheibe, eine Plastiktüte.
  • Dünne Strukturen. Ab wann lohnt es nicht mehr, einen Draht nachzuzeichnen?
  • Verdeckung. Nur den sichtbaren Teil maskieren oder das ganze Objekt erschließen?
  • Berührung. Zwei sich berührende Instanzen: Wo genau liegt die Trennung?
  • Bewegungsunschärfe. Wo liegt die Grenze einer unscharfen Kante?

Ein einzelnes durchgearbeitetes Beispiel pro Regel ist mehr wert als ein Absatz Prosa. Wenn Annotierende danach uneins sind, sehen Sie das als niedriges σ bei hoher Detektionsübereinstimmung — sie finden dieselben Objekte und zeichnen sie unterschiedlich, was ein Problem der Richtlinien ist und keines der Nachlässigkeit.

Mit einem Modell beginnen

Click-to-Segment liefert in etwa 130 ms einen ersten Entwurf, im Browser und ohne GPU:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - {name: object, color: "#6e56cf"}
bash
potato download-models onnxruntime
potato download-models mobile_sam

Positive Klicks fügen einer Maske etwas hinzu, negative Klicks schneiden etwas weg, eine Box schränkt die Suche ein, und eine vorhandene Maske lässt sich verfeinern.

Der Wert der Annotation liegt in der Korrektur. Wenn Ihre Annotierenden jedes Mal die erste Maske übernehmen, haben Sie die Aufzeichnung eines Modells gesammelt, das sich selbst zustimmt — siehe echte Prüfung von blindem Abnicken unterscheiden, denn Übereinstimmungsstatistiken verraten es Ihnen nicht.

Übereinstimmung bei Masken messen

Verwenden Sie kein mittleres IoU zwischen Annotierenden. Es beantwortet „ist die Aufgabe leicht", nicht „stimmen diese Annotierenden überein" — warum, steht unter Übereinstimmung bei Bounding Boxes messen.

Verwenden Sie STAPLE, das eine latente Konsensgrenze zusammen mit einer Sensitivität und einer Spezifität pro Annotierendem schätzt:

  • Niedrige Sensitivität bedeutet Untersegmentierung, also Zeichnen innerhalb der wahren Grenze.
  • Niedrige Spezifität bedeutet Übersegmentierung, also großzügiges Zeichnen um sie herum.

Beide haben entgegengesetzte Abhilfen, weshalb eine einzelne Genauigkeitszahl nicht genügt, um Annotierenden Feedback zu geben.

STAPLE gewichtet außerdem nach nachgewiesener Zuverlässigkeit statt Stimmen zu zählen. Zwei sorgfältige Annotierende, die drei zu zwei von fahrigen überstimmt werden, erzielen unter Mehrheitsabstimmung ein Dice von 0,846 und unter STAPLE 1,000.

Export

COCO trägt Polygone und RLE-Masken, einschließlich iscrowd-Crowd-Regionen. DAVIS trägt Masken pro Instanz. YOLO trägt Polygone, aber keine Masken. Prüfen Sie die Formatmatrix, bevor Sie sich auf einen Masken-Workflow festlegen, falls die Labels an einem bestimmten Ziel ankommen müssen.