Vision- und räumliche Annotation
Potato annotiert Bilder, Videos, Gigapixel-Scans, 3D-Punktwolken, Tiefenkarten und Roboter-Episoden und berichtet für alle zufallskorrigierte Übereinstimmung. Überblick über den Bereich Vision und Raum.
Potato annotiert Bilder, Videos, Gigapixel-Scans, 3D-Punktwolken, Tiefenkarten, Roboter-Episoden und Rollouts generativer Videos, alles aus einer YAML-Konfiguration, und berichtet für jeden dieser Bereiche zufallskorrigierte Übereinstimmung. Diese Seite ist die Übersichtskarte; jeder Bereich hat unten seine eigene Seite.
Version 2.8 brachte das meiste davon. Davor war Potato eine Plattform für Textannotation mit einem Bildmodus.
Was es gibt
| Bereich | Schema | Seite |
|---|---|---|
| Boxen, Polygone, Polylinien, Ellipsen, Quader, Keypoints, Masken | image_annotation | Geometrie-Primitive |
| Ein Objekt anklicken, eine Maske erhalten | image_annotation mit dem Werkzeug sam | Interaktive Segmentierung |
| Einen Ausdruck tippen, jeden Treffer eingerahmt bekommen | image_annotation mit text_prompt | Text-Prompting |
| Ein Objekt durch einen Clip verfolgen | video_annotation | Video-Tracking |
| Gigapixel-Scans in voller Auflösung | viewer: deepzoom | Deep Zoom |
| 3D-Punktwolken und orientierte Quader | spatial_annotation | Punktwolken |
| Tiefenkarten mit Anzeige in Metern | Anzeige depth_map | Tiefenkarten |
| Roboter-Demonstrationen auf einer Zeitleiste | episode_annotation | Roboter-Episoden |
| Rollouts generativer Videos | rollout_evaluation | Bewertung von Weltmodellen |
| Referenzierende Ausdrücke und Zeigen | grounding_eval, region_caption | VLM-Grounding |
| 48 Import- und 72 Exportformate | — | CV-Formate |
| Welche Modelle, unter welcher Lizenz | — | Modellübersicht |
Das Ungewöhnliche daran
Die Zeichenwerkzeuge sind es nicht, was Potato hier auszeichnet. CVAT, Label Studio, Roboflow, V7 und Supervisely zeichnen alle Boxen und Polygone, und einige davon besser; der Vergleichsleitfaden sagt, wo.
Potato fügt hinzu, dass jeder dieser Bereiche zufallskorrigierte Übereinstimmung berichtet. Wir haben keine andere Annotationsplattform gefunden, die überhaupt einen zufallskorrigierten Koeffizienten für räumliche Labels berichtet: Standard sind rohes IoU oder prozentuale Übereinstimmung, die immer aufgebläht sind, wenn eine Antwort dominiert, und fast immer dominiert eine Antwort. Was das für Boxen, Masken, 3D-Quader, Ereigniszeiten und Bildunterschriften bedeutet, steht unter Messung und Integrität.
Modelle laufen lokal
Interaktive Segmentierung und Open-Vocabulary-Text-Prompting laufen beide im Browser der Annotierenden über ONNX Runtime Web. Es gibt keine GPU bereitzustellen, keinen Modellserver zu betreiben und keinen Netzwerkaufruf pro Klick. Sobald die Gewichte auf dem Rechner liegen, funktioniert das Ganze air-gapped.
Die Propagation von Videomasken ist die Ausnahme und läuft bewusst auf dem Server: Ihre Kosten fallen pro Frame an statt pro Prompt, und hundert Frames eines Videomodells in einem Browser-Tab wären Minuten eingefrorener Oberfläche.
Nichts wird mitgeliefert, und nichts wird heruntergeladen, solange Sie es nicht verlangen:
potato download-models --list
potato download-models mobile_samDie Seite Modellübersicht nennt die Lizenz jedes Modells, und download-models weigert sich, ein nichtkommerzielles Modell ohne --accept-licence abzurufen.
Erste Schritte
Der schnellste Weg ist ein lauffähiges Beispiel. Jedes davon liegt im Potato-Repository und läuft ohne Downloads aus dem Repository-Wurzelverzeichnis:
examples/image/interactive-segmentation/— per Klick segmentierenexamples/image/text-prompt-labeling/— einen Ausdruck tippen, daraus labelnexamples/video/mask-propagation/— durch eine Verdeckung hindurch verfolgenexamples/spatial/kitti-cuboids/— 3D-Boxen auf Lidarexamples/embodied/lerobot-episode/— eine Roboter-Demonstration
Weiterführende Links
- Messung und Integrität — Übereinstimmung über Geometrie, Zeit und 3D
- Referenz zur Bildannotation
- Referenz zur Videoannotation
- Versionshinweise zu 2.8