Zum Inhalt springen

Vision- und räumliche Annotation

Potato annotiert Bilder, Videos, Gigapixel-Scans, 3D-Punktwolken, Tiefenkarten und Roboter-Episoden und berichtet für alle zufallskorrigierte Übereinstimmung. Überblick über den Bereich Vision und Raum.

Potato annotiert Bilder, Videos, Gigapixel-Scans, 3D-Punktwolken, Tiefenkarten, Roboter-Episoden und Rollouts generativer Videos, alles aus einer YAML-Konfiguration, und berichtet für jeden dieser Bereiche zufallskorrigierte Übereinstimmung. Diese Seite ist die Übersichtskarte; jeder Bereich hat unten seine eigene Seite.

Version 2.8 brachte das meiste davon. Davor war Potato eine Plattform für Textannotation mit einem Bildmodus.

Was es gibt

BereichSchemaSeite
Boxen, Polygone, Polylinien, Ellipsen, Quader, Keypoints, Maskenimage_annotationGeometrie-Primitive
Ein Objekt anklicken, eine Maske erhaltenimage_annotation mit dem Werkzeug samInteraktive Segmentierung
Einen Ausdruck tippen, jeden Treffer eingerahmt bekommenimage_annotation mit text_promptText-Prompting
Ein Objekt durch einen Clip verfolgenvideo_annotationVideo-Tracking
Gigapixel-Scans in voller Auflösungviewer: deepzoomDeep Zoom
3D-Punktwolken und orientierte Quaderspatial_annotationPunktwolken
Tiefenkarten mit Anzeige in MeternAnzeige depth_mapTiefenkarten
Roboter-Demonstrationen auf einer Zeitleisteepisode_annotationRoboter-Episoden
Rollouts generativer Videosrollout_evaluationBewertung von Weltmodellen
Referenzierende Ausdrücke und Zeigengrounding_eval, region_captionVLM-Grounding
48 Import- und 72 Exportformate—CV-Formate
Welche Modelle, unter welcher Lizenz—Modellübersicht

Das Ungewöhnliche daran

Die Zeichenwerkzeuge sind es nicht, was Potato hier auszeichnet. CVAT, Label Studio, Roboflow, V7 und Supervisely zeichnen alle Boxen und Polygone, und einige davon besser; der Vergleichsleitfaden sagt, wo.

Potato fügt hinzu, dass jeder dieser Bereiche zufallskorrigierte Übereinstimmung berichtet. Wir haben keine andere Annotationsplattform gefunden, die überhaupt einen zufallskorrigierten Koeffizienten für räumliche Labels berichtet: Standard sind rohes IoU oder prozentuale Übereinstimmung, die immer aufgebläht sind, wenn eine Antwort dominiert, und fast immer dominiert eine Antwort. Was das für Boxen, Masken, 3D-Quader, Ereigniszeiten und Bildunterschriften bedeutet, steht unter Messung und Integrität.

Modelle laufen lokal

Interaktive Segmentierung und Open-Vocabulary-Text-Prompting laufen beide im Browser der Annotierenden über ONNX Runtime Web. Es gibt keine GPU bereitzustellen, keinen Modellserver zu betreiben und keinen Netzwerkaufruf pro Klick. Sobald die Gewichte auf dem Rechner liegen, funktioniert das Ganze air-gapped.

Die Propagation von Videomasken ist die Ausnahme und läuft bewusst auf dem Server: Ihre Kosten fallen pro Frame an statt pro Prompt, und hundert Frames eines Videomodells in einem Browser-Tab wären Minuten eingefrorener Oberfläche.

Nichts wird mitgeliefert, und nichts wird heruntergeladen, solange Sie es nicht verlangen:

bash
potato download-models --list
potato download-models mobile_sam

Die Seite Modellübersicht nennt die Lizenz jedes Modells, und download-models weigert sich, ein nichtkommerzielles Modell ohne --accept-licence abzurufen.

Erste Schritte

Der schnellste Weg ist ein lauffähiges Beispiel. Jedes davon liegt im Potato-Repository und läuft ohne Downloads aus dem Repository-Wurzelverzeichnis: