Annotazione visiva e spaziale
Potato annota immagini, video, scansioni da gigapixel, nuvole di punti 3D, mappe di profondità ed episodi robotici, e riporta l'accordo corretto per il caso su tutti. Panoramica della superficie visiva e spaziale.
Potato annota immagini, video, scansioni da gigapixel, nuvole di punti 3D, mappe di profondità, episodi robotici e rollout di video generativi, tutto da un'unica configurazione YAML, e riporta l'accordo corretto per il caso su ciascuno di essi. Questa pagina è la mappa; ogni superficie ha la propria pagina qui sotto.
La versione 2.8 è quella in cui è arrivata gran parte di questo lavoro. Prima, Potato era una piattaforma di annotazione di testo con una modalità per le immagini.
Che cosa c'è
| Superficie | Schema | Pagina |
|---|---|---|
| Riquadri, poligoni, polilinee, ellissi, cuboidi, punti chiave, maschere | image_annotation | Primitive geometriche |
| Clicca un oggetto, ottieni una maschera | image_annotation con lo strumento sam | Segmentazione interattiva |
| Scrivi una frase, ottieni ogni corrispondenza inquadrata | image_annotation con text_prompt | Prompt testuale |
| Segui un oggetto in una clip | video_annotation | Tracciamento video |
| Scansioni da gigapixel a piena risoluzione | viewer: deepzoom | Deep zoom |
| Nuvole di punti 3D e cuboidi orientati | spatial_annotation | Nuvole di punti |
| Mappe di profondità con lettura in metri | display depth_map | Mappe di profondità |
| Dimostrazioni robotiche su una linea temporale | episode_annotation | Episodi robotici |
| Rollout di video generativi | rollout_evaluation | Valutazione dei world model |
| Espressioni referenziali e puntamento | grounding_eval, region_caption | Grounding nei VLM |
| 48 formati di importazione e 72 di esportazione | — | Formati CV |
| Quali modelli, e con quale licenza | — | Model zoo |
La parte insolita
Gli strumenti di disegno non sono ciò che distingue Potato in questo campo. CVAT, Label Studio, Roboflow, V7 e Supervisely disegnano tutti riquadri e poligoni, e diversi tra loro lo fanno meglio; la guida di confronto dice dove.
Quello che Potato aggiunge è che ognuna di queste superfici riporta l'accordo corretto per il caso. Non abbiamo trovato nessun'altra piattaforma di annotazione che riporti un coefficiente corretto per il caso per le etichette spaziali: lo standard è l'IoU grezzo o la percentuale di corrispondenza, che si gonfia ogni volta che una risposta domina, e una risposta domina quasi sempre. Vedi Misurazione e integrità per che cosa significa per riquadri, maschere, cuboidi 3D, tempi degli eventi e didascalie.
I modelli girano in locale
La segmentazione interattiva e il prompt testuale a vocabolario aperto girano entrambi nel browser dell'annotatore tramite ONNX Runtime Web. Non c'è nessuna GPU da predisporre, nessun server di modelli da tenere attivo e nessuna chiamata di rete per clic. Una volta che i pesi sono sulla macchina, il tutto funziona in isolamento dalla rete.
La propagazione delle maschere nei video è l'eccezione e gira sul server, per scelta: il suo costo è per fotogramma e non per prompt, e cento fotogrammi di un modello video in una scheda del browser significherebbero minuti di interfaccia bloccata.
Niente è incluso e niente viene scaricato se non lo chiedi:
potato download-models --list
potato download-models mobile_samLa pagina del model zoo indica la licenza di ogni modello, e download-models si rifiuta di scaricare un modello non commerciale senza --accept-licence.
Per iniziare
La via più rapida è un esempio eseguibile. Ognuno di questi si trova nel repository di Potato e parte dalla radice del repository senza download:
examples/image/interactive-segmentation/— clicca per segmentareexamples/image/text-prompt-labeling/— scrivi una frase, etichetta a partire da essaexamples/video/mask-propagation/— traccia attraverso un'occlusioneexamples/spatial/kitti-cuboids/— riquadri 3D su lidarexamples/embodied/lerobot-episode/— una dimostrazione robotica
Letture di approfondimento
- Misurazione e integrità — accordo su geometria, tempo e 3D
- Riferimento sull'annotazione di immagini
- Riferimento sull'annotazione video
- Note di rilascio della 2.8