Vai al contenuto

Annotazione visiva e spaziale

Potato annota immagini, video, scansioni da gigapixel, nuvole di punti 3D, mappe di profondità ed episodi robotici, e riporta l'accordo corretto per il caso su tutti. Panoramica della superficie visiva e spaziale.

Potato annota immagini, video, scansioni da gigapixel, nuvole di punti 3D, mappe di profondità, episodi robotici e rollout di video generativi, tutto da un'unica configurazione YAML, e riporta l'accordo corretto per il caso su ciascuno di essi. Questa pagina è la mappa; ogni superficie ha la propria pagina qui sotto.

La versione 2.8 è quella in cui è arrivata gran parte di questo lavoro. Prima, Potato era una piattaforma di annotazione di testo con una modalità per le immagini.

Che cosa c'è

SuperficieSchemaPagina
Riquadri, poligoni, polilinee, ellissi, cuboidi, punti chiave, maschereimage_annotationPrimitive geometriche
Clicca un oggetto, ottieni una mascheraimage_annotation con lo strumento samSegmentazione interattiva
Scrivi una frase, ottieni ogni corrispondenza inquadrataimage_annotation con text_promptPrompt testuale
Segui un oggetto in una clipvideo_annotationTracciamento video
Scansioni da gigapixel a piena risoluzioneviewer: deepzoomDeep zoom
Nuvole di punti 3D e cuboidi orientatispatial_annotationNuvole di punti
Mappe di profondità con lettura in metridisplay depth_mapMappe di profondità
Dimostrazioni robotiche su una linea temporaleepisode_annotationEpisodi robotici
Rollout di video generativirollout_evaluationValutazione dei world model
Espressioni referenziali e puntamentogrounding_eval, region_captionGrounding nei VLM
48 formati di importazione e 72 di esportazione—Formati CV
Quali modelli, e con quale licenza—Model zoo

La parte insolita

Gli strumenti di disegno non sono ciò che distingue Potato in questo campo. CVAT, Label Studio, Roboflow, V7 e Supervisely disegnano tutti riquadri e poligoni, e diversi tra loro lo fanno meglio; la guida di confronto dice dove.

Quello che Potato aggiunge è che ognuna di queste superfici riporta l'accordo corretto per il caso. Non abbiamo trovato nessun'altra piattaforma di annotazione che riporti un coefficiente corretto per il caso per le etichette spaziali: lo standard è l'IoU grezzo o la percentuale di corrispondenza, che si gonfia ogni volta che una risposta domina, e una risposta domina quasi sempre. Vedi Misurazione e integrità per che cosa significa per riquadri, maschere, cuboidi 3D, tempi degli eventi e didascalie.

I modelli girano in locale

La segmentazione interattiva e il prompt testuale a vocabolario aperto girano entrambi nel browser dell'annotatore tramite ONNX Runtime Web. Non c'è nessuna GPU da predisporre, nessun server di modelli da tenere attivo e nessuna chiamata di rete per clic. Una volta che i pesi sono sulla macchina, il tutto funziona in isolamento dalla rete.

La propagazione delle maschere nei video è l'eccezione e gira sul server, per scelta: il suo costo è per fotogramma e non per prompt, e cento fotogrammi di un modello video in una scheda del browser significherebbero minuti di interfaccia bloccata.

Niente è incluso e niente viene scaricato se non lo chiedi:

bash
potato download-models --list
potato download-models mobile_sam

La pagina del model zoo indica la licenza di ogni modello, e download-models si rifiuta di scaricare un modello non commerciale senza --accept-licence.

Per iniziare

La via più rapida è un esempio eseguibile. Ognuno di questi si trova nel repository di Potato e parte dalla radice del repository senza download:

Letture di approfondimento