Ir al contenido

Anotación de visión y espacial

Potato anota imágenes, vídeo, escaneos de gigapíxeles, nubes de puntos 3D, mapas de profundidad y episodios de robots, e informa de acuerdo corregido por azar sobre todos ellos. Visión general de la superficie de visión y espacial.

Potato anota imágenes, vídeo, escaneos de gigapíxeles, nubes de puntos 3D, mapas de profundidad, episodios de robots y despliegues de vídeo generativo, todo desde una única configuración YAML, e informa de acuerdo corregido por azar sobre cada uno de ellos. Esta página es el mapa; cada superficie tiene su propia página más abajo.

La versión 2.8 es donde llegó la mayor parte de esto. Antes, Potato era una plataforma de anotación de texto con un modo de imagen.

Qué hay aquí

SuperficieEsquemaPágina
Cuadros, polígonos, polilíneas, elipses, cuboides, puntos clave, máscarasimage_annotationPrimitivas geométricas
Haz clic en un objeto y obtén una máscaraimage_annotation con la herramienta samSegmentación interactiva
Escribe una frase y obtén recuadradas todas las coincidenciasimage_annotation con text_promptIndicaciones de texto
Sigue un objeto a lo largo de un clipvideo_annotationSeguimiento en vídeo
Escaneos de gigapíxeles a resolución completaviewer: deepzoomZoom profundo
Nubes de puntos 3D y cuboides orientadosspatial_annotationNubes de puntos
Mapas de profundidad con lectura en metrospantalla depth_mapMapas de profundidad
Demostraciones de robots sobre una línea de tiempoepisode_annotationEpisodios de robots
Despliegues de vídeo generativorollout_evaluationEvaluación de modelos del mundo
Expresiones referenciales y señalizacióngrounding_eval, region_captionAnclaje en VLM
48 formatos de importación y 72 de exportación—Formatos de visión por computadora
Qué modelos y con qué licencia—Zoo de modelos

Lo que tiene de inusual

Las herramientas de dibujo no son lo que distingue a Potato aquí. CVAT, Label Studio, Roboflow, V7 y Supervisely dibujan cuadros y polígonos, y varios lo hacen mejor; la guía comparativa dice dónde.

Lo que Potato añade es que cada una de estas superficies informa de acuerdo corregido por azar. No hemos encontrado ninguna otra plataforma de anotación que informe de un coeficiente corregido por azar para etiquetas espaciales: el estándar es el IoU sin procesar o el porcentaje de coincidencia, que se infla siempre que una respuesta domina, y casi siempre domina una respuesta. Consulta Medición e integridad para saber qué significa eso en cuadros, máscaras, cuboides 3D, tiempos de eventos y descripciones.

Los modelos se ejecutan en local

La segmentación interactiva y las indicaciones de texto de vocabulario abierto se ejecutan en el navegador del anotador mediante ONNX Runtime Web. No hay GPU que aprovisionar, ni servidor de modelos que mantener, ni llamada de red por cada clic. Una vez que los pesos están en la máquina, todo funciona sin conexión a la red.

La propagación de máscaras en vídeo es la excepción y se ejecuta en el servidor, por decisión propia: su coste es por fotograma y no por indicación, y cien fotogramas de un modelo de vídeo en una pestaña del navegador serían minutos de interfaz congelada.

No se incluye nada y no se descarga nada a menos que lo pidas:

bash
potato download-models --list
potato download-models mobile_sam

La página del zoo de modelos indica la licencia de cada modelo, y download-models se niega a descargar un modelo no comercial sin --accept-licence.

Primeros pasos

La vía más rápida es un ejemplo ejecutable. Cada uno de estos vive en el repositorio de Potato y se ejecuta desde la raíz del repositorio sin descargas:

Lecturas adicionales