Anotación de visión y espacial
Potato anota imágenes, vídeo, escaneos de gigapíxeles, nubes de puntos 3D, mapas de profundidad y episodios de robots, e informa de acuerdo corregido por azar sobre todos ellos. Visión general de la superficie de visión y espacial.
Potato anota imágenes, vídeo, escaneos de gigapíxeles, nubes de puntos 3D, mapas de profundidad, episodios de robots y despliegues de vídeo generativo, todo desde una única configuración YAML, e informa de acuerdo corregido por azar sobre cada uno de ellos. Esta página es el mapa; cada superficie tiene su propia página más abajo.
La versión 2.8 es donde llegó la mayor parte de esto. Antes, Potato era una plataforma de anotación de texto con un modo de imagen.
Qué hay aquí
| Superficie | Esquema | Página |
|---|---|---|
| Cuadros, polígonos, polilíneas, elipses, cuboides, puntos clave, máscaras | image_annotation | Primitivas geométricas |
| Haz clic en un objeto y obtén una máscara | image_annotation con la herramienta sam | Segmentación interactiva |
| Escribe una frase y obtén recuadradas todas las coincidencias | image_annotation con text_prompt | Indicaciones de texto |
| Sigue un objeto a lo largo de un clip | video_annotation | Seguimiento en vídeo |
| Escaneos de gigapíxeles a resolución completa | viewer: deepzoom | Zoom profundo |
| Nubes de puntos 3D y cuboides orientados | spatial_annotation | Nubes de puntos |
| Mapas de profundidad con lectura en metros | pantalla depth_map | Mapas de profundidad |
| Demostraciones de robots sobre una línea de tiempo | episode_annotation | Episodios de robots |
| Despliegues de vídeo generativo | rollout_evaluation | Evaluación de modelos del mundo |
| Expresiones referenciales y señalización | grounding_eval, region_caption | Anclaje en VLM |
| 48 formatos de importación y 72 de exportación | — | Formatos de visión por computadora |
| Qué modelos y con qué licencia | — | Zoo de modelos |
Lo que tiene de inusual
Las herramientas de dibujo no son lo que distingue a Potato aquí. CVAT, Label Studio, Roboflow, V7 y Supervisely dibujan cuadros y polígonos, y varios lo hacen mejor; la guía comparativa dice dónde.
Lo que Potato añade es que cada una de estas superficies informa de acuerdo corregido por azar. No hemos encontrado ninguna otra plataforma de anotación que informe de un coeficiente corregido por azar para etiquetas espaciales: el estándar es el IoU sin procesar o el porcentaje de coincidencia, que se infla siempre que una respuesta domina, y casi siempre domina una respuesta. Consulta Medición e integridad para saber qué significa eso en cuadros, máscaras, cuboides 3D, tiempos de eventos y descripciones.
Los modelos se ejecutan en local
La segmentación interactiva y las indicaciones de texto de vocabulario abierto se ejecutan en el navegador del anotador mediante ONNX Runtime Web. No hay GPU que aprovisionar, ni servidor de modelos que mantener, ni llamada de red por cada clic. Una vez que los pesos están en la máquina, todo funciona sin conexión a la red.
La propagación de máscaras en vídeo es la excepción y se ejecuta en el servidor, por decisión propia: su coste es por fotograma y no por indicación, y cien fotogramas de un modelo de vídeo en una pestaña del navegador serían minutos de interfaz congelada.
No se incluye nada y no se descarga nada a menos que lo pidas:
potato download-models --list
potato download-models mobile_samLa página del zoo de modelos indica la licencia de cada modelo, y download-models se niega a descargar un modelo no comercial sin --accept-licence.
Primeros pasos
La vía más rápida es un ejemplo ejecutable. Cada uno de estos vive en el repositorio de Potato y se ejecuta desde la raíz del repositorio sin descargas:
examples/image/interactive-segmentation/— haz clic para segmentarexamples/image/text-prompt-labeling/— escribe una frase y etiqueta a partir de ellaexamples/video/mask-propagation/— seguimiento a través de una oclusiónexamples/spatial/kitti-cuboids/— cajas 3D sobre lidarexamples/embodied/lerobot-episode/— una demostración de robot
Lecturas adicionales
- Medición e integridad — acuerdo sobre geometría, tiempo y 3D
- Referencia de anotación de imágenes
- Referencia de anotación de vídeo
- Notas de la versión 2.8