Aller au contenu

Annotation de vision et spatiale

Potato annote des images, des vidéos, des scans en gigapixels, des nuages de points 3D, des cartes de profondeur et des épisodes de robot, et rapporte un accord corrigé du hasard sur chacun. Vue d'ensemble de la surface vision et spatiale.

Potato annote des images, des vidéos, des scans en gigapixels, des nuages de points 3D, des cartes de profondeur, des épisodes de robot et des déroulements de vidéos générées, le tout depuis une seule configuration YAML, et rapporte un accord corrigé du hasard sur chacun d'eux. Cette page est la carte ; chaque surface a sa propre page plus bas.

La version 2.8 est celle où l'essentiel est arrivé. Avant elle, Potato était une plateforme d'annotation de texte dotée d'un mode image.

Ce qu'on trouve ici

SurfaceSchémaPage
Boîtes, polygones, polylignes, ellipses, cuboïdes, points clés, masquesimage_annotationPrimitives géométriques
Cliquer sur un objet, obtenir un masqueimage_annotation avec l'outil samSegmentation interactive
Saisir une expression, obtenir toutes les correspondances encadréesimage_annotation avec text_promptInvites textuelles
Suivre un objet dans un clipvideo_annotationSuivi vidéo
Scans en gigapixels en pleine résolutionviewer: deepzoomZoom profond
Nuages de points 3D et cuboïdes orientésspatial_annotationNuages de points
Cartes de profondeur avec lecture en mètresaffichage depth_mapCartes de profondeur
Démonstrations de robot sur une chronologieepisode_annotationÉpisodes de robot
Déroulements de vidéos généréesrollout_evaluationÉvaluation des modèles du monde
Expressions référentielles et pointagegrounding_eval, region_captionAncrage des VLM
48 formats d'import et 72 formats d'export—Formats de vision par ordinateur
Quels modèles, et sous quelle licence—Catalogue de modèles

Ce qui est inhabituel

Les outils de dessin ne distinguent pas Potato ici. CVAT, Label Studio, Roboflow, V7 et Supervisely dessinent tous des boîtes et des polygones, et plusieurs le font mieux ; le guide comparatif dit où.

Ce que Potato ajoute, c'est que chacune de ces surfaces rapporte un accord corrigé du hasard. Nous n'avons trouvé aucune autre plateforme d'annotation qui rapporte un coefficient corrigé du hasard pour des étiquettes spatiales : le standard est l'IoU brute ou le pourcentage de concordance, gonflé dès qu'une réponse domine, et une réponse domine presque toujours. Voir Mesure et intégrité pour ce que cela signifie pour les boîtes, les masques, les cuboïdes 3D, les durées d'événements et les légendes.

Les modèles tournent en local

La segmentation interactive et l'invite textuelle à vocabulaire ouvert s'exécutent toutes deux dans le navigateur de l'annotateur grâce à ONNX Runtime Web. Il n'y a pas de GPU à provisionner, pas de serveur de modèles à maintenir, et pas d'appel réseau par clic. Une fois les poids sur la machine, l'ensemble fonctionne en environnement isolé du réseau.

La propagation de masques vidéo fait exception et s'exécute sur le serveur, par choix : son coût est par image plutôt que par invite, et une centaine d'images d'un modèle vidéo dans un onglet de navigateur représenteraient des minutes d'interface figée.

Rien n'est livré avec le logiciel et rien n'est téléchargé sans que vous le demandiez :

bash
potato download-models --list
potato download-models mobile_sam

La page du catalogue de modèles indique la licence de chaque modèle, et download-models refuse de télécharger un modèle non commercial sans --accept-licence.

Pour commencer

Le plus rapide est un exemple exécutable. Chacun se trouve dans le dépôt de Potato et s'exécute depuis la racine du dépôt, sans téléchargement :

Pour aller plus loin