Annotation de vision et spatiale
Potato annote des images, des vidéos, des scans en gigapixels, des nuages de points 3D, des cartes de profondeur et des épisodes de robot, et rapporte un accord corrigé du hasard sur chacun. Vue d'ensemble de la surface vision et spatiale.
Potato annote des images, des vidéos, des scans en gigapixels, des nuages de points 3D, des cartes de profondeur, des épisodes de robot et des déroulements de vidéos générées, le tout depuis une seule configuration YAML, et rapporte un accord corrigé du hasard sur chacun d'eux. Cette page est la carte ; chaque surface a sa propre page plus bas.
La version 2.8 est celle où l'essentiel est arrivé. Avant elle, Potato était une plateforme d'annotation de texte dotée d'un mode image.
Ce qu'on trouve ici
| Surface | Schéma | Page |
|---|---|---|
| Boîtes, polygones, polylignes, ellipses, cuboïdes, points clés, masques | image_annotation | Primitives géométriques |
| Cliquer sur un objet, obtenir un masque | image_annotation avec l'outil sam | Segmentation interactive |
| Saisir une expression, obtenir toutes les correspondances encadrées | image_annotation avec text_prompt | Invites textuelles |
| Suivre un objet dans un clip | video_annotation | Suivi vidéo |
| Scans en gigapixels en pleine résolution | viewer: deepzoom | Zoom profond |
| Nuages de points 3D et cuboïdes orientés | spatial_annotation | Nuages de points |
| Cartes de profondeur avec lecture en mètres | affichage depth_map | Cartes de profondeur |
| Démonstrations de robot sur une chronologie | episode_annotation | Épisodes de robot |
| Déroulements de vidéos générées | rollout_evaluation | Évaluation des modèles du monde |
| Expressions référentielles et pointage | grounding_eval, region_caption | Ancrage des VLM |
| 48 formats d'import et 72 formats d'export | — | Formats de vision par ordinateur |
| Quels modèles, et sous quelle licence | — | Catalogue de modèles |
Ce qui est inhabituel
Les outils de dessin ne distinguent pas Potato ici. CVAT, Label Studio, Roboflow, V7 et Supervisely dessinent tous des boîtes et des polygones, et plusieurs le font mieux ; le guide comparatif dit où.
Ce que Potato ajoute, c'est que chacune de ces surfaces rapporte un accord corrigé du hasard. Nous n'avons trouvé aucune autre plateforme d'annotation qui rapporte un coefficient corrigé du hasard pour des étiquettes spatiales : le standard est l'IoU brute ou le pourcentage de concordance, gonflé dès qu'une réponse domine, et une réponse domine presque toujours. Voir Mesure et intégrité pour ce que cela signifie pour les boîtes, les masques, les cuboïdes 3D, les durées d'événements et les légendes.
Les modèles tournent en local
La segmentation interactive et l'invite textuelle à vocabulaire ouvert s'exécutent toutes deux dans le navigateur de l'annotateur grâce à ONNX Runtime Web. Il n'y a pas de GPU à provisionner, pas de serveur de modèles à maintenir, et pas d'appel réseau par clic. Une fois les poids sur la machine, l'ensemble fonctionne en environnement isolé du réseau.
La propagation de masques vidéo fait exception et s'exécute sur le serveur, par choix : son coût est par image plutôt que par invite, et une centaine d'images d'un modèle vidéo dans un onglet de navigateur représenteraient des minutes d'interface figée.
Rien n'est livré avec le logiciel et rien n'est téléchargé sans que vous le demandiez :
potato download-models --list
potato download-models mobile_samLa page du catalogue de modèles indique la licence de chaque modèle, et download-models refuse de télécharger un modèle non commercial sans --accept-licence.
Pour commencer
Le plus rapide est un exemple exécutable. Chacun se trouve dans le dépôt de Potato et s'exécute depuis la racine du dépôt, sans téléchargement :
examples/image/interactive-segmentation/— cliquer pour segmenterexamples/image/text-prompt-labeling/— saisir une expression, étiqueter à partir d'elleexamples/video/mask-propagation/— suivre à travers une occlusionexamples/spatial/kitti-cuboids/— boîtes 3D sur du lidarexamples/embodied/lerobot-episode/— une démonstration de robot
Pour aller plus loin
- Mesure et intégrité — accord sur la géométrie, le temps et la 3D
- Référence de l'annotation d'images
- Référence de l'annotation vidéo
- Notes de version de la 2.8