Comment annoter des nuages de points 3D
Étiquetez des données lidar et de photogrammétrie avec des cuboïdes 3D orientés. Formats, niveau de détail, pourquoi la rotation doit être un quaternion, et comment mesurer l'accord sur une boîte 3D.
Annoter un nuage de points consiste à placer des boîtes 3D orientées sur des données éparses et échantillonnées de façon irrégulière, où un objet éloigné peut se réduire à quelques dizaines de retours. Le plus difficile n'est pas le dessin : il s'agit de garder la visionneuse interactive, de donner à l'annotateur un moyen de vérifier son travail et de choisir une représentation de la rotation qui résiste à un aller-retour.
Formats
| Format | Remarques |
|---|---|
KITTI velodyne .bin | float32 brut x, y, z, intensité. Pas d'en-tête, la disposition est donc supposée |
| PCD | ascii, binary et binary_compressed (LZF) |
| PLY | ascii et les deux boutismes binaires |
| LAS | 1.0 à 1.4 |
.xyz / .pts | x y z [r g b] par ligne |
| LAZ | LAS compressé. À convertir d'abord : laszip -i scan.laz -o scan.las |
Analysez les fichiers côté serveur plutôt que dans le navigateur. Quatre formats signifient quatre jeux de bogues de boutisme et de disposition des enregistrements, et une nouvelle analyse d'un scan de deux millions de points à chaque chargement de page.
Garder l'interactivité
Un scan brut est trop volumineux pour être affiché tel quel. Deux éléments le rendent exploitable :
- Niveau de détail par octree. Les points sont chargés par région et selon la distance à la caméra. Cette option est activée par défaut dans Potato (
lod: true). - Un plafond de décimation (
max_points). Considérez-le comme un réglage de la visionneuse, non comme un réglage des données.
Cette distinction a déjà posé problème et mérite d'être répétée : les étiquettes de segment par point étaient autrefois stockées comme des indices dans le nuage décimé, si bien qu'abaisser max_points faisait pointer silencieusement des étiquettes existantes vers d'autres points. Les indices doivent toujours se rapporter au fichier source.
Donner aux annotateurs une vérification en 2D
Une voiture à 40 mètres représente quelques dizaines de retours. Savoir si la boîte est ajustée, de la bonne longueur et correctement orientée est presque impossible à trancher à partir du nuage seul, et évident dans une image de caméra.
D'où le principe : éditer en 3D, vérifier en 2D. Fournissez la calibration pour chaque item et projetez chaque boîte dans chaque vue de caméra. Sans cela, l'étiquetage 3D n'a aucune boucle de rétroaction : une boîte qui semble correcte depuis la caméra orbitale peut être décalée de plusieurs mètres le long de l'axe de vue sans que rien ne le signale.
Des panneaux orthographiques en tranches apportent l'autre moitié : trois vues alignées sur les axes pour les ajustements précis, entièrement pilotées au clavier.
Stocker la rotation sous forme de quaternion
La plupart des formats stockent un simple angle de lacet. Stocker en interne un quaternion complet ressemble à du sur-ingénierie, jusqu'à ce qu'un aller-retour perde quelque chose.
Cela rend l'import KITTI sans perte, y compris l'inclinaison de montage caméra-lidar d'environ 0,85° qu'un champ de lacet seul écarte sans le dire. L'export vers KITTI doit toujours abandonner le tangage et le roulis. Le bon comportement consiste à rapporter de combien l'orientation a été écartée plutôt qu'à aplatir silencieusement la boîte.
Franchissez cet écart dans le code propre à chaque format, bruyamment, plutôt que dans la couche de stockage, silencieusement.
Les référentiels, source des erreurs
Trois conventions faciles à se tromper et difficiles à remarquer :
- Référentiel de référence ou référentiel de caméra. Utiliser la transformation d'une caméra là où l'on attend le référentiel de référence rectifié décale chaque boîte de la base stéréo de cette caméra. L'erreur est systématique, de quelques centimètres, et se confond facilement avec de la négligence de l'annotateur.
- Dans KITTI, la position est la face inférieure, et non le centre. La lire comme le centre enfonce chaque objet sous terre d'une demi-hauteur.
- Ordre des dimensions et attribution des axes. Un test d'aller-retour ne peut pas détecter une erreur de rotation de 90° ici, car la conversion inverse fait la même hypothèse erronée et les deux concordent entre elles. Seule une comparaison avec la formule des coins de l'implémentation de référence la détecte.
Mesurer l'accord
Utilisez l'IoU 3D exacte sur boîtes orientées. Une approximation alignée sur les axes convient aux données automobiles à plat, mais elle est fausse pour les scans par drone, portatifs et d'intérieur, où elle rapporte un désaccord qui est un artefact de la mesure et non des annotateurs.
Comme en 2D, scindez la question : les annotateurs ont-ils trouvé les mêmes objets, les ont-ils étiquetés de la même façon, et les ont-ils placés de la même façon. Voir mesurer l'accord sur les boîtes englobantes.
Configuration
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Put a 3D box around every vehicle and pedestrian."
source_field: point_cloud
calibration_field: calibration
tools: [cuboid_3d, point_3d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: pedestrian, color: "#FFD93D", key_value: "2"}
color_mode: height
lod: true
max_points: 400000
fit_box_height: trueExemple fonctionnel : la conception de démonstration KITTI.
Quand un autre outil est la bonne réponse
Segments.ai, Kognic, Deepen AI, Supervisely et Xtreme1/BasicAI sont des spécialistes, et pour les chaînes de production de conduite autonome ils sont en avance : flux de travail sur séquences avec propagation des pistes, radar et multi-LiDAR, modèles d'ajustement automatique des cuboïdes et, chez Deepen, un produit complet de calibration sans cible. Supervisely et Xtreme1 peuvent être auto-hébergés, et Supervisely gère des nuages bien plus volumineux.
Potato étiquette les séquences de nuages de points avec des images clés et interpole chaque boîte entre elles, et ne propage pas les pistes sur un balayage. Choisissez-le pour la 3D lorsque vous voulez des statistiques de fiabilité sur des étiquettes spatiales, ou lorsque la 3D n'est qu'un volet d'une étude multimodale.
Pour aller plus loin
Exemples de designs
Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.