Aller au contenu

Comment annoter des nuages de points 3D

Étiquetez des données lidar et de photogrammétrie avec des cuboïdes 3D orientés. Formats, niveau de détail, pourquoi la rotation doit être un quaternion, et comment mesurer l'accord sur une boîte 3D.

Annoter un nuage de points consiste à placer des boîtes 3D orientées sur des données éparses et échantillonnées de façon irrégulière, où un objet éloigné peut se réduire à quelques dizaines de retours. Le plus difficile n'est pas le dessin : il s'agit de garder la visionneuse interactive, de donner à l'annotateur un moyen de vérifier son travail et de choisir une représentation de la rotation qui résiste à un aller-retour.

Formats

FormatRemarques
KITTI velodyne .binfloat32 brut x, y, z, intensité. Pas d'en-tête, la disposition est donc supposée
PCDascii, binary et binary_compressed (LZF)
PLYascii et les deux boutismes binaires
LAS1.0 à 1.4
.xyz / .ptsx y z [r g b] par ligne
LAZLAS compressé. À convertir d'abord : laszip -i scan.laz -o scan.las

Analysez les fichiers côté serveur plutôt que dans le navigateur. Quatre formats signifient quatre jeux de bogues de boutisme et de disposition des enregistrements, et une nouvelle analyse d'un scan de deux millions de points à chaque chargement de page.

Garder l'interactivité

Un scan brut est trop volumineux pour être affiché tel quel. Deux éléments le rendent exploitable :

  • Niveau de détail par octree. Les points sont chargés par région et selon la distance à la caméra. Cette option est activée par défaut dans Potato (lod: true).
  • Un plafond de décimation (max_points). Considérez-le comme un réglage de la visionneuse, non comme un réglage des données.

Cette distinction a déjà posé problème et mérite d'être répétée : les étiquettes de segment par point étaient autrefois stockées comme des indices dans le nuage décimé, si bien qu'abaisser max_points faisait pointer silencieusement des étiquettes existantes vers d'autres points. Les indices doivent toujours se rapporter au fichier source.

Donner aux annotateurs une vérification en 2D

Une voiture à 40 mètres représente quelques dizaines de retours. Savoir si la boîte est ajustée, de la bonne longueur et correctement orientée est presque impossible à trancher à partir du nuage seul, et évident dans une image de caméra.

D'où le principe : éditer en 3D, vérifier en 2D. Fournissez la calibration pour chaque item et projetez chaque boîte dans chaque vue de caméra. Sans cela, l'étiquetage 3D n'a aucune boucle de rétroaction : une boîte qui semble correcte depuis la caméra orbitale peut être décalée de plusieurs mètres le long de l'axe de vue sans que rien ne le signale.

Des panneaux orthographiques en tranches apportent l'autre moitié : trois vues alignées sur les axes pour les ajustements précis, entièrement pilotées au clavier.

Stocker la rotation sous forme de quaternion

La plupart des formats stockent un simple angle de lacet. Stocker en interne un quaternion complet ressemble à du sur-ingénierie, jusqu'à ce qu'un aller-retour perde quelque chose.

Cela rend l'import KITTI sans perte, y compris l'inclinaison de montage caméra-lidar d'environ 0,85° qu'un champ de lacet seul écarte sans le dire. L'export vers KITTI doit toujours abandonner le tangage et le roulis. Le bon comportement consiste à rapporter de combien l'orientation a été écartée plutôt qu'à aplatir silencieusement la boîte.

Franchissez cet écart dans le code propre à chaque format, bruyamment, plutôt que dans la couche de stockage, silencieusement.

Les référentiels, source des erreurs

Trois conventions faciles à se tromper et difficiles à remarquer :

  • Référentiel de référence ou référentiel de caméra. Utiliser la transformation d'une caméra là où l'on attend le référentiel de référence rectifié décale chaque boîte de la base stéréo de cette caméra. L'erreur est systématique, de quelques centimètres, et se confond facilement avec de la négligence de l'annotateur.
  • Dans KITTI, la position est la face inférieure, et non le centre. La lire comme le centre enfonce chaque objet sous terre d'une demi-hauteur.
  • Ordre des dimensions et attribution des axes. Un test d'aller-retour ne peut pas détecter une erreur de rotation de 90° ici, car la conversion inverse fait la même hypothèse erronée et les deux concordent entre elles. Seule une comparaison avec la formule des coins de l'implémentation de référence la détecte.

Mesurer l'accord

Utilisez l'IoU 3D exacte sur boîtes orientées. Une approximation alignée sur les axes convient aux données automobiles à plat, mais elle est fausse pour les scans par drone, portatifs et d'intérieur, où elle rapporte un désaccord qui est un artefact de la mesure et non des annotateurs.

Comme en 2D, scindez la question : les annotateurs ont-ils trouvé les mêmes objets, les ont-ils étiquetés de la même façon, et les ont-ils placés de la même façon. Voir mesurer l'accord sur les boîtes englobantes.

Configuration

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    lod: true
    max_points: 400000
    fit_box_height: true

Exemple fonctionnel : la conception de démonstration KITTI.

Quand un autre outil est la bonne réponse

Segments.ai, Kognic, Deepen AI, Supervisely et Xtreme1/BasicAI sont des spécialistes, et pour les chaînes de production de conduite autonome ils sont en avance : flux de travail sur séquences avec propagation des pistes, radar et multi-LiDAR, modèles d'ajustement automatique des cuboïdes et, chez Deepen, un produit complet de calibration sans cible. Supervisely et Xtreme1 peuvent être auto-hébergés, et Supervisely gère des nuages bien plus volumineux.

Potato étiquette les séquences de nuages de points avec des images clés et interpole chaque boîte entre elles, et ne propage pas les pistes sur un balayage. Choisissez-le pour la 3D lorsque vous voulez des statistiques de fiabilité sur des étiquettes spatiales, ou lorsque la 3D n'est qu'un volet d'une étude multimodale.

Pour aller plus loin

Exemples de designs

Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.