Aller au contenu

Nuages de points 3D et cuboïdes

Annotez des nuages de points PCD, PLY, LAS et KITTI avec des cuboïdes 3D orientés, des points, des polylignes et des segments par point. Niveau de détail par octree, panneaux en tranches et rotation par quaternion qui résiste à un aller-retour.

Potato annote des nuages de points lidar et de photogrammétrie avec des cuboïdes 3D orientés, des points, des polylignes et des segments par point, dans le navigateur. Le niveau de détail par octree garde interactif sur un ordinateur portable un scan de plusieurs millions de points, et la calibration des caméras projette chaque boîte dans les images pour que vous puissiez vérifier en 2D tout en éditant en 3D.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    point_size: 2.0
    max_points: 400000

Exemple exécutable : examples/spatial/kitti-cuboids/.

Formats

Les nuages sont lus côté serveur et convertis en un seul binaire compact que comprend le navigateur. Analyser chaque format en JavaScript reviendrait à écrire quatre analyseurs, avec quatre jeux de bogues de boutisme et de disposition des enregistrements, et à ré-analyser un scan de deux millions de points à chaque chargement de page.

FormatRemarques
KITTI velodyne .binfloat32 brut x, y, z, intensité, sans en-tête
PCDascii, binary et binary_compressed (LZF)
PLYascii, binary_little_endian, binary_big_endian
LAS1.0 à 1.4, formats d'enregistrement de points 0 à 3 et 6 à 8
.xyz / .ptsx y z [r g b] par ligne
LAZNon lu directement. À convertir d'abord : laszip -i scan.laz -o scan.las

La couleur est lue lorsqu'un format la porte ; l'intensité est lue depuis KITTI, PCD et LAS. Demander color_mode: rgb sur un fichier sans couleur retombe sur la hauteur et le signale dans la ligne d'état, plutôt que d'afficher discrètement un rendu qui ressemble au mode demandé.

Outils

OutilCe qu'il dessine
cuboid_3dUne boîte 3D orientée
point_3dUn point 3D unique
polyline_3dUn chemin à travers le nuage
segment_3dUne étiquette par point sur un ensemble sélectionné

La rotation est un quaternion, non un angle de lacet

Potato stocke la rotation d'un cuboïde sous forme de quaternion complet. La plupart des formats stockent un simple lacet, ce qui ressemble à du sur-ingénierie jusqu'à ce qu'un aller-retour perde quelque chose.

C'est ce qui rend l'import KITTI sans perte, y compris l'inclinaison de montage caméra-lidar d'environ 0,85° qu'un champ de lacet seul écarte sans le dire. L'export vers KITTI doit bien abandonner le tangage et le roulis, et il rapporte de combien l'orientation a été écartée plutôt que d'aplatir silencieusement la boîte.

L'écart entre ce que Potato peut représenter et ce qu'un format peut stocker est franchi dans le code propre à chaque format, bruyamment, plutôt que dans la couche de stockage, silencieusement.

L'accord utilise l'IoU 3D exacte sur boîtes orientées

Deux annotateurs qui encadrent la même voiture ne produiront pas la même boîte. Potato calcule l'accord avec l'IoU 3D exacte sur boîtes orientées, qui est correcte sous une rotation quelconque et non seulement pour des boîtes alignées sur les axes.

Cela compte dès que les données ne sont pas à plat : les scans par drone, portatifs et d'intérieur produisent tous des boîtes avec un vrai tangage et un vrai roulis, et une approximation alignée sur les axes rapporte un désaccord qui est un artefact de la mesure et non des annotateurs. Voir accord sur la géométrie.

Travailler à grande échelle

  • Le niveau de détail par octree est activé par défaut (lod: true). Les points se chargent par région et par distance, si bien qu'un grand scan reste interactif.
  • max_points plafonne la décimation. C'est un réglage de la visionneuse, non un réglage des données.
  • Les panneaux orthographiques en tranches (mpr: true) offrent trois vues alignées sur les axes pour une édition précise, entièrement pilotée au clavier. Faites glisser une face pendant que la face opposée reste fixe.

Un bogue à connaître, puisqu'il touchait les données stockées et non l'affichage : les indices de points de segment_3d supposaient autrefois une décimation fixe, si bien qu'abaisser max_points faisait pointer silencieusement des étiquettes par point existantes vers d'autres points. Les indices se rapportent désormais au fichier source, de sorte qu'un réglage de la visionneuse ne peut pas déplacer une annotation.

Voir aussi

Exemples de designs

Chaque design est une configuration Potato fonctionnelle à télécharger et à exécuter.