Aller au contenu

Calibration de caméra et vérification 2D

Projetez chaque cuboïde 3D dans chaque image de caméra calibrée, pour que les annotateurs éditent en 3D et vérifient en 2D. Pourquoi un étiquetage 3D sans cela n'a aucune boucle de rétroaction.

Dessinez une boîte 3D dans le nuage de points et voyez-la se poser sur l'objet dans la photographie qui l'a vu. La calibration de caméra fournie pour chaque item projette chaque cuboïde dans chaque vue de caméra, redessinée à mesure que la boîte bouge.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Label each object in the point cloud"
    source_field: point_cloud
    calibration_field: calibration    # the item field holding the rig
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B"}

Exemple exécutable : examples/spatial/kitti-cuboids/.

Pourquoi cela compte plus qu'il n'y paraît

Une voiture à 40 mètres représente quelques dizaines de retours lidar. Savoir si la boîte est ajustée, si elle a la bonne longueur et si elle est correctement orientée est presque impossible à trancher à partir du nuage seul, et évident dans l'image de la caméra.

L'annotateur édite donc en 3D et vérifie en 2D. Les panneaux sous la fenêtre de visualisation montrent la vue de chaque caméra avec les boîtes projetées dessus.

Sans cela, l'étiquetage 3D n'a aucune boucle de rétroaction. Une boîte qui semble correcte depuis la caméra orbitale peut être décalée de plusieurs mètres le long de l'axe de vue, et rien dans la vue 3D ne le signale.

Les référentiels, source des erreurs

La calibration est une chaîne de transformations, et chaque maillon est une occasion de se tromper discrètement :

  • Référentiel de référence ou référentiel de caméra. Utiliser la transformation d'une caméra particulière là où l'on attend le référentiel de référence rectifié décale chaque boîte de la base stéréo de cette caméra. Quelques centimètres, de façon systématique, et facile à confondre avec de la négligence de l'annotateur.
  • Conventions de position. La position 3D de KITTI est le milieu de la face inférieure de la boîte. La lire comme le centre enfonce chaque objet sous terre d'une demi-hauteur.
  • Ordre des dimensions et attribution des axes. Les dimensions de KITTI sont h w l, et dans le référentiel propre à la boîte la longueur court selon X, la hauteur selon Y vers le bas et la largeur selon Z. Supposer que la longueur court selon l'axe avant de la caméra, ce qui paraît le choix naturel, produit une boîte tournée d'exactement 90°.

Ce dernier cas est instructif : un test d'aller-retour ne peut pas le détecter, car la conversion inverse fait la même hypothèse et les deux concordent entre elles. Seule une comparaison avec la formule des coins du kit de développement lui-même le détecte, et il existe un test précisément pour cela.

Voir aussi