Vai al contenuto

Calibrazione della camera e verifica in 2D

Proietta ogni cuboide 3D in ciascuna immagine di camera calibrata, così gli annotatori modificano in 3D e verificano in 2D. Perché l'etichettatura 3D senza questo non ha un ciclo di retroazione.

Disegna un riquadro 3D nella nuvola di punti e guardalo posarsi sull'oggetto nella fotografia che lo ha visto. La calibrazione della camera, fornita per ogni elemento, proietta ogni cuboide in ogni vista della camera, ridisegnata mentre il riquadro si muove.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Label each object in the point cloud"
    source_field: point_cloud
    calibration_field: calibration    # the item field holding the rig
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B"}

Esempio eseguibile: examples/spatial/kitti-cuboids/.

Perché conta più di quanto sembri

Un'auto a 40 metri è fatta di poche decine di ritorni lidar. Capire se il riquadro è aderente, se ha la lunghezza giusta e se è ruotato correttamente è quasi impossibile dalla sola nuvola, ed è evidente nell'immagine della camera.

Quindi l'annotatore modifica in 3D e verifica in 2D. I pannelli sotto la vista mostrano la vista di ciascuna camera con i riquadri proiettati sopra.

Senza questo, l'etichettatura 3D non ha un ciclo di retroazione. Un riquadro che sembra corretto dalla camera orbitale può essere sbagliato di metri lungo l'asse di vista, e nulla nella vista 3D lo segnala.

È sui sistemi di riferimento che le cose vanno storte

La calibrazione è una catena di trasformazioni, e ogni anello è un'occasione per sbagliare in silenzio:

  • Sistema di riferimento contro sistema della camera. Usare la trasformazione di una camera particolare dove serve il sistema di riferimento rettificato sposta ogni riquadro della linea di base stereo di quella camera. Pochi centimetri, sistematici, e facili da scambiare per trascuratezza degli annotatori.
  • Convenzioni sulla posizione. La posizione 3D in KITTI è il punto medio della faccia inferiore del riquadro. Leggerla come il centro mette ogni oggetto sottoterra per metà della sua altezza.
  • Ordine delle dimensioni e assegnazione degli assi. Le dimensioni in KITTI sono h w l, e nel sistema del riquadro stesso la lunghezza corre lungo X, l'altezza lungo Y verso il basso e la larghezza lungo Z. Presupporre che la lunghezza corra lungo l'asse in avanti della camera, che sembra la scelta naturale, produce un riquadro ruotato esattamente di 90°.

L'ultimo è il caso istruttivo: un test di andata e ritorno non può individuarlo, perché la conversione inversa fa la stessa ipotesi e le due concordano tra loro. Solo il confronto con la formula degli angoli del devkit lo individua, e c'è un test proprio per questo.

Correlati