Ir al contenido

Calibración de cámara y verificación en 2D

Proyecta cada cuboide 3D en cada imagen de cámara calibrada, para que los anotadores editen en 3D y verifiquen en 2D. Por qué el etiquetado 3D sin esto no tiene bucle de retroalimentación.

Dibuja una caja 3D en la nube de puntos y mírala caer sobre el objeto en la fotografía que lo vio. La calibración de cámara aportada por ítem proyecta cada cuboide en cada vista de cámara y se vuelve a dibujar a medida que la caja se mueve.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Label each object in the point cloud"
    source_field: point_cloud
    calibration_field: calibration    # the item field holding the rig
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B"}

Ejemplo ejecutable: examples/spatial/kitti-cuboids/.

Por qué importa más de lo que parece

Un coche a 40 metros son unas pocas docenas de retornos de lidar. Saber si la caja es ajustada, si tiene la longitud correcta y si está bien rotada es casi imposible de responder solo con la nube, y resulta obvio en la imagen de cámara.

Así que el anotador edita en 3D y verifica en 2D. Los paneles bajo la ventana de visualización muestran la vista de cada cámara con las cajas proyectadas sobre ella.

Sin esto, el etiquetado 3D no tiene bucle de retroalimentación. Una caja que se ve correcta desde la cámara orbital puede estar a metros de distancia a lo largo del eje de visión, y nada en la vista 3D lo indica.

Los sistemas de referencia son donde esto falla

La calibración es una cadena de transformaciones, y cada eslabón es una oportunidad de equivocarse en silencio:

  • Sistema de referencia frente a sistema de cámara. Usar la transformación de una cámara concreta donde se quiere el sistema de referencia rectificado desplaza cada caja por la línea de base estéreo de esa cámara. Unos pocos centímetros, sistemático y fácil de confundir con descuido de los anotadores.
  • Convenciones de ubicación. La ubicación 3D de KITTI es el punto medio de la cara inferior de la caja. Leerla como el centro hunde cada objeto bajo tierra la mitad de su propia altura.
  • Orden de las dimensiones y asignación de ejes. Las dimensiones de KITTI son h w l, y en el sistema propio de la caja la longitud va a lo largo de X, la altura a lo largo de Y hacia abajo y la anchura a lo largo de Z. Suponer que la longitud va a lo largo del eje de avance de la cámara, que parece la elección natural, produce una caja rotada exactamente 90°.

Este último es el caso instructivo: una prueba de ida y vuelta no lo detecta, porque la conversión inversa parte del mismo supuesto y las dos coinciden entre sí. Solo lo detecta una comparación con la fórmula de esquinas del propio devkit, y existe una prueba precisamente para eso.

Relacionado