Ir al contenido

Cómo anotar nubes de puntos 3D

Etiqueta datos de lidar y fotogrametría con cuboides 3D orientados. Formatos, nivel de detalle, por qué la rotación debería ser un cuaternión y cómo medir el acuerdo sobre una caja 3D.

Anotar una nube de puntos consiste en colocar cajas 3D orientadas sobre datos dispersos y muestreados de forma desigual, donde un objeto lejano puede ser unas pocas docenas de retornos. Lo difícil no es dibujar: es mantener el visor interactivo, dar al anotador una forma de comprobar su trabajo y elegir una representación de la rotación que sobreviva a un viaje de ida y vuelta.

Formatos

FormatoNotas
KITTI velodyne .binfloat32 sin procesar: x, y, z, intensidad. No tiene cabecera, así que se supone la disposición
PCDascii, binary y binary_compressed (LZF)
PLYascii y las dos endianness binarias
LAS1.0 a 1.4
.xyz / .ptsx y z [r g b] por línea
LAZLAS comprimido. Convierte primero: laszip -i scan.laz -o scan.las

Procesa los archivos en el servidor y no en el navegador. Cuatro formatos significan cuatro conjuntos de errores de endianness y de disposición de registros, además de volver a analizar un escaneo de dos millones de puntos en cada carga de página.

Mantenerlo interactivo

Un escaneo sin procesar es demasiado grande para renderizarlo de forma ingenua. Dos cosas lo hacen viable:

  • Nivel de detalle con octree. Los puntos se cargan por región y por distancia a la cámara. Está activado por defecto en Potato (lod: true).
  • Un tope de diezmado (max_points). Trátalo como un ajuste del visor, no de los datos.

Esa distinción dio problemas una vez y conviene repetirla: las etiquetas de segmento por punto se almacenaban antes como índices de la nube diezmada, de modo que bajar max_points reapuntaba en silencio las etiquetas existentes a otros puntos. Los índices deben referirse siempre al archivo de origen.

Da a los anotadores una comprobación en 2D

Un coche a 40 metros son unas pocas docenas de retornos. Saber si la caja es ajustada, tiene la longitud correcta y está bien rotada es casi imposible de responder solo con la nube, y resulta obvio en una imagen de cámara.

Por tanto: edita en 3D, verifica en 2D. Aporta la calibración por ítem y proyecta cada caja en cada vista de cámara. Sin eso, el etiquetado 3D no tiene bucle de retroalimentación: una caja que se ve correcta desde la cámara orbital puede estar a metros de distancia a lo largo del eje de visión sin que nada lo indique.

Los paneles ortográficos de corte aportan la otra mitad: tres vistas alineadas con los ejes para un ajuste preciso, manejadas por completo con el teclado.

Guarda la rotación como cuaternión

La mayoría de los formatos almacenan un único ángulo de guiñada. Guardar internamente un cuaternión completo parece una sobreingeniería hasta que un viaje de ida y vuelta pierde algo.

Hace que la importación de KITTI no tenga pérdidas, incluida la inclinación de montaje de cámara a lidar de aproximadamente 0.85° que un campo de solo guiñada descarta sin avisar. La exportación de vuelta a KITTI sigue teniendo que descartar el cabeceo y el alabeo. Lo correcto es informar de cuánta orientación se descartó en lugar de aplanar la caja en silencio.

Cruza esa brecha en el código específico de cada formato, de forma ruidosa, y no en la capa de almacenamiento, en silencio.

Los sistemas de referencia son donde esto falla

Tres convenciones que son fáciles de equivocar y difíciles de notar:

  • Sistema de referencia frente a sistema de cámara. Usar la transformación de una cámara donde se quiere el sistema de referencia rectificado desplaza cada caja por la línea de base estéreo de esa cámara. Es sistemático, de unos pocos centímetros, y se confunde fácilmente con descuido de los anotadores.
  • La ubicación es la cara inferior en KITTI, no el centro. Leerla como el centro hunde cada objeto bajo tierra la mitad de su propia altura.
  • Orden de las dimensiones y asignación de ejes. Una prueba de ida y vuelta no detecta un error de rotación de 90° aquí, porque la conversión inversa parte del mismo supuesto equivocado y las dos coinciden entre sí. Solo lo detecta una comparación con la fórmula de esquinas de la implementación de referencia.

Medir el acuerdo

Usa el IoU 3D rotado exacto. Una aproximación alineada con los ejes sirve para datos de automoción en terreno plano y es incorrecta para escaneos de dron, de mano y de interiores, donde informa de un desacuerdo que es un artefacto de la medida y no de los anotadores.

Como en 2D, divide la pregunta: si los anotadores encontraron los mismos objetos, si les dieron la misma etiqueta y si los colocaron en el mismo sitio. Consulta cómo medir el acuerdo en cuadros delimitadores.

Configuración

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    lod: true
    max_points: 400000
    fit_box_height: true

Ejemplo funcional: el diseño KITTI del escaparate.

Cuándo es mejor otra herramienta

Segments.ai, Kognic, Deepen AI, Supervisely y Xtreme1/BasicAI son especialistas, y para los flujos de producción de conducción autónoma van por delante: flujos de secuencias con propagación de pistas, radar y varios lidar, modelos de ajuste automático de cuboides y, en el caso de Deepen, un producto completo de calibración sin objetivo. Supervisely y Xtreme1 se pueden alojar por cuenta propia, y Supervisely maneja nubes mucho más grandes.

Potato etiqueta secuencias de nubes de puntos con fotogramas clave e interpola cada caja entre ellos, y no propaga pistas a lo largo de un barrido. Elígelo para 3D cuando quieras estadísticas de fiabilidad sobre etiquetas espaciales, o cuando el 3D sea una parte de un estudio multimodal.

Lecturas adicionales

Diseños de ejemplo

Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.