Ir al contenido

Nubes de puntos 3D y cuboides

Anota nubes de puntos PCD, PLY, LAS y KITTI con cuboides 3D orientados, puntos, polilíneas y segmentos por punto. Nivel de detalle con octree, paneles de corte y una rotación en cuaternión que sobrevive a un viaje de ida y vuelta.

Potato anota nubes de puntos de lidar y fotogrametría con cuboides 3D orientados, puntos, polilíneas y segmentos por punto, en el navegador. El nivel de detalle con octree mantiene interactivo en un portátil un escaneo de varios millones de puntos, y la calibración de cámara proyecta cada caja en las imágenes para que puedas verificar en 2D mientras editas en 3D.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    point_size: 2.0
    max_points: 400000

Ejemplo ejecutable: examples/spatial/kitti-cuboids/.

Formatos

Las nubes se leen en el servidor y se convierten en un único binario compacto que el navegador entiende. Analizar cada formato en JavaScript supondría cuatro analizadores, cuatro conjuntos de errores de endianness y de disposición de registros, y volver a analizar un escaneo de dos millones de puntos en cada carga de página.

FormatoNotas
KITTI velodyne .binfloat32 sin procesar: x, y, z, intensidad, sin cabecera
PCDascii, binary y binary_compressed (LZF)
PLYascii, binary_little_endian, binary_big_endian
LAS1.0 a 1.4, formatos de registro de punto 0 a 3 y 6 a 8
.xyz / .ptsx y z [r g b] por línea
LAZNo se lee directamente. Convierte primero: laszip -i scan.laz -o scan.las

El color se lee cuando el formato lo incluye; la intensidad se lee de KITTI, PCD y LAS. Pedir color_mode: rgb en un archivo sin color vuelve a la altura y lo indica en la línea de estado, en lugar de renderizar en silencio algo que se parece al modo que pediste.

Herramientas

HerramientaQué dibuja
cuboid_3dUna caja 3D orientada
point_3dUn único punto 3D
polyline_3dUn trayecto a través de la nube
segment_3dUna etiqueta por punto sobre un conjunto seleccionado

La rotación es un cuaternión, no un ángulo de guiñada

Potato almacena la rotación de un cuboide como un cuaternión completo. La mayoría de los formatos almacenan una única guiñada, así que esto parece una sobreingeniería hasta que un viaje de ida y vuelta pierde algo.

Es lo que hace que la importación de KITTI no tenga pérdidas, incluida la inclinación de montaje de cámara a lidar de aproximadamente 0.85° que un campo de solo guiñada descarta sin avisar. La exportación de vuelta a KITTI sí tiene que descartar el cabeceo y el alabeo, e informa de cuánta orientación descartó en lugar de aplanar la caja en silencio.

La brecha entre lo que Potato puede representar y lo que un formato puede almacenar se cruza en el código específico de cada formato, de forma ruidosa, y no en la capa de almacenamiento, en silencio.

El acuerdo usa el IoU 3D rotado exacto

Dos anotadores que encuadran el mismo coche no producirán la misma caja. Potato calcula el acuerdo con el IoU 3D rotado exacto, que es correcto con cualquier rotación y no solo para cajas alineadas con los ejes.

Eso importa en cuanto los datos no están nivelados: los escaneos de dron, de mano y de interiores producen todos cajas con cabeceo y alabeo reales, y una aproximación alineada con los ejes informa de un desacuerdo que es un artefacto de la medida y no de los anotadores. Consulta el acuerdo sobre geometría.

Trabajar a gran escala

  • El nivel de detalle con octree está activado por defecto (lod: true). Los puntos se cargan por región y por distancia, así que un escaneo grande sigue siendo interactivo.
  • max_points limita el diezmado. Es un ajuste del visor, no de los datos.
  • Los paneles ortográficos de corte (mpr: true) dan tres vistas alineadas con los ejes para una edición precisa y manejada por completo con el teclado. Arrastra una cara mientras la opuesta permanece fija.

Un error que conviene conocer, porque afectó a los datos almacenados y no a la visualización: los índices de punto de segment_3d suponían antes un diezmado fijo, así que bajar max_points reapuntaba en silencio las etiquetas por punto existentes a otros puntos. Ahora los índices se refieren al archivo de origen, de modo que un ajuste del visor no puede mover una anotación.

Relacionado

Diseños de ejemplo

Cada diseño es una configuración de Potato que funciona y que puedes descargar y ejecutar.