Pular para o conteúdo

Nuvens de pontos 3D e cuboides

Anote nuvens de pontos PCD, PLY, LAS e KITTI com cuboides 3D orientados, pontos, polilinhas e segmentos por ponto. Nível de detalhe com octree, painéis em fatias e rotação em quaternion que sobrevive a uma ida e volta.

O Potato anota nuvens de pontos de lidar e de fotogrametria com cuboides 3D orientados, pontos, polilinhas e segmentos por ponto, no navegador. O nível de detalhe com octree mantém interativa, em um laptop, uma varredura de vários milhões de pontos, e a calibração da câmera projeta cada caixa nas imagens, de modo que você verifica em 2D enquanto edita em 3D.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    point_size: 2.0
    max_points: 400000

Exemplo executável: examples/spatial/kitti-cuboids/.

Formatos

As nuvens são lidas no servidor e convertidas em um único binário compacto que o navegador entende. Ler cada formato em JavaScript significaria quatro leitores, quatro conjuntos de bugs de ordem de bytes e de layout de registro, e reler uma varredura de dois milhões de pontos a cada carregamento de página.

FormatoObservações
KITTI velodyne .binfloat32 bruto x, y, z, intensidade, sem cabeçalho
PCDascii, binary e binary_compressed (LZF)
PLYascii, binary_little_endian, binary_big_endian
LAS1.0 a 1.4, formatos de registro de ponto 0 a 3 e 6 a 8
.xyz / .ptsx y z [r g b] por linha
LAZNão é lido diretamente. Converta primeiro: laszip -i scan.laz -o scan.las

A cor é lida quando o formato a traz, e a intensidade é lida de KITTI, PCD e LAS. Pedir color_mode: rgb em um arquivo sem cor recorre à altura e informa isso na linha de status, em vez de renderizar discretamente algo que se parece com o modo pedido.

Ferramentas

FerramentaO que desenha
cuboid_3dUma caixa 3D orientada
point_3dUm único ponto 3D
polyline_3dUm caminho através da nuvem
segment_3dUm rótulo por ponto sobre um conjunto selecionado

A rotação é um quaternion, e não um ângulo de guinada

O Potato armazena a rotação de um cuboide como um quaternion completo. A maioria dos formatos armazena uma única guinada (yaw), então isso parece exagero até que uma ida e volta perca alguma coisa.

É o que torna a importação do KITTI sem perdas, incluindo a inclinação de montagem de cerca de 0,85° entre câmera e lidar, que um campo apenas de guinada descarta sem avisar. A exportação de volta para o KITTI precisa mesmo descartar o arfar (pitch) e o rolar (roll), e ela informa quanto da orientação descartou, em vez de achatar a caixa em silêncio.

A lacuna entre o que o Potato consegue representar e o que um formato consegue armazenar é atravessada no código específico de cada formato, de forma explícita, e não na camada de armazenamento, de forma silenciosa.

A concordância usa o IoU 3D rotacionado exato

Dois anotadores que desenham a caixa do mesmo carro não produzirão a mesma caixa. O Potato calcula a concordância com o IoU 3D rotacionado exato, que está correto sob rotação arbitrária, e não apenas para caixas alinhadas aos eixos.

Isso importa assim que os dados não são planos. Varreduras de drone, de mão e de interiores produzem caixas com arfagem e rolagem reais, e uma aproximação alinhada aos eixos relata uma discordância que é um artefato da medida, e não dos anotadores. Veja a concordância sobre geometria.

Trabalhando em escala

  • O nível de detalhe com octree vem ativado por padrão (lod: true). Os pontos são carregados por região e por distância, então uma varredura grande continua interativa.
  • max_points limita a decimação. É uma configuração do visualizador, e não dos dados.
  • Os painéis ortográficos em fatias (mpr: true) dão três vistas alinhadas aos eixos para uma edição precisa, totalmente operada pelo teclado. Arraste uma face enquanto a oposta permanece fixa.

Um bug que vale conhecer, já que afetou dados armazenados, e não a exibição: os índices de ponto do segment_3d costumavam assumir uma decimação fixa, então reduzir max_points fazia os rótulos por ponto existentes passarem a apontar, sem aviso, para outros pontos. Agora os índices se referem ao arquivo de origem, de modo que uma configuração do visualizador não pode mover uma anotação.

Relacionados

Designs de exemplo

Cada design é uma configuração do Potato funcional que você pode baixar e executar.