Nuvens de pontos 3D e cuboides
Anote nuvens de pontos PCD, PLY, LAS e KITTI com cuboides 3D orientados, pontos, polilinhas e segmentos por ponto. Nível de detalhe com octree, painéis em fatias e rotação em quaternion que sobrevive a uma ida e volta.
O Potato anota nuvens de pontos de lidar e de fotogrametria com cuboides 3D orientados, pontos, polilinhas e segmentos por ponto, no navegador. O nível de detalhe com octree mantém interativa, em um laptop, uma varredura de vários milhões de pontos, e a calibração da câmera projeta cada caixa nas imagens, de modo que você verifica em 2D enquanto edita em 3D.
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Put a 3D box around every vehicle and pedestrian."
source_field: point_cloud
tools: [cuboid_3d, point_3d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: pedestrian, color: "#FFD93D", key_value: "2"}
color_mode: height
point_size: 2.0
max_points: 400000Exemplo executável: examples/spatial/kitti-cuboids/.
Formatos
As nuvens são lidas no servidor e convertidas em um único binário compacto que o navegador entende. Ler cada formato em JavaScript significaria quatro leitores, quatro conjuntos de bugs de ordem de bytes e de layout de registro, e reler uma varredura de dois milhões de pontos a cada carregamento de página.
| Formato | Observações |
|---|---|
KITTI velodyne .bin | float32 bruto x, y, z, intensidade, sem cabeçalho |
| PCD | ascii, binary e binary_compressed (LZF) |
| PLY | ascii, binary_little_endian, binary_big_endian |
| LAS | 1.0 a 1.4, formatos de registro de ponto 0 a 3 e 6 a 8 |
.xyz / .pts | x y z [r g b] por linha |
| LAZ | Não é lido diretamente. Converta primeiro: laszip -i scan.laz -o scan.las |
A cor é lida quando o formato a traz, e a intensidade é lida de KITTI, PCD e LAS. Pedir color_mode: rgb em um arquivo sem cor recorre à altura e informa isso na linha de status, em vez de renderizar discretamente algo que se parece com o modo pedido.
Ferramentas
| Ferramenta | O que desenha |
|---|---|
cuboid_3d | Uma caixa 3D orientada |
point_3d | Um único ponto 3D |
polyline_3d | Um caminho através da nuvem |
segment_3d | Um rótulo por ponto sobre um conjunto selecionado |
A rotação é um quaternion, e não um ângulo de guinada
O Potato armazena a rotação de um cuboide como um quaternion completo. A maioria dos formatos armazena uma única guinada (yaw), então isso parece exagero até que uma ida e volta perca alguma coisa.
É o que torna a importação do KITTI sem perdas, incluindo a inclinação de montagem de cerca de 0,85° entre câmera e lidar, que um campo apenas de guinada descarta sem avisar. A exportação de volta para o KITTI precisa mesmo descartar o arfar (pitch) e o rolar (roll), e ela informa quanto da orientação descartou, em vez de achatar a caixa em silêncio.
A lacuna entre o que o Potato consegue representar e o que um formato consegue armazenar é atravessada no código específico de cada formato, de forma explícita, e não na camada de armazenamento, de forma silenciosa.
A concordância usa o IoU 3D rotacionado exato
Dois anotadores que desenham a caixa do mesmo carro não produzirão a mesma caixa. O Potato calcula a concordância com o IoU 3D rotacionado exato, que está correto sob rotação arbitrária, e não apenas para caixas alinhadas aos eixos.
Isso importa assim que os dados não são planos. Varreduras de drone, de mão e de interiores produzem caixas com arfagem e rolagem reais, e uma aproximação alinhada aos eixos relata uma discordância que é um artefato da medida, e não dos anotadores. Veja a concordância sobre geometria.
Trabalhando em escala
- O nível de detalhe com octree vem ativado por padrão (
lod: true). Os pontos são carregados por região e por distância, então uma varredura grande continua interativa. max_pointslimita a decimação. É uma configuração do visualizador, e não dos dados.- Os painéis ortográficos em fatias (
mpr: true) dão três vistas alinhadas aos eixos para uma edição precisa, totalmente operada pelo teclado. Arraste uma face enquanto a oposta permanece fixa.
Um bug que vale conhecer, já que afetou dados armazenados, e não a exibição: os índices de ponto do segment_3d costumavam assumir uma decimação fixa, então reduzir max_points fazia os rótulos por ponto existentes passarem a apontar, sem aviso, para outros pontos. Agora os índices se referem ao arquivo de origem, de modo que uma configuração do visualizador não pode mover uma anotação.
Relacionados
- Calibração e verificação em 2D
- Mapas de profundidade — projete a profundidade no mesmo visualizador
- Concordância sobre geometria
- Guia: anotação de nuvens de pontos
- Documentação de origem
Designs de exemplo
Cada design é uma configuração do Potato funcional que você pode baixar e executar.