Como anotar nuvens de pontos 3D
Rotule dados de lidar e fotogrametria com cuboides 3D orientados. Formatos, nível de detalhe, por que a rotação deve ser um quaternion e como medir a concordância em uma caixa 3D.
Anotar uma nuvem de pontos significa posicionar caixas 3D orientadas sobre dados esparsos e amostrados de forma desigual, nos quais um objeto distante pode ter algumas dezenas de retornos. O difícil não é o desenho. É manter o visualizador interativo, dar ao anotador um jeito de conferir o próprio trabalho e escolher uma representação de rotação que sobreviva a uma ida e volta.
Formatos
| Formato | Observações |
|---|---|
KITTI velodyne .bin | float32 bruto x, y, z, intensidade. Sem cabeçalho, então o layout é presumido |
| PCD | ascii, binário e binary_compressed (LZF) |
| PLY | ascii e as duas ordens de bytes binárias |
| LAS | 1.0 a 1.4 |
.xyz / .pts | x y z [r g b] por linha |
| LAZ | LAS compactado. Converta primeiro: laszip -i scan.laz -o scan.las |
Faça a leitura no servidor, e não no navegador. Quatro formatos significam quatro conjuntos de bugs de ordem de bytes e de layout de registro, além de reler uma varredura de dois milhões de pontos a cada carregamento de página.
Como manter a interatividade
Uma varredura bruta é grande demais para ser renderizada de forma ingênua. Duas coisas a tornam viável.
- Nível de detalhe com octree. Os pontos são carregados por região e por distância até a câmera. No Potato isso vem ativado por padrão (
lod: true). - Um limite de decimação (
max_points). Trate-o como uma configuração do visualizador, e não dos dados.
Essa distinção já causou um problema e vale repetir. Os rótulos de segmento por ponto eram armazenados como índices da nuvem decimada, então reduzir max_points fazia os rótulos existentes passarem a apontar, sem aviso, para outros pontos. Os índices devem sempre se referir ao arquivo de origem.
Dê ao anotador uma conferência em 2D
Um carro a 40 metros tem algumas dezenas de retornos. Saber se a caixa está justa, com o comprimento certo e corretamente rotacionada é quase impossível a partir da nuvem sozinha, e óbvio em uma imagem de câmera.
Portanto, edite em 3D e verifique em 2D. Forneça a calibração por item e projete cada caixa em cada vista de câmera. Sem isso, a rotulagem 3D não tem ciclo de retorno. Uma caixa que parece correta na câmera orbital pode estar metros fora ao longo do eixo de visão sem que nada avise.
Os painéis ortográficos em fatias dão a outra metade, com três vistas alinhadas aos eixos para ajuste preciso, totalmente operadas pelo teclado.
Armazene a rotação como quaternion
A maioria dos formatos armazena um único ângulo de guinada (yaw). Armazenar internamente um quaternion completo parece exagero até que uma ida e volta perca alguma coisa.
Isso torna a importação do KITTI sem perdas, incluindo a inclinação de montagem de cerca de 0,85° entre câmera e lidar, que um campo apenas de guinada descarta sem comentário. A exportação de volta para o KITTI ainda precisa descartar o arfar (pitch) e o rolar (roll). O comportamento correto é informar quanto da orientação foi descartado, em vez de achatar a caixa em silêncio.
Atravesse essa lacuna no código específico de cada formato, de forma explícita, e não na camada de armazenamento, de forma silenciosa.
É nos referenciais que isso dá errado
Três convenções que são fáceis de errar e difíceis de notar.
- Referencial de referência versus referencial da câmera. Usar a transformação de uma câmera onde se quer o referencial de referência retificado desloca cada caixa pela linha de base estéreo dessa câmera. É sistemático, de alguns centímetros, e facilmente confundido com descuido do anotador.
- A localização é a face inferior no KITTI, e não o centro. Lê-la como o centro coloca cada objeto metade da própria altura abaixo do chão.
- Ordem das dimensões e atribuição dos eixos. Um teste de ida e volta não pega um erro de rotação de 90° aqui, porque a conversão inversa faz a mesma suposição errada e as duas concordam entre si. Só uma comparação com a fórmula de cantos da própria implementação de referência o detecta.
Como medir a concordância
Use o IoU 3D rotacionado exato. Uma aproximação alinhada aos eixos serve para dados automotivos em terreno plano e está errada para varreduras de drone, de mão e de interiores, nas quais ela relata uma discordância que é um artefato da medida, e não dos anotadores.
Como no 2D, divida a pergunta em três. Os anotadores encontraram os mesmos objetos, rotularam-nos da mesma forma e posicionaram-nos da mesma forma? Veja como medir a concordância em caixas delimitadoras.
Configuração
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Put a 3D box around every vehicle and pedestrian."
source_field: point_cloud
calibration_field: calibration
tools: [cuboid_3d, point_3d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: pedestrian, color: "#FFD93D", key_value: "2"}
color_mode: height
lod: true
max_points: 400000
fit_box_height: trueExemplo funcional: o design de vitrine do KITTI.
Quando outra ferramenta é a resposta certa
Segments.ai, Kognic, Deepen AI, Supervisely e Xtreme1/BasicAI são especialistas e, para pipelines de produção de direção autônoma, estão à frente: fluxos de trabalho com sequências e propagação de trilhas, radar e vários lidares, modelos de ajuste automático de cuboides e, no caso da Deepen, um produto completo de calibração sem alvo. Supervisely e Xtreme1 podem ser auto-hospedados, e o Supervisely lida com nuvens bem maiores.
O Potato rotula sequências de nuvens de pontos com quadros-chave e interpola cada caixa entre eles, e não propaga trilhas ao longo de uma varredura. Escolha-o para 3D quando quiser estatísticas de confiabilidade sobre rótulos espaciais, ou quando o 3D for uma parte de um estudo multimodal.
Leitura adicional
Designs de exemplo
Cada design é uma configuração do Potato funcional que você pode baixar e executar.