Calibração de câmera e verificação em 2D
Projete cada cuboide 3D em cada imagem de câmera calibrada, de modo que os anotadores editem em 3D e verifiquem em 2D. Por que a rotulagem 3D sem isso não tem ciclo de retorno.
Desenhe uma caixa 3D na nuvem de pontos e veja-a cair sobre o objeto na fotografia que o registrou. A calibração de câmera fornecida por item projeta cada cuboide em cada vista de câmera, redesenhada conforme a caixa se move.
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Label each object in the point cloud"
source_field: point_cloud
calibration_field: calibration # the item field holding the rig
tools: [cuboid_3d]
labels:
- {name: car, color: "#FF6B6B"}Exemplo executável: examples/spatial/kitti-cuboids/.
Por que isso importa mais do que parece
Um carro a 40 metros tem algumas dezenas de retornos de lidar. Saber se a caixa está justa, se tem o comprimento certo e se está rotacionada corretamente é quase impossível a partir da nuvem sozinha, e óbvio na imagem da câmera.
Assim, o anotador edita em 3D e verifica em 2D. Os painéis sob a área de visualização mostram a vista de cada câmera com as caixas projetadas sobre ela.
Sem isso, a rotulagem 3D não tem ciclo de retorno. Uma caixa que parece correta na câmera orbital pode estar metros fora ao longo do eixo de visão, e nada na vista 3D avisa.
É nos referenciais que isso dá errado
A calibração é uma cadeia de transformações, e cada elo é uma chance de estar discretamente errado:
- Referencial de referência versus referencial da câmera. Usar a transformação de uma câmera específica onde se quer o referencial de referência retificado desloca cada caixa pela linha de base estéreo dessa câmera. São alguns centímetros, sistemáticos, e fáceis de confundir com descuido do anotador.
- Convenções de localização. A localização 3D do KITTI é o ponto médio da face inferior da caixa. Lê-la como o centro coloca cada objeto metade da própria altura abaixo do chão.
- Ordem das dimensões e atribuição dos eixos. As dimensões do KITTI são
h w l, e no referencial próprio da caixa o comprimento corre ao longo de X, a altura ao longo de Y para baixo e a largura ao longo de Z. Assumir que o comprimento corre ao longo do eixo frontal da câmera, o que parece a escolha natural, produz uma caixa rotacionada exatamente 90°.
Este último é o caso instrutivo. Um teste de ida e volta não o pega, porque a conversão inversa faz a mesma suposição e as duas concordam entre si. Só uma comparação com a fórmula de cantos do próprio devkit o detecta, e existe um teste exatamente para isso.