Pular para o conteúdo

Calibração de câmera e verificação em 2D

Projete cada cuboide 3D em cada imagem de câmera calibrada, de modo que os anotadores editem em 3D e verifiquem em 2D. Por que a rotulagem 3D sem isso não tem ciclo de retorno.

Desenhe uma caixa 3D na nuvem de pontos e veja-a cair sobre o objeto na fotografia que o registrou. A calibração de câmera fornecida por item projeta cada cuboide em cada vista de câmera, redesenhada conforme a caixa se move.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Label each object in the point cloud"
    source_field: point_cloud
    calibration_field: calibration    # the item field holding the rig
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B"}

Exemplo executável: examples/spatial/kitti-cuboids/.

Por que isso importa mais do que parece

Um carro a 40 metros tem algumas dezenas de retornos de lidar. Saber se a caixa está justa, se tem o comprimento certo e se está rotacionada corretamente é quase impossível a partir da nuvem sozinha, e óbvio na imagem da câmera.

Assim, o anotador edita em 3D e verifica em 2D. Os painéis sob a área de visualização mostram a vista de cada câmera com as caixas projetadas sobre ela.

Sem isso, a rotulagem 3D não tem ciclo de retorno. Uma caixa que parece correta na câmera orbital pode estar metros fora ao longo do eixo de visão, e nada na vista 3D avisa.

É nos referenciais que isso dá errado

A calibração é uma cadeia de transformações, e cada elo é uma chance de estar discretamente errado:

  • Referencial de referência versus referencial da câmera. Usar a transformação de uma câmera específica onde se quer o referencial de referência retificado desloca cada caixa pela linha de base estéreo dessa câmera. São alguns centímetros, sistemáticos, e fáceis de confundir com descuido do anotador.
  • Convenções de localização. A localização 3D do KITTI é o ponto médio da face inferior da caixa. Lê-la como o centro coloca cada objeto metade da própria altura abaixo do chão.
  • Ordem das dimensões e atribuição dos eixos. As dimensões do KITTI são h w l, e no referencial próprio da caixa o comprimento corre ao longo de X, a altura ao longo de Y para baixo e a largura ao longo de Z. Assumir que o comprimento corre ao longo do eixo frontal da câmera, o que parece a escolha natural, produz uma caixa rotacionada exatamente 90°.

Este último é o caso instrutivo. Um teste de ida e volta não o pega, porque a conversão inversa faz a mesma suposição e as duas concordam entre si. Só uma comparação com a fórmula de cantos do próprio devkit o detecta, e existe um teste exatamente para isso.

Relacionados