Mapas de profundidade
Leia profundidade em PNG de 16 bits, TIFF, NPY, PFM e EXR com janelamento por percentil, mapas de cores, uma leitura em metros sob o cursor e projeção para o visualizador 3D.
O Potato renderiza mapas de profundidade de forma legível, informa a distância sob o cursor em metros e, dados os parâmetros intrínsecos da câmera, transforma um mapa de profundidade em uma nuvem de pontos sobre a qual você pode colocar caixas 3D. A profundidade é como estimadores monoculares, sistemas estéreo e sensores RGB-D entregam o 3D, e é o formato que a maioria dos conjuntos de dados de robôs distribui junto com o vídeo.
Exemplo executável: examples/spatial/depth-eval/.
Três coisas tornam a profundidade diferente de uma imagem
Um mapa de profundidade aberto como imagem é um retângulo preto. Se não fosse, você ainda estaria olhando para cores sem ideia do que distância alguma delas significa.
O arquivo não conhece a própria unidade. Milímetros para RealSense, Azure Kinect e NYU-Depth, 1/256 m para o benchmark de completação do KITTI e metros para qualquer coisa escrita a partir de um array de ponto flutuante. depth_scale é metros por unidade armazenada e o padrão é 0.001. Errar isso é silencioso, porque a janela se reescala e a imagem parece a mesma, e é exatamente por isso que existe a leitura em metros.
Zero não é uma distância. É o código quase universal de "sem retorno". Lido como profundidade, ele pinta uma parede clara em cada buraco da cobertura do sensor. O Potato carrega as não medições como NaN e as pinta de magenta, uma cor que não está em nenhum dos mapas de cores, de modo que um buraco não pode ser confundido com profundidade próxima ou distante. A linha de informações relata que fração do mapa são buracos. O casamento estéreo precisa de textura para encontrar correspondências, então um sistema voltado para uma parede lisa não retorna profundidade em boa parte do quadro, e um anotador que não vê quais pixels estão faltando vai lê-los como geometria.
A faixa interessante quase nunca é a faixa completa. A janela de perto/longe tem como padrão os percentis 2 e 98 dos pixels válidos.
Configuração
instance_display:
fields:
- key: depth
type: depth_map
label: "Depth"Formatos suportados: PNG de 16 bits, TIFF de 16 bits, NPY e NPZ, PFM e EXR.
O janelamento é mensurável, não cosmético
A janela por percentil é a parte substantiva, e o seu efeito pode ser dito como um número. Uma varredura de 16 bits cujo conteúdo fica entre 1200 e 1800 é renderizada com 4 níveis de cinza de separação em 255 sob uma conversão ingênua para 8 bits, e com 254 sob a janela por percentil. O mesmo vale para o TIFF científico em geral. Veja a ingestão de mídia.
Projeção para 3D
Dados os parâmetros intrínsecos, um mapa de profundidade é projetado no mesmo visualizador 3D que a superfície de nuvens de pontos usa, de modo que as mesmas ferramentas de cuboide funcionam sobre ele. É isso que torna um conjunto de dados RGB-D anotável em 3D sem uma etapa de conversão separada.