Ir al contenido

Mapas de profundidad

Lee profundidad en PNG de 16 bits, TIFF, NPY, PFM y EXR con ventana por percentiles, mapas de color, una lectura en metros bajo el cursor y proyección al visor 3D.

Potato renderiza los mapas de profundidad de forma legible, informa de la distancia bajo el cursor en metros y, dados los parámetros intrínsecos de la cámara, convierte un mapa de profundidad en una nube de puntos sobre la que se pueden colocar cajas 3D. La profundidad es como entregan el 3D los estimadores monoculares, los equipos estéreo y los sensores RGB-D, y es el formato que la mayoría de los conjuntos de datos de robots incluyen junto con su vídeo.

Ejemplo ejecutable: examples/spatial/depth-eval/.

Tres cosas distinguen la profundidad de una imagen

Un mapa de profundidad abierto como imagen es un rectángulo negro. Y aunque no lo fuera, seguirías viendo colores sin idea de qué distancia significa ninguno.

El archivo no conoce su propia unidad. Milímetros para RealSense, Azure Kinect y NYU-Depth; 1/256 m para el benchmark de completado de KITTI; metros para cualquier cosa escrita a partir de un arreglo de coma flotante. depth_scale son metros por unidad almacenada y vale 0.001 por defecto. Equivocarse es silencioso, porque la ventana se reescala y la imagen se ve igual, que es justamente la razón de que exista la lectura en metros.

Cero no es una distancia. Es el código casi universal de «sin retorno». Leído como profundidad, pinta un muro brillante sobre cada hueco de la cobertura del sensor. Potato trata las no mediciones como NaN y las pinta de magenta, un color que no está en ninguno de los mapas de color, de modo que un hueco no puede confundirse con profundidad cercana o lejana. La línea de información indica qué fracción del mapa son huecos. La correspondencia estéreo necesita textura para encontrar correspondencias, así que un equipo frente a una pared lisa no devuelve profundidad en gran parte del encuadre, y un anotador que no ve qué píxeles faltan los leerá como geometría.

El rango interesante casi nunca es el rango completo. La ventana de cerca y lejos usa por defecto los percentiles 2 y 98 de los píxeles válidos.

Configuración

yaml
instance_display:
  fields:
    - key: depth
      type: depth_map
      label: "Depth"

Formatos admitidos: PNG de 16 bits, TIFF de 16 bits, NPY y NPZ, PFM y EXR.

La ventana es medible, no cosmética

La ventana por percentiles es la parte sustancial, y su efecto se puede expresar con un número. Un escaneo de 16 bits cuyo contenido está entre 1200 y 1800 se renderiza con 4 niveles de gris de separación sobre 255 con una conversión ingenua a 8 bits, y con 254 con la ventana por percentiles. Lo mismo vale para el TIFF científico en general. Consulta la ingesta de medios.

Proyección

Dados los parámetros intrínsecos, un mapa de profundidad se proyecta al mismo visor 3D que usa la superficie de nubes de puntos, de modo que las mismas herramientas de cuboides funcionan sobre él. Eso es lo que hace que un conjunto de datos RGB-D se pueda anotar en 3D sin un paso de conversión aparte.

Relacionado