Vai al contenuto

Mappe di profondità

Leggi profondità in PNG a 16 bit, TIFF, NPY, PFM ed EXR con finestratura per percentili, mappe di colore, una lettura in metri sotto il cursore e proiezione nel visualizzatore 3D.

Potato renderizza le mappe di profondità in modo leggibile, riporta in metri la distanza sotto il cursore e, date le intrinseche della camera, trasforma una mappa di profondità in una nuvola di punti su cui puoi mettere riquadri 3D. La profondità è il modo in cui stimatori monoculari, rig stereo e sensori RGB-D forniscono il 3D, ed è il formato che la maggior parte dei dataset robotici distribuisce insieme al video.

Esempio eseguibile: examples/spatial/depth-eval/.

Tre cose distinguono la profondità da un'immagine

Una mappa di profondità aperta come immagine è un rettangolo nero. Se non lo fosse, guarderesti comunque colori senza sapere che distanza significhi ciascuno.

Il file non conosce la propria unità. Millimetri per RealSense, Azure Kinect e NYU-Depth; 1/256 m per il benchmark di completamento KITTI; metri per qualunque cosa scritta da un array di float. depth_scale è in metri per unità memorizzata e vale 0.001 di default. Sbagliarlo non dà alcun segnale, perché la finestra si riscala e l'immagine appare uguale, ed è proprio per questo che esiste la lettura in metri.

Zero non è una distanza. È il codice quasi universale per «nessun ritorno». Letto come profondità, dipinge un muro luminoso su ogni buco nella copertura del sensore. Potato rappresenta le non-misure come NaN e le dipinge di magenta, un colore che non compare in nessuna mappa di colore, così un buco non può essere scambiato per profondità vicina o lontana. La riga informativa riporta quale frazione della mappa è fatta di buchi. L'abbinamento stereo ha bisogno di tessitura per trovare le corrispondenze, quindi un rig rivolto a una parete vuota non restituisce profondità su gran parte del fotogramma, e un annotatore che non vede quali pixel mancano li leggerà come geometria.

L'intervallo interessante non è quasi mai l'intervallo completo. La finestra vicino/lontano usa di default il 2º e il 98º percentile dei pixel validi.

Configurazione

yaml
instance_display:
  fields:
    - key: depth
      type: depth_map
      label: "Depth"

Formati supportati: PNG a 16 bit, TIFF a 16 bit, NPY e NPZ, PFM ed EXR.

La finestratura è misurabile, non cosmetica

La finestra per percentili è la parte sostanziale, e il suo effetto si può esprimere con un numero. Una scansione a 16 bit il cui contenuto sta tra 1200 e 1800 viene renderizzata con 4 livelli di grigio di separazione su 255 con una conversione ingenua a 8 bit, e 254 con la finestra per percentili. Lo stesso vale in generale per i TIFF scientifici. Vedi l'acquisizione dei media.

Proiezione

Date le intrinseche, una mappa di profondità viene proiettata nello stesso visualizzatore 3D che usa la superficie delle nuvole di punti, quindi gli stessi strumenti per cuboidi funzionano su di essa. È ciò che rende annotabile in 3D un dataset RGB-D senza un passaggio di conversione separato.

Correlati