Cartes de profondeur
Lisez la profondeur en PNG 16 bits, TIFF, NPY, PFM et EXR avec fenêtrage par percentiles, palettes de couleurs, lecture en mètres sous le curseur et projection dans la visionneuse 3D.
Potato affiche les cartes de profondeur de façon lisible, indique en mètres la distance sous le curseur et, avec les paramètres intrinsèques de la caméra, transforme une carte de profondeur en nuage de points sur lequel vous pouvez placer des boîtes 3D. La profondeur est la façon dont les estimateurs monoculaires, les rigs stéréo et les capteurs RVB-D fournissent la 3D, et c'est le format que la plupart des jeux de données de robotique livrent avec leur vidéo.
Exemple exécutable : examples/spatial/depth-eval/.
Trois choses distinguent la profondeur d'une image
Une carte de profondeur ouverte comme une image est un rectangle noir. Si elle ne l'était pas, vous regarderiez encore des couleurs sans savoir quelle distance chacune représente.
Le fichier ne connaît pas sa propre unité. Des millimètres pour RealSense, Azure Kinect et NYU-Depth ; 1/256 m pour le benchmark de complétion KITTI ; des mètres pour tout ce qui est écrit à partir d'un tableau de flottants. depth_scale est le nombre de mètres par unité stockée et vaut 0.001 par défaut. Se tromper ne produit aucun signal, car la fenêtre se remet à l'échelle et l'image paraît identique, ce qui est précisément la raison d'être de la lecture en mètres.
Zéro n'est pas une distance. C'est le code quasi universel de « pas de retour ». Lu comme une profondeur, il peint un mur clair sur chaque trou de la couverture du capteur. Potato traite les non-mesures comme NaN et les peint en magenta, une couleur absente de toutes les palettes, de sorte qu'un trou ne puisse pas être pris pour une profondeur proche ou lointaine. La ligne d'information indique quelle fraction de la carte est constituée de trous. L'appariement stéréo a besoin de texture pour trouver des correspondances, si bien qu'un rig face à un mur uni ne renvoie aucune profondeur sur une grande partie du cadre, et un annotateur qui ne voit pas quels pixels manquent les lira comme de la géométrie.
La plage intéressante n'est presque jamais la plage entière. La fenêtre proche/lointain prend par défaut les 2e et 98e percentiles des pixels valides.
Configuration
instance_display:
fields:
- key: depth
type: depth_map
label: "Depth"Formats pris en charge : PNG 16 bits, TIFF 16 bits, NPY et NPZ, PFM et EXR.
Le fenêtrage est mesurable, non cosmétique
La fenêtre par percentiles est l'élément de fond, et son effet s'exprime par un chiffre. Un scan 16 bits dont le contenu se situe entre 1200 et 1800 s'affiche avec 4 niveaux de gris d'écart sur 255 sous une conversion naïve en 8 bits, et 254 sous la fenêtre par percentiles. Il en va de même pour les TIFF scientifiques en général. Voir ingestion de médias.
Projection
Avec les paramètres intrinsèques, une carte de profondeur se projette dans la même visionneuse 3D que celle qu'utilise la surface des nuages de points, si bien que les mêmes outils de cuboïdes fonctionnent dessus. C'est ce qui rend un jeu de données RVB-D annotable en 3D sans étape de conversion séparée.