Tiefenkarten
Tiefendaten aus 16-Bit-PNG, TIFF, NPY, PFM und EXR lesen, mit Perzentil-Fensterung, Farbskalen, einer Meteranzeige unter dem Cursor und Rückprojektion in den 3D-Viewer.
Potato stellt Tiefenkarten lesbar dar, meldet die Entfernung unter dem Cursor in Metern und macht — mit Kameraintrinsik — aus einer Tiefenkarte eine Punktwolke, auf die Sie 3D-Boxen setzen können. Tiefe ist die Form, in der monokulare Schätzer, Stereo-Rigs und RGB-D-Sensoren 3D liefern, und das Format, das die meisten Robotik-Datensätze neben ihrem Video mitbringen.
Lauffähiges Beispiel: examples/spatial/depth-eval/.
Drei Dinge unterscheiden Tiefe von einem Bild
Eine als Bild geöffnete Tiefenkarte ist ein schwarzes Rechteck. Wäre sie es nicht, sähen Sie immer noch Farben, ohne zu wissen, welche Entfernung eine davon bedeutet.
Die Datei kennt ihre eigene Einheit nicht. Millimeter bei RealSense, Azure Kinect und NYU-Depth; 1/256 m beim KITTI-Completion-Benchmark; Meter bei allem, was aus einem Float-Array geschrieben wird. depth_scale gibt Meter pro gespeicherter Einheit an und steht standardmäßig auf 0.001. Ein falscher Wert fällt nicht auf, weil das Fenster neu skaliert und das Bild gleich aussieht, und genau deshalb gibt es die Meteranzeige.
Null ist keine Entfernung. Es ist der nahezu universelle Code für „keine Rückmeldung". Als Tiefe gelesen, malt er eine helle Wand über jedes Loch in der Abdeckung des Sensors. Potato führt Nichtmessungen als NaN und malt sie magenta, eine Farbe, die in keiner der Farbskalen vorkommt, sodass ein Loch nicht mit naher oder ferner Tiefe verwechselt werden kann. Die Infozeile meldet, welcher Anteil der Karte aus Löchern besteht. Stereo-Matching braucht Textur, um Korrespondenzen zu finden, sodass ein Rig, das auf eine leere Wand blickt, über weite Teile des Bildes keine Tiefe liefert, und wer nicht sieht, welche Pixel fehlen, liest sie als Geometrie.
Der interessante Bereich ist fast nie der volle Bereich. Das Nah-/Fern-Fenster steht standardmäßig auf dem 2. und 98. Perzentil der gültigen Pixel.
Konfiguration
instance_display:
fields:
- key: depth
type: depth_map
label: "Depth"Unterstützte Formate: 16-Bit-PNG, 16-Bit-TIFF, NPY und NPZ, PFM und EXR.
Fensterung ist messbar, nicht kosmetisch
Das Perzentilfenster ist der wesentliche Teil, und seine Wirkung lässt sich als Zahl angeben. Ein 16-Bit-Scan, dessen Inhalt zwischen 1200 und 1800 liegt, wird bei einer naiven 8-Bit-Umwandlung mit 4 Graustufen Abstand von 255 gerendert und mit dem Perzentilfenster mit 254. Dasselbe gilt allgemein für wissenschaftliche TIFFs. Siehe Medienaufnahme.
Rückprojektion
Mit Intrinsik lässt sich eine Tiefenkarte in denselben 3D-Viewer zurückprojizieren, den der Bereich Punktwolken verwendet, sodass dieselben Quader-Werkzeuge darauf funktionieren. Dadurch lässt sich ein RGB-D-Datensatz ohne separaten Konvertierungsschritt in 3D annotieren.