Zum Inhalt springen

Kamerakalibrierung und 2D-Prüfung

Jeden 3D-Quader in jedes kalibrierte Kamerabild projizieren, sodass Annotierende in 3D bearbeiten und in 2D prüfen. Warum 3D-Labeln ohne das keine Rückkopplung hat.

Zeichnen Sie eine 3D-Box in die Punktwolke und sehen Sie, wie sie auf dem Objekt in der Fotografie landet, die es gesehen hat. Die pro Item bereitgestellte Kamerakalibrierung projiziert jeden Quader in jede Kameraansicht und zeichnet ihn neu, während sich die Box bewegt.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Label each object in the point cloud"
    source_field: point_cloud
    calibration_field: calibration    # the item field holding the rig
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B"}

Lauffähiges Beispiel: examples/spatial/kitti-cuboids/.

Warum das wichtiger ist, als es klingt

Ein Auto in 40 Metern Entfernung besteht aus wenigen Dutzend Lidar-Rückmeldungen. Ob die Box eng sitzt, ob sie die richtige Länge hat und ob sie korrekt rotiert ist, lässt sich allein aus der Wolke kaum beantworten, im Kamerabild dagegen sieht man es sofort.

Daher bearbeiten Annotierende in 3D und prüfen in 2D. Die Panels unter dem Viewport zeigen die Ansicht jeder Kamera mit den darauf projizierten Boxen.

Ohne das fehlt dem 3D-Labeln jede Rückkopplung. Eine Box, die aus der Orbit-Kamera korrekt aussieht, kann entlang der Blickachse um Meter danebenliegen, und nichts in der 3D-Ansicht weist darauf hin.

An den Bezugssystemen scheitert es

Kalibrierung ist eine Kette von Transformationen, und jedes Glied ist eine Gelegenheit, unbemerkt falsch zu liegen:

  • Referenzsystem versus Kamerasystem. Wer die Transformation einer bestimmten Kamera verwendet, wo das rektifizierte Referenzsystem gemeint ist, verschiebt jede Box um die Stereobasis dieser Kamera. Das sind einige Zentimeter, systematisch, und leicht mit Schlampigkeit der Annotierenden zu verwechseln.
  • Konventionen für die Position. Die 3D-Position in KITTI ist der Mittelpunkt der Unterseite der Box. Wer sie als Mittelpunkt liest, versenkt jedes Objekt um seine halbe Höhe im Boden.
  • Reihenfolge der Abmessungen und Achsenzuordnung. Die Abmessungen in KITTI lauten h w l, und im eigenen Bezugssystem der Box verläuft die Länge entlang X, die Höhe entlang Y nach unten und die Breite entlang Z. Wer annimmt, dass die Länge entlang der Vorwärtsachse der Kamera verläuft, was die naheliegende Wahl scheint, erzeugt eine Box, die um genau 90° gedreht ist.

Der letzte Fall ist der lehrreiche: Ein Hin-und-Rück-Test kann ihn nicht finden, weil die Umkehrkonvertierung dieselbe Annahme trifft und beide miteinander übereinstimmen. Nur der Vergleich mit der eigenen Eckenformel des Devkits deckt ihn auf, und genau dafür gibt es einen Test.

Verwandtes