Zum Inhalt springen

So annotieren Sie 3D-Punktwolken

Lidar- und Photogrammetriedaten mit orientierten 3D-Quadern labeln. Formate, Detailstufen, warum die Rotation ein Quaternion sein sollte und wie sich die Übereinstimmung bei einer 3D-Box messen lässt.

Eine Punktwolke zu annotieren heißt, orientierte 3D-Boxen auf dünne, ungleichmäßig abgetastete Daten zu setzen, bei denen ein entferntes Objekt aus wenigen Dutzend Messpunkten bestehen kann. Schwierig ist nicht das Zeichnen: Der Viewer muss interaktiv bleiben, Annotierende brauchen eine Möglichkeit, ihre Arbeit zu prüfen, und die Rotationsdarstellung muss einen Hin- und Rückweg überstehen.

Formate

FormatHinweise
KITTI velodyne .binRohe float32-Werte x, y, z, Intensität. Kein Header, daher wird das Layout angenommen
PCDascii, binary und binary_compressed (LZF)
PLYascii und beide Binär-Endianness-Varianten
LAS1.0 bis 1.4
.xyz / .ptsx y z [r g b] pro Zeile
LAZKomprimiertes LAS. Zuerst konvertieren: laszip -i scan.laz -o scan.las

Parsen Sie serverseitig statt im Browser. Vier Formate bedeuten vier Sätze von Endianness- und Record-Layout-Fehlern, und ein Scan mit zwei Millionen Punkten würde bei jedem Seitenaufruf neu geparst.

Interaktiv bleiben

Ein roher Scan ist zu groß, um ihn naiv zu rendern. Zwei Dinge machen ihn handhabbar:

  • Octree-Detailstufen. Punkte werden nach Region und nach Abstand zur Kamera geladen. In Potato ist das standardmäßig aktiv (lod: true).
  • Eine Obergrenze für die Ausdünnung (max_points). Behandeln Sie sie als Viewer-Einstellung, nicht als Dateneinstellung.

Diese Unterscheidung hat einmal Ärger gemacht und ist eine Wiederholung wert: Labels für einzelne Punkte wurden früher als Indizes in die ausgedünnte Wolke gespeichert, sodass ein niedrigerer Wert für max_points bestehende Labels stillschweigend auf andere Punkte umlenkte. Indizes sollten sich immer auf die Quelldatei beziehen.

Annotierenden eine 2D-Kontrolle geben

Ein Auto in 40 Metern Entfernung besteht aus wenigen Dutzend Messpunkten. Ob die Box eng sitzt, die richtige Länge hat und korrekt rotiert ist, lässt sich allein aus der Wolke kaum beantworten, im Kamerabild dagegen sieht man es sofort.

Daher gilt: in 3D bearbeiten, in 2D prüfen. Stellen Sie die Kalibrierung pro Item bereit und projizieren Sie jede Box in jede Kameraansicht. Ohne das fehlt dem 3D-Labeln jede Rückkopplung — eine Box, die aus der Orbit-Kamera korrekt aussieht, kann entlang der Blickachse um Meter danebenliegen, und nichts weist darauf hin.

Orthografische Slab-Panels liefern die andere Hälfte: drei achsenparallele Ansichten für präzise Anpassungen, vollständig per Tastatur bedienbar.

Die Rotation als Quaternion speichern

Die meisten Formate speichern einen einzelnen Gierwinkel (Yaw). Intern ein vollständiges Quaternion zu speichern wirkt übertrieben, bis ein Hin- und Rückweg etwas verliert.

Damit wird der KITTI-Import verlustfrei, einschließlich der Montageneigung zwischen Kamera und Lidar von etwa 0,85°, die ein reines Yaw-Feld kommentarlos verwirft. Der Export zurück nach KITTI muss Pitch und Roll weiterhin verwerfen — richtig ist es, zu melden, wie viel Orientierung verworfen wurde, statt die Box stillschweigend flachzudrücken.

Überbrücken Sie diese Lücke laut im formatspezifischen Code, nicht stillschweigend in der Speicherschicht.

An den Bezugssystemen scheitert es

Drei Konventionen, die leicht falsch zu machen und schwer zu bemerken sind:

  • Referenzsystem versus Kamerasystem. Wer die Transformation einer Kamera verwendet, wo das rektifizierte Referenzsystem gemeint ist, verschiebt jede Box um die Stereobasis dieser Kamera. Das ist systematisch, beträgt einige Zentimeter und wird leicht für Schlampigkeit der Annotierenden gehalten.
  • Die Position ist in KITTI die Unterseite, nicht der Mittelpunkt. Wer sie als Mittelpunkt liest, versenkt jedes Objekt um seine halbe Höhe im Boden.
  • Reihenfolge der Abmessungen und Achsenzuordnung. Ein Hin-und-Rück-Test kann hier einen Rotationsfehler von 90° nicht finden, weil die Umkehrkonvertierung dieselbe falsche Annahme trifft und beide miteinander übereinstimmen. Nur der Vergleich mit der Eckenformel der Referenzimplementierung deckt ihn auf.

Übereinstimmung messen

Verwenden Sie exaktes rotiertes 3D-IoU. Eine achsenparallele Näherung genügt für ebene Automotive-Daten und ist falsch für Drohnen-, Handheld- und Innenraum-Scans, bei denen sie Uneinigkeit meldet, die ein Artefakt des Maßes ist und nicht der Annotierenden.

Wie in 2D gilt es, die Frage aufzuteilen: Haben Annotierende dieselben Objekte gefunden, gleich gelabelt und an dieselbe Stelle gesetzt. Siehe Übereinstimmung bei Bounding Boxes messen.

Konfiguration

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    lod: true
    max_points: 400000
    fit_box_height: true

Ein funktionierendes Beispiel ist das KITTI-Showcase-Design.

Wann ein anderes Werkzeug die richtige Antwort ist

Segments.ai, Kognic, Deepen AI, Supervisely und Xtreme1/BasicAI sind Spezialisten, und für produktive Pipelines im autonomen Fahren sind sie voraus: Sequenz-Workflows mit Track-Propagation, Radar und Multi-LiDAR, Modelle für automatisch angepasste Quader und, bei Deepen, ein vollständiges Produkt für zielobjektlose Kalibrierung. Supervisely und Xtreme1 lassen sich selbst hosten, und Supervisely bewältigt weit größere Wolken.

Potato labelt Punktwolken-Sequenzen mit Keyframes und interpoliert jede Box dazwischen, propagiert Tracks aber nicht über einen Sweep hinweg. Wählen Sie es für 3D, wenn Sie Zuverlässigkeitsstatistiken über räumliche Labels wollen oder wenn 3D ein Teil einer multimodalen Studie ist.

Beispiel-Designs

Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.