So annotieren Sie 3D-Punktwolken
Lidar- und Photogrammetriedaten mit orientierten 3D-Quadern labeln. Formate, Detailstufen, warum die Rotation ein Quaternion sein sollte und wie sich die Übereinstimmung bei einer 3D-Box messen lässt.
Eine Punktwolke zu annotieren heißt, orientierte 3D-Boxen auf dünne, ungleichmäßig abgetastete Daten zu setzen, bei denen ein entferntes Objekt aus wenigen Dutzend Messpunkten bestehen kann. Schwierig ist nicht das Zeichnen: Der Viewer muss interaktiv bleiben, Annotierende brauchen eine Möglichkeit, ihre Arbeit zu prüfen, und die Rotationsdarstellung muss einen Hin- und Rückweg überstehen.
Formate
| Format | Hinweise |
|---|---|
KITTI velodyne .bin | Rohe float32-Werte x, y, z, Intensität. Kein Header, daher wird das Layout angenommen |
| PCD | ascii, binary und binary_compressed (LZF) |
| PLY | ascii und beide Binär-Endianness-Varianten |
| LAS | 1.0 bis 1.4 |
.xyz / .pts | x y z [r g b] pro Zeile |
| LAZ | Komprimiertes LAS. Zuerst konvertieren: laszip -i scan.laz -o scan.las |
Parsen Sie serverseitig statt im Browser. Vier Formate bedeuten vier Sätze von Endianness- und Record-Layout-Fehlern, und ein Scan mit zwei Millionen Punkten würde bei jedem Seitenaufruf neu geparst.
Interaktiv bleiben
Ein roher Scan ist zu groß, um ihn naiv zu rendern. Zwei Dinge machen ihn handhabbar:
- Octree-Detailstufen. Punkte werden nach Region und nach Abstand zur Kamera geladen. In Potato ist das standardmäßig aktiv (
lod: true). - Eine Obergrenze für die Ausdünnung (
max_points). Behandeln Sie sie als Viewer-Einstellung, nicht als Dateneinstellung.
Diese Unterscheidung hat einmal Ärger gemacht und ist eine Wiederholung wert: Labels für einzelne Punkte wurden früher als Indizes in die ausgedünnte Wolke gespeichert, sodass ein niedrigerer Wert für max_points bestehende Labels stillschweigend auf andere Punkte umlenkte. Indizes sollten sich immer auf die Quelldatei beziehen.
Annotierenden eine 2D-Kontrolle geben
Ein Auto in 40 Metern Entfernung besteht aus wenigen Dutzend Messpunkten. Ob die Box eng sitzt, die richtige Länge hat und korrekt rotiert ist, lässt sich allein aus der Wolke kaum beantworten, im Kamerabild dagegen sieht man es sofort.
Daher gilt: in 3D bearbeiten, in 2D prüfen. Stellen Sie die Kalibrierung pro Item bereit und projizieren Sie jede Box in jede Kameraansicht. Ohne das fehlt dem 3D-Labeln jede Rückkopplung — eine Box, die aus der Orbit-Kamera korrekt aussieht, kann entlang der Blickachse um Meter danebenliegen, und nichts weist darauf hin.
Orthografische Slab-Panels liefern die andere Hälfte: drei achsenparallele Ansichten für präzise Anpassungen, vollständig per Tastatur bedienbar.
Die Rotation als Quaternion speichern
Die meisten Formate speichern einen einzelnen Gierwinkel (Yaw). Intern ein vollständiges Quaternion zu speichern wirkt übertrieben, bis ein Hin- und Rückweg etwas verliert.
Damit wird der KITTI-Import verlustfrei, einschließlich der Montageneigung zwischen Kamera und Lidar von etwa 0,85°, die ein reines Yaw-Feld kommentarlos verwirft. Der Export zurück nach KITTI muss Pitch und Roll weiterhin verwerfen — richtig ist es, zu melden, wie viel Orientierung verworfen wurde, statt die Box stillschweigend flachzudrücken.
Überbrücken Sie diese Lücke laut im formatspezifischen Code, nicht stillschweigend in der Speicherschicht.
An den Bezugssystemen scheitert es
Drei Konventionen, die leicht falsch zu machen und schwer zu bemerken sind:
- Referenzsystem versus Kamerasystem. Wer die Transformation einer Kamera verwendet, wo das rektifizierte Referenzsystem gemeint ist, verschiebt jede Box um die Stereobasis dieser Kamera. Das ist systematisch, beträgt einige Zentimeter und wird leicht für Schlampigkeit der Annotierenden gehalten.
- Die Position ist in KITTI die Unterseite, nicht der Mittelpunkt. Wer sie als Mittelpunkt liest, versenkt jedes Objekt um seine halbe Höhe im Boden.
- Reihenfolge der Abmessungen und Achsenzuordnung. Ein Hin-und-Rück-Test kann hier einen Rotationsfehler von 90° nicht finden, weil die Umkehrkonvertierung dieselbe falsche Annahme trifft und beide miteinander übereinstimmen. Nur der Vergleich mit der Eckenformel der Referenzimplementierung deckt ihn auf.
Übereinstimmung messen
Verwenden Sie exaktes rotiertes 3D-IoU. Eine achsenparallele Näherung genügt für ebene Automotive-Daten und ist falsch für Drohnen-, Handheld- und Innenraum-Scans, bei denen sie Uneinigkeit meldet, die ein Artefakt des Maßes ist und nicht der Annotierenden.
Wie in 2D gilt es, die Frage aufzuteilen: Haben Annotierende dieselben Objekte gefunden, gleich gelabelt und an dieselbe Stelle gesetzt. Siehe Übereinstimmung bei Bounding Boxes messen.
Konfiguration
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Put a 3D box around every vehicle and pedestrian."
source_field: point_cloud
calibration_field: calibration
tools: [cuboid_3d, point_3d]
labels:
- {name: car, color: "#FF6B6B", key_value: "1"}
- {name: pedestrian, color: "#FFD93D", key_value: "2"}
color_mode: height
lod: true
max_points: 400000
fit_box_height: trueEin funktionierendes Beispiel ist das KITTI-Showcase-Design.
Wann ein anderes Werkzeug die richtige Antwort ist
Segments.ai, Kognic, Deepen AI, Supervisely und Xtreme1/BasicAI sind Spezialisten, und für produktive Pipelines im autonomen Fahren sind sie voraus: Sequenz-Workflows mit Track-Propagation, Radar und Multi-LiDAR, Modelle für automatisch angepasste Quader und, bei Deepen, ein vollständiges Produkt für zielobjektlose Kalibrierung. Supervisely und Xtreme1 lassen sich selbst hosten, und Supervisely bewältigt weit größere Wolken.
Potato labelt Punktwolken-Sequenzen mit Keyframes und interpoliert jede Box dazwischen, propagiert Tracks aber nicht über einen Sweep hinweg. Wählen Sie es für 3D, wenn Sie Zuverlässigkeitsstatistiken über räumliche Labels wollen oder wenn 3D ein Teil einer multimodalen Studie ist.
Weiterführende Links
Beispiel-Designs
Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.