Zum Inhalt springen

3D-Punktwolken und Quader

PCD-, PLY-, LAS- und KITTI-Punktwolken mit orientierten 3D-Quadern, Punkten, Polylinien und Segmenten pro Punkt annotieren. Octree-Detailstufen, Slab-Panels und eine Quaternion-Rotation, die einen Hin- und Rückweg übersteht.

Potato annotiert Lidar- und Photogrammetrie-Punktwolken im Browser mit orientierten 3D-Quadern, Punkten, Polylinien und Segmenten pro Punkt. Octree-Detailstufen halten einen Scan mit mehreren Millionen Punkten auf einem Laptop interaktiv, und die Kamerakalibrierung projiziert jede Box in die Bilder, sodass Sie in 3D bearbeiten und in 2D prüfen können.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    point_size: 2.0
    max_points: 400000

Lauffähiges Beispiel: examples/spatial/kitti-cuboids/.

Formate

Wolken werden serverseitig gelesen und in ein kompaktes Binärformat umgewandelt, das der Browser versteht. Jedes Format in JavaScript zu parsen hieße vier Parser, vier Sätze von Endianness- und Record-Layout-Fehlern und ein erneutes Parsen eines Scans mit zwei Millionen Punkten bei jedem Seitenaufruf.

FormatHinweise
KITTI velodyne .binRohe float32-Werte x, y, z, Intensität, kein Header
PCDascii, binary und binary_compressed (LZF)
PLYascii, binary_little_endian, binary_big_endian
LAS1.0 bis 1.4, Point-Record-Formate 0 bis 3 und 6 bis 8
.xyz / .ptsx y z [r g b] pro Zeile
LAZWird nicht direkt gelesen. Zuerst konvertieren: laszip -i scan.laz -o scan.las

Farbe wird gelesen, wo ein Format sie enthält; Intensität wird aus KITTI, PCD und LAS gelesen. Wer color_mode: rgb für eine Datei ohne Farbe anfordert, fällt auf Höhe zurück und sagt das in der Statuszeile, statt stillschweigend etwas darzustellen, das wie der angeforderte Modus aussieht.

Werkzeuge

WerkzeugWas es zeichnet
cuboid_3dEine orientierte 3D-Box
point_3dEinen einzelnen 3D-Punkt
polyline_3dEinen Pfad durch die Wolke
segment_3dEin Label pro Punkt über eine ausgewählte Menge

Die Rotation ist ein Quaternion, kein Gierwinkel

Potato speichert die Rotation eines Quaders als vollständiges Quaternion. Die meisten Formate speichern einen einzelnen Yaw, daher wirkt das übertrieben, bis ein Hin- und Rückweg etwas verliert.

Damit wird der KITTI-Import verlustfrei, einschließlich der Montageneigung zwischen Kamera und Lidar von etwa 0,85°, die ein reines Yaw-Feld kommentarlos verwirft. Der Export zurück nach KITTI muss Pitch und Roll durchaus verwerfen — und meldet, wie viel Orientierung er verworfen hat, statt die Box stillschweigend flachzudrücken.

Die Lücke zwischen dem, was Potato darstellen kann, und dem, was ein Format speichern kann, wird laut im formatspezifischen Code überbrückt und nicht stillschweigend in der Speicherschicht.

Die Übereinstimmung nutzt exaktes rotiertes 3D-IoU

Zwei Annotierende, die dasselbe Auto einrahmen, erzeugen nicht dieselbe Box. Potato berechnet die Übereinstimmung mit exaktem rotiertem 3D-IoU, das bei beliebiger Rotation korrekt ist und nicht nur für achsenparallele Boxen.

Das zählt, sobald die Daten nicht eben sind: Drohnen-, Handheld- und Innenraum-Scans liefern alle Boxen mit echtem Pitch und Roll, und eine achsenparallele Näherung meldet Uneinigkeit, die ein Artefakt des Maßes ist und nicht der Annotierenden. Siehe Übereinstimmung über Geometrie.

Im großen Maßstab arbeiten

  • Octree-Detailstufen sind standardmäßig aktiv (lod: true). Punkte werden nach Region und Abstand geladen, sodass ein großer Scan interaktiv bleibt.
  • max_points begrenzt die Ausdünnung. Es ist eine Viewer-Einstellung, keine Dateneinstellung.
  • Orthografische Slab-Panels (mpr: true) liefern drei achsenparallele Ansichten für präzise, vollständig per Tastatur bedienbare Bearbeitung. Ziehen Sie eine Fläche, während die gegenüberliegende fest bleibt.

Ein Fehler ist wissenswert, weil er gespeicherte Daten betraf und nicht die Anzeige: Die Punktindizes von segment_3d setzten früher eine feste Ausdünnung voraus, sodass ein niedrigerer Wert für max_points bestehende Labels pro Punkt stillschweigend auf andere Punkte umlenkte. Indizes beziehen sich nun auf die Quelldatei, sodass eine Viewer-Einstellung keine Annotation mehr verschieben kann.

Verwandtes

Beispiel-Designs

Jedes Design ist eine lauffähige Potato-Konfiguration zum Herunterladen und Ausführen.