Vai al contenuto

Nuvole di punti 3D e cuboidi

Annota nuvole di punti PCD, PLY, LAS e KITTI con cuboidi 3D orientati, punti, polilinee e segmenti per punto. Livello di dettaglio a octree, pannelli a sezione e rotazione a quaternione che sopravvive a un'andata e ritorno.

Potato annota nuvole di punti lidar e di fotogrammetria con cuboidi 3D orientati, punti, polilinee e segmenti per punto, nel browser. Il livello di dettaglio a octree mantiene interattiva su un portatile una scansione da molti milioni di punti, e la calibrazione della camera proietta ogni riquadro nelle immagini, così puoi verificare in 2D mentre modifichi in 3D.

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    point_size: 2.0
    max_points: 400000

Esempio eseguibile: examples/spatial/kitti-cuboids/.

Formati

Le nuvole vengono lette sul server e convertite in un unico binario compatto che il browser comprende. Fare il parsing di ogni formato in JavaScript significherebbe quattro parser, quattro insiemi di bug di endianness e di layout dei record, e rifare il parsing di una scansione da due milioni di punti a ogni caricamento di pagina.

FormatoNote
KITTI velodyne .binfloat32 grezzi x, y, z, intensità, senza intestazione
PCDascii, binary e binary_compressed (LZF)
PLYascii, binary_little_endian, binary_big_endian
LASda 1.0 a 1.4, formati di record dei punti da 0 a 3 e da 6 a 8
.xyz / .ptsx y z [r g b] per riga
LAZNon letto direttamente. Converti prima: laszip -i scan.laz -o scan.las

Il colore viene letto dove un formato lo contiene; l'intensità viene letta da KITTI, PCD e LAS. Chiedere color_mode: rgb su un file senza colore ripiega sull'altezza e lo dice nella riga di stato, invece di renderizzare in silenzio qualcosa che somiglia alla modalità richiesta.

Strumenti

StrumentoChe cosa disegna
cuboid_3dUn riquadro 3D orientato
point_3dUn singolo punto 3D
polyline_3dUn percorso attraverso la nuvola
segment_3dUn'etichetta per punto su un insieme selezionato

La rotazione è un quaternione, non un angolo di imbardata

Potato memorizza la rotazione di un cuboide come quaternione completo. La maggior parte dei formati memorizza un singolo angolo di imbardata (yaw), quindi sembra un eccesso di ingegneria finché un'andata e ritorno non perde qualcosa.

È ciò che rende senza perdite l'importazione KITTI, compresa l'inclinazione di montaggio camera-lidar di circa 0,85° che un campo con solo yaw scarta senza dirlo. L'esportazione verso KITTI deve invece scartare beccheggio e rollio, e riporta quanto orientamento ha scartato invece di appiattire il riquadro in silenzio.

Il divario tra ciò che Potato sa rappresentare e ciò che un formato sa memorizzare viene attraversato nel codice specifico del formato, in modo esplicito, e non nel livello di archiviazione, in silenzio.

L'accordo usa l'IoU 3D ruotata esatta

Due annotatori che inquadrano la stessa auto non produrranno lo stesso riquadro. Potato calcola l'accordo con l'IoU 3D ruotata esatta, che è corretta per rotazioni arbitrarie e non solo per riquadri allineati agli assi.

Conta non appena i dati non sono in piano: le scansioni da drone, a mano e di interni producono tutte riquadri con beccheggio e rollio reali, e un'approssimazione allineata agli assi riporta un disaccordo che è un artefatto della misura e non degli annotatori. Vedi l'accordo sulla geometria.

Lavorare su larga scala

  • Il livello di dettaglio a octree è attivo di default (lod: true). I punti vengono caricati per regione e per distanza, quindi una scansione grande resta interattiva.
  • max_points limita la decimazione. È un'impostazione del visualizzatore, non dei dati.
  • I pannelli a sezione ortografica (mpr: true) offrono tre viste allineate agli assi per una modifica precisa, interamente comandata da tastiera. Trascina una faccia mentre quella opposta resta ferma.

Un bug da conoscere, perché ha riguardato i dati memorizzati e non la visualizzazione: gli indici dei punti di segment_3d presupponevano una decimazione fissa, quindi abbassare max_points faceva puntare in silenzio le etichette per punto esistenti a punti diversi. Ora gli indici si riferiscono al file sorgente, quindi un'impostazione del visualizzatore non può spostare un'annotazione.

Correlati

Design di esempio

Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.