Vai al contenuto

Come annotare le nuvole di punti 3D

Etichetta dati lidar e di fotogrammetria con cuboidi 3D orientati. Formati, livello di dettaglio, perché la rotazione dovrebbe essere un quaternione e come misurare l'accordo su un riquadro 3D.

Annotare una nuvola di punti significa posizionare riquadri 3D orientati su dati radi e campionati in modo disomogeneo, dove un oggetto lontano può essere formato da poche decine di ritorni. La parte difficile non è il disegno: bisogna mantenere il visualizzatore interattivo, dare all'annotatore un modo per controllare il proprio lavoro e scegliere una rappresentazione della rotazione che sopravviva a un'andata e ritorno.

Formati

FormatoNote
KITTI velodyne .binfloat32 grezzi x, y, z, intensità. Nessuna intestazione, quindi il layout è presupposto
PCDascii, binary e binary_compressed (LZF)
PLYascii ed entrambe le endianness binarie
LASda 1.0 a 1.4
.xyz / .ptsx y z [r g b] per riga
LAZLAS compresso. Converti prima: laszip -i scan.laz -o scan.las

Esegui il parsing sul server anziché nel browser. Quattro formati significano quattro insiemi di bug di endianness e di layout dei record, e rifare il parsing di una scansione da due milioni di punti a ogni caricamento di pagina.

Mantenerla interattiva

Una scansione grezza è troppo grande per essere renderizzata in modo ingenuo. Due accorgimenti la rendono gestibile:

  • Livello di dettaglio a octree. I punti vengono caricati per regione e per distanza dalla camera. In Potato è attivo di default (lod: true).
  • Un limite di decimazione (max_points). Consideralo un'impostazione del visualizzatore, non dei dati.

Questa distinzione ha creato un problema una volta ed è utile ripeterla: le etichette di segmento per punto venivano memorizzate come indici nella nuvola decimata, quindi abbassare max_points faceva puntare in silenzio le etichette esistenti a punti diversi. Gli indici dovrebbero riferirsi sempre al file sorgente.

Dai agli annotatori un controllo in 2D

Un'auto a 40 metri è fatta di poche decine di ritorni. Capire se il riquadro è aderente, della lunghezza giusta e ruotato correttamente è quasi impossibile dalla sola nuvola, ed è evidente in un'immagine della camera.

Quindi: modifica in 3D, verifica in 2D. Fornisci la calibrazione per ogni elemento e proietta ogni riquadro in ciascuna vista della camera. Senza questo, l'etichettatura 3D non ha un ciclo di retroazione: un riquadro che sembra corretto dalla camera orbitale può essere sbagliato di metri lungo l'asse di vista senza che nulla lo segnali.

I pannelli a sezione ortografica offrono l'altra metà: tre viste allineate agli assi per la regolazione precisa, interamente comandate da tastiera.

Memorizza la rotazione come quaternione

La maggior parte dei formati memorizza un singolo angolo di imbardata (yaw). Memorizzare internamente un quaternione completo sembra un eccesso di ingegneria finché un'andata e ritorno non perde qualcosa.

Rende senza perdite l'importazione KITTI, compresa l'inclinazione di montaggio camera-lidar di circa 0,85° che un campo con solo yaw scarta senza dirlo. L'esportazione verso KITTI deve comunque scartare beccheggio e rollio: il comportamento corretto è riportare quanto orientamento è stato scartato invece di appiattire il riquadro in silenzio.

Attraversa questo divario nel codice specifico del formato, in modo esplicito, e non nel livello di archiviazione, in silenzio.

È sui sistemi di riferimento che le cose vanno storte

Tre convenzioni facili da sbagliare e difficili da notare:

  • Sistema di riferimento contro sistema della camera. Usare la trasformazione di una camera dove serve il sistema di riferimento rettificato sposta ogni riquadro della linea di base stereo di quella camera. È sistematico, di pochi centimetri, e si scambia facilmente per trascuratezza degli annotatori.
  • In KITTI la posizione è la faccia inferiore, non il centro. Leggerla come il centro mette ogni oggetto sottoterra per metà della sua altezza.
  • Ordine delle dimensioni e assegnazione degli assi. Un test di andata e ritorno non può individuare un errore di rotazione di 90° in questo caso, perché la conversione inversa fa la stessa ipotesi sbagliata e le due concordano tra loro. Solo il confronto con la formula degli angoli dell'implementazione di riferimento lo individua.

Misurare l'accordo

Usa l'IoU 3D ruotata esatta. Un'approssimazione allineata agli assi va bene per dati automobilistici in piano ed è sbagliata per scansioni da drone, a mano e di interni, dove riporta un disaccordo che è un artefatto della misura e non degli annotatori.

Come per il 2D, scomponi la domanda: gli annotatori hanno trovato gli stessi oggetti, li hanno etichettati allo stesso modo e li hanno posizionati allo stesso modo. Vedi misurare l'accordo sui bounding box.

Configurazione

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    lod: true
    max_points: 400000
    fit_box_height: true

Esempio funzionante: il design di esempio KITTI.

Quando la risposta giusta è un altro strumento

Segments.ai, Kognic, Deepen AI, Supervisely e Xtreme1/BasicAI sono strumenti specializzati e per le pipeline di guida autonoma in produzione sono più avanti: flussi di lavoro per sequenze con propagazione delle tracce, radar e multi-LiDAR, modelli di adattamento automatico dei cuboidi e, nel caso di Deepen, un prodotto completo di calibrazione senza target. Supervisely e Xtreme1 possono essere ospitati in proprio e Supervisely gestisce nuvole molto più grandi.

Potato etichetta le sequenze di nuvole di punti con fotogrammi chiave e interpola ogni riquadro tra l'uno e l'altro, e non propaga le tracce lungo una scansione. Sceglilo per il 3D quando vuoi statistiche di affidabilità sulle etichette spaziali, o quando il 3D è una parte di uno studio multimodale.

Letture di approfondimento

Design di esempio

Ogni design è una configurazione Potato funzionante da scaricare ed eseguire.