Skip to content

Annotazione video

Come annotare video in Potato: navigazione fotogramma per fotogramma, etichettatura di segmenti temporali, classificazione per singolo fotogramma e tracciamento di oggetti tra un fotogramma e l'altro.

L'annotazione video aggiunge l'asse del tempo al lavoro sulle immagini. Lo stesso spezzone può essere etichettato per intero, diviso in intervalli di tempo («il gol avviene tra 0:12 e 0:15») oppure annotato fotogramma per fotogramma. Potato mette a disposizione la navigazione tra i fotogrammi e i controlli temporali, così gli annotatori si muovono nel filmato con precisione.

I task su video sono al centro del riconoscimento di attività e del tracciamento di oggetti.

Classificazione a livello di spezzone

Il caso più semplice: una sola etichetta per l'intero spezzone.

yaml
annotation_schemes:
  - annotation_type: radio
    name: action
    description: "What is the main action in this clip?"
    labels: [Walking, Running, Sitting, Jumping, Other]

Segmenti temporali, quando succede qualcosa

Per marcare intervalli sulla timeline si usa uno span sull'asse temporale del video, esattamente come fa il rilevamento di eventi sonori per l'audio.

yaml
annotation_schemes:
  - annotation_type: span
    name: events
    description: "Mark the start and end of each event and label it."
    labels: [Goal, Foul, Substitution, Replay]

Annotazione per fotogramma e tracciamento

Nel lavoro a livello di fotogramma, cioè classificare singoli fotogrammi o seguire un oggetto da un fotogramma all'altro, gli annotatori avanzano nel video e annotano a ogni fotogramma. Decidi una frequenza di campionamento (ogni fotogramma, uno ogni N, o solo i keyframe); etichettare tutti i fotogrammi costa molto, perciò quasi tutti i progetti sottocampionano.

Mantenere coerente l'annotazione video

  • Precisione dei confini. Mettetevi d'accordo su quanto devono essere esatti inizio e fine di un segmento; la precisione al fotogramma è cara.
  • Occlusione e uscita di scena. Scrivi delle regole per quando l'oggetto tracciato è nascosto o esce dall'inquadratura.
  • Carico di lavoro. Il video è la modalità che richiede più tempo: fai un pilota per stimare il costo prima di scalare e valuta la pre-annotazione con LLM e modelli di visione per partire da etichette già abbozzate.

Approfondimenti