Skip to content

Annotation de vidéo

Comment annoter de la vidéo dans Potato : navigation image par image, étiquetage de segments temporels, classification par image et suivi d'objets à travers les images.

L'annotation de vidéo ajoute un axe temporel au travail sur les images. Un même clip peut être étiqueté dans son ensemble, découpé en intervalles de temps (« le but a lieu de 0:12 à 0:15 ») ou annoté image par image. Potato fournit une navigation par images et des contrôles temporels pour que les annotateurs parcourent un clip avec précision.

Les tâches vidéo sont centrales pour la reconnaissance d'activités et le suivi d'objets.

Classification au niveau du clip

La tâche la plus simple : une étiquette pour l'ensemble du clip.

yaml
annotation_schemes:
  - annotation_type: radio
    name: action
    description: "What is the main action in this clip?"
    labels: [Walking, Running, Sitting, Jumping, Other]

Segments temporels, quand quelque chose se produit

Pour marquer des intervalles sur la ligne de temps, utilisez un segment (span) sur l'axe temporel de la vidéo, exactement comme la détection d'événements sonores le fait pour l'audio.

yaml
annotation_schemes:
  - annotation_type: span
    name: events
    description: "Mark the start and end of each event and label it."
    labels: [Goal, Foul, Substitution, Replay]

Annotation par image et suivi

Pour le travail au niveau de l'image, qu'il s'agisse de classer des images individuelles ou de suivre un objet à travers les images, les annotateurs parcourent la vidéo et annotent à chaque image. Décidez d'un taux d'échantillonnage (chaque image, une image sur N, ou les images clés seulement) ; étiqueter chaque image coûte cher, c'est pourquoi la plupart des projets sous-échantillonnent.

Garder l'annotation de vidéo cohérente

  • Précision des limites. Convenez du degré d'exactitude du début et de la fin de chaque segment ; la précision à l'image près coûte cher.
  • Occlusion et sortie. Rédigez des règles pour les cas où un objet suivi est masqué ou quitte le cadre.
  • Charge de travail. La vidéo est la modalité la plus chronophage ; faites un test pilote pour estimer le coût avant de passer à l'échelle, et envisagez la préannotation par LLM/vision pour générer des étiquettes initiales.

Pour aller plus loin