Skip to content

Concevoir des formats de données pour l'annotation

Comment structurer les données d'entrée (JSON, JSONL, CSV) d'un projet d'annotation, quels champs Potato attend et comment préparer un export propre vers vos pipelines d'entraînement.

Une bonne annotation commence par une entrée bien structurée. Chaque élément a besoin d'un identifiant unique stable et du contenu à étiqueter ; tout le reste n'est qu'un contexte facultatif. Bien faire les choses dès le départ vous évite des reprises pénibles par la suite, car les annotations sont rattachées aux ID de vos éléments.

Les formats d'échange courants sont JSON, JSON Lines (un objet par ligne, idéal pour les grands jeux de données) et CSV. Potato lit les trois. Pour la référence complète, voir Formats de données.

Le minimum dont chaque élément a besoin

  • Un ID unique qui ne change jamais. Les annotations sont enregistrées par rapport à cet ID, donc si vous renumérotez les éléments en cours de projet, vous perdez le lien avec les étiquettes existantes.
  • Le contenu à annoter : un champ de texte, une URL d'image, un chemin audio ou une trace structurée.

Un fichier JSONL pour une tâche textuelle ressemble à ceci :

json
{"id": "rev_001", "text": "The battery lasts all day. Highly recommend."}
{"id": "rev_002", "text": "Stopped working after a week."}

Vous indiquez à Potato les clés à utiliser :

yaml
item_properties:
  id_key: id
  text_key: text
 
data_files:
  - "data/reviews.jsonl"

Transportez le contexte, mais gardez-le séparé des étiquettes

Des champs supplémentaires, une URL source, un horodatage, un nom de modèle, peuvent accompagner chaque élément et être montrés aux annotateurs sans devenir des étiquettes. Donnez-leur des noms clairs pour que l'export soit facile à lire ensuite.

Planifiez l'export avant d'étiqueter

Décidez tôt comment les données étiquetées alimenteront votre pipeline. Potato exporte vers JSON, JSONL et CSV, ainsi que vers des formats natifs du ML comme CoNLL pour l'étiquetage de séquences, Hugging Face Datasets, spaCy, et COCO/YOLO pour la vision. Choisir le format cible dès le départ vous indique quels champs et quel schéma d'ID utiliser dès maintenant. Voir Exporter des annotations pour le ML.

yaml
output_annotation_dir: "annotation_output/"
output_annotation_format: "jsonl"

Pour aller plus loin