Exporter des annotations pour l'apprentissage automatique
Comment exporter des annotations Potato vers des formats prêts pour le ML, JSON/JSONL, CoNLL, Hugging Face Datasets, spaCy, COCO et YOLO, et à quoi sert chacun.
Le but d'une annotation est généralement d'entraîner ou d'évaluer un modèle, donc le format d'export compte. Potato écrit du JSON/JSONL/CSV ordinaire, mais aussi des formats natifs du ML que les pipelines d'entraînement lisent directement, sans code de liaison. Choisir le format cible avant d'étiqueter vous indique comment structurer vos données et vos ID.
Pour la référence, voir Formats d'export.
Choisir le format selon la tâche
| Format | À utiliser pour |
|---|---|
| JSON / JSONL | Usage général ; un enregistrement par élément. La valeur par défaut sûre. |
| CSV | Tableurs et analyse rapide des étiquettes de classification. |
| CoNLL | Étiquetage de séquences au niveau du token (NER, chunking) avec des étiquettes BIO. |
| Hugging Face Datasets | Chargement direct dans l'entraînement avec transformers. |
| spaCy | Entraîner des modèles spaCy de NER et de classification de texte. |
| COCO / YOLO | Détection d'objets et segmentation à partir de l'annotation d'images. |
| Parquet | Stockage en colonnes à grande échelle et analytique. Voir Export Parquet. |
Définir le format de sortie
output_annotation_dir: "annotation_output/"
output_annotation_format: "jsonl" # json, csv, conll, ...Ce qui se retrouve dans l'export
Un enregistrement type contient l'ID de l'élément, le contenu d'origine, les étiquettes de chaque annotateur et des métadonnées (qui, quand). Conserver les étiquettes de tous les annotateurs, plutôt qu'un seul agrégat, vous permet de calculer l'accord et de réagréger plus tard avec une autre méthode.
Planifier l'export avant d'étiqueter
Le format d'export contraint la conception de votre entrée. Les exports d'étiquetage de séquences exigent une tokenisation cohérente ; COCO/YOLO ont besoin des dimensions de l'image ; Hugging Face a besoin d'un ensemble d'étiquettes stable. Décidez de la destination d'abord pour ne pas avoir à relancer l'étude. Voir Concevoir des formats de données pour l'annotation.