Guides
Explications indépendantes de l'outil sur la pratique de l'annotation : conception de schémas, accord inter-annotateurs, crowdsourcing et évaluation d'agents.
Ce sont des explications, pas des pages de référence. Chacune répond d'abord à une question de pratique qui ne dépend d'aucun outil, puis prend Potato comme exemple traité.
Elles se répartissent en quelques groupes. Le premier couvre les décisions prises avant tout étiquetage : quoi annoter, comment rédiger les consignes, quelle forme donner aux données. Un groupe plus large couvre des types d'annotation particuliers, des entités nommées et de la coréférence jusqu'à l'audio, la vidéo, la segmentation d'images et les nuages de points 3D. Un troisième couvre la mesure : accord, arbitrage, taille d'échantillon, et que faire quand les annotateurs divergent. Le reste couvre l'évaluation des sorties de modèles et d'agents, et la conduite d'une étude avec des annotateurs rémunérés.
Si vous débutez en annotation, commencez par Qu'est-ce que l'annotation de données ?. Si vous avez déjà des annotations et devez rendre compte de leur qualité, commencez par L'accord inter-annotateurs expliqué.