Il n'existe pas d'outil d'annotation unique qui soit le meilleur, et tout article qui vous dit le contraire cherche à vous vendre quelque chose. Le bon choix dépend de ce que vous annotez, du fait que vous deviez ou non évaluer des LLM et des agents, de votre budget et de la quantité de configuration que vous pouvez tolérer. Voici comment restreindre le choix.

Les questions qui le décident vraiment

Qu'annotez-vous ? Pour de la reconnaissance d'entités nommées ou de la classification uniquement textuelles, des outils simples comme Doccano ou brat font le travail avec peu de cérémonie. Pour un mélange de texte, d'images, d'audio et de vidéo, il vous faut quelque chose de plus vaste, et c'est là qu'interviennent Potato et Label Studio.

Devez-vous évaluer des agents ou des LLM ? C'est la question que la plupart des comparatifs d'outils éludent, et c'est là que le domaine se divise. Évaluer un agent signifie lire sa trace, juger les étapes et les appels d'outils, et parfois l'observer s'exécuter en direct. La plupart des outils d'annotation généralistes n'ont pas été conçus pour cela. Potato lit les traces d'agents dans de nombreux formats et dispose d'outils dédiés pour l'évaluation de trajectoires, l'étiquetage de récompense de processus et la revue des agents web et de codage.

Quel est votre budget ? Potato, le cœur de Label Studio, Doccano, brat et Argilla sont gratuits et open source. Prodigy et certaines formules de Label Studio sont payants.

Quelle quantité de configuration pouvez-vous tolérer ? Potato se configure avec un fichier YAML et ne nécessite aucun code. Prodigy est axé sur le code. Les autres se situent entre les deux.

Dans quel écosystème évoluez-vous ? Prodigy s'associe étroitement à spaCy. Argilla vit dans la pile Hugging Face. Potato exporte vers CoNLL, spaCy, Hugging Face et COCO/YOLO, de sorte qu'il s'intègre à la plupart des pipelines.

La place de Potato

Potato est issu du TAL académique et a été conçu pour l'ensemble du flux de travail de recherche : de nombreux types de tâches, des métriques d'accord et un contrôle qualité intégrés, des intégrations de crowdsourcing, et un ensemble approfondi d'outils d'évaluation d'agents ajoutés plus récemment. Si votre travail couvre plusieurs modalités ou comprend l'évaluation de modèles et d'agents, il vaut la peine d'y jeter un œil.

Si vous avez surtout besoin d'une seule tâche textuelle avec un produit commercial hébergé, ou si vous vivez entièrement au sein de spaCy ou de Hugging Face, l'un des autres vous conviendra peut-être mieux. Choisissez l'outil qui correspond au travail, pas le discours le plus tapageur.

En savoir plus

La version plus longue et côte à côte se trouve dans le guide Comparatif des outils d'annotation open source, et l'argumentaire en faveur de Potato en particulier figure sur Pourquoi Potato. Pour une comparaison au niveau des fonctionnalités issue de la source, consultez la documentation comparative.