L'étiquetage automatique par IA comparé : Label Studio, CVAT, Labelbox, Prodigy, Argilla et Potato

Les six outils comparés ici peuvent tous importer ou générer des étiquettes de modèle et les envoyer à des personnes pour relecture, donc cette comparaison porte sur ce que chaque outil mesure des étiquettes qu'il garde. Dans la documentation que nous avons lue en octobre 2026, les outils rapportent l'exactitude, la précision, le rappel ou l'accord par rapport à une vérité terrain ou entre annotateurs sous forme de valeurs ponctuelles, et aucun ne décrit d'intervalle ni de borne d'erreur sur la qualité des étiquettes machine.

L'étiquetage automatique désigne ici toute fonction qui place l'étiquette d'un modèle sur un item avant celle d'une personne ou à sa place, que le modèle soit un détecteur, un classifieur ou un LLM à qui l'on soumet la tâche par prompt. Chaque outil de cette comparaison en propose une version, et les outils diffèrent sur trois questions à se poser avant d'en choisir un :

1. Comment les étiquettes machine entrent dans un projet : importées comme prédictions, générées par un modèle connecté, ou produites par un prompt de LLM dans l'outil.
2. Comment une personne les relit, et si elle voit la réponse du modèle pendant qu'elle étiquette.
3. Ce que l'outil rapporte sur la fréquence à laquelle les étiquettes machine sont fausses, par rapport à quelle référence et avec quelle incertitude.

Chaque section ci-dessous s'appuie sur la documentation de l'outil en octobre 2026, avec un lien là où elle est citée. Quand nous n'avons pas trouvé quelque chose dans la documentation, nous le disons, car une fonction peut exister sans être documentée.

Label Studio

Label Studio connecte les modèles par un ML backend, un SDK qui enveloppe votre modèle dans un serveur web, et importe les prédictions sous une clé predictions avec un model_version et un score. Les prédictions importées ne peuvent pas être modifiées, et le score s'applique à la prédiction entière. Les éditions Enterprise et Starter Cloud ajoutent Prompts, qui génère des prédictions à partir de prompts de LLM et les note, et la page ML décrit une fonction Enterprise d'« étiquetage automatique assisté par LLM et d'évaluation de modèles ».

La relecture est un flux de travail Enterprise. Le guide de qualité indique que « le flux de relecture des annotations n'est disponible que dans Label Studio Enterprise Edition », avec des actions accepter, rejeter et corriger-puis-accepter, et une option pour ordonner les tâches selon la confiance du modèle. Les réglages d'échantillonnage de la relecture s'appliquent comme des taux probabilistes, et l'échantillonnage par incertitude envoie d'abord aux personnes les prédictions les moins confiantes.

Pour la qualité, Label Studio Enterprise compare les annotations et les prédictions des modèles à la vérité terrain « pour calculer un score d'exactitude entre 0 et 1 », et sa matrice d'accord peut inclure des versions de modèles. Prompts rapporte l'exactitude globale et le F1 par rapport à la vérité terrain, le nombre de tâches évaluées et le coût d'inférence, chacun sous forme de score ponctuel. Sa présentation de Prompts ajoute que « plus vous avez de données pour l'évaluation du prompt, plus vous pouvez avoir confiance dans les résultats », sans indiquer d'intervalle.

CVAT

L'annotation automatique de CVAT pré-annote les données avec un détecteur ou un modèle de réidentification, avec un seuil de confiance facultatif. Les modèles disponibles dépendent de l'édition. Le tableau des modèles d'IA liste des fonctions Nuclio pour l'édition Community, et des modèles tiers de Hugging Face et Roboflow ainsi que des fonctions d'agent IA natives pour CVAT Online et Enterprise.

Pour la relecture humaine, CVAT a un mode de relecture pour signaler des problèmes et une étape de validation, et le consensus fusionne le travail de plusieurs annotateurs en un seul résultat, avec un score d'accord de 0 à 1. Le contrôle qualité par vérité terrain et par honeypots de CVAT, indiqué pour CVAT Online et Enterprise, compare les jobs d'annotation à un job de vérité terrain et rapporte l'exactitude, la précision et le rappel. La documentation décrit la méthode comme statistique, estimant la qualité sur l'ensemble du jeu de données à partir d'une petite portion, et affirme que « 5 à 15 % des données suffisent généralement ». Le rapport de qualité compare chaque job de la tâche au job de vérité terrain, il ne note donc la sortie de l'annotation automatique que comme une partie de ce que contiennent ces jobs, et nous n'avons pas trouvé de rapport qui sépare les annotations machine des annotations humaines.

Labelbox

Labelbox importe des pré-étiquettes, qu'il décrit comme des « annotations suggérées importées par programme dans un projet Labelbox » que des personnes relisent. Sa fonction Foundry génère des étiquettes avec un modèle, avec un seuil de confiance « qui indique au modèle à quel point il doit être certain avant de suggérer une étiquette ». Foundry est disponible dans toutes les offres sauf les abonnements Educational.

Le guide sur l'utilisation des prédictions de Foundry propose deux façons de les acheminer vers des personnes. L'une filtre sur la confiance, par exemple en envoyant en relecture tout ce qui est sous 0,75. L'autre envoie « un échantillon aléatoire de prédictions en relecture », ce qui « vous aide à repérer les problèmes systémiques et à calculer des métriques d'exactitude globales ». Les métriques de modèle de Labelbox calculent la précision, le rappel, le F1, l'IoU et une matrice de confusion à partir des prédictions et de la vérité terrain, à des seuils de 0 à 1. Sa page des fonctions dépréciées indique que la fonction Model experiments n'est plus disponible depuis le 15 juillet, sans préciser l'année, alors que le guide des métriques renvoie toujours les métriques personnalisées vers le type Experiment : vérifiez donc que les métriques des exécutions de modèle sont toujours disponibles dans votre espace de travail.

Prodigy

Prodigy est construit autour d'un modèle dans la boucle. Des recettes comme ner.correct montrent les prédictions d'un modèle spaCy pour qu'une personne les corrige, ner.teach et textcat.teach privilégient les exemples sur lesquels le modèle est le moins sûr, et ner.model-annotate enregistre les étiquettes d'un modèle comme si un annotateur les avait posées. Les recettes LLM construites sur spacy-llm produisent des étiquettes pour le même flux de correction, et la documentation avertit que « les annotations du LLM peuvent être fausses. Vous voulez toujours rester dans la boucle pour trier les annotations. »

La recette review résout les conflits entre annotateurs en une seule annotation finale, et les recettes metric.iaa.* rapportent le pourcentage d'accord, l'alpha de Krippendorff et l'AC2 de Gwet entre annotateurs. La documentation ne dit pas s'il faut inclure les étiquettes model-annotate d'un modèle dans ces chiffres d'accord. Pour comparer des prompts ou des modèles, ab.llm.tournament fait juger des paires de sorties par des personnes et classe les combinaisons avec le système de classement Glicko. La page de tarifs de Prodigy propose une licence Personal et une licence Company avec le même installateur, la même application web et les mêmes plugins, et seule la licence Company ajoute le SSO avec OpenID Connect.

Argilla

Argilla attache la sortie des modèles aux enregistrements sous forme de suggestions, chacune avec un score, l'agent qui l'a produite et un type model ou human. Dans la vue d'annotation, les suggestions apparaissent comme des réponses préremplies marquées d'une icône d'étincelle, avec les scores de confiance quand le jeu de données en contient. Argilla 1.x avait un module de métriques qui comparait les réponses aux suggestions et rapportait des métriques comme l'exactitude, le F1 et l'alpha de Krippendorff. Nous n'avons pas trouvé de rapport d'accord ni de métriques de modèle dans la documentation d'Argilla 2.x. Les données synthétiques et le retour d'IA, y compris le jugement par LLM, se trouvent dans la bibliothèque distincte distilabel.

Potato

Potato connecte les LLM et les modèles de vision par ai_support, et depuis la version 2.9, il enregistre ce que le modèle a répondu en premier (pre_annotation_seeds) à côté de ce que l'annotateur a enregistré (final_annotation), si bien que le taux d'acceptation vient de vos propres données. icl_labeling donne à un LLM comme exemples les annotations sur lesquelles vos annotateurs s'accordent déjà, lui fait étiqueter le reste, et renvoie un échantillon de ses étiquettes à des personnes pour une vérification en aveugle, avec une exactitude suivie par schéma.

Pour un modèle ou un juge LLM, la calibration du juge de Potato garde les étiquettes du modèle hors de la vue des annotateurs, tire un échantillon aléatoire ou stratifié à étiqueter en aveugle par des personnes, et rapporte l'exactitude par rapport à l'étiquette de référence humaine, le kappa de Cohen pour les paires humain-modèle, modèle-modèle et humain-humain, l'alpha de Krippendorff, ainsi que la calibration sous forme d'erreur de calibration attendue et de score de Brier. Comparer le kappa du modèle au kappa entre les annotateurs humains indique si le modèle fait à peu près aussi bien qu'un autre annotateur, comme l'explique Accord des juges LLM. Le Solo Mode fait étiqueter un expert aux côtés d'un LLM et confie le reste du corpus à ce dernier dès que leur accord dépasse un seuil. Comme dans les autres outils, ces fonctions rapportent des estimations ponctuelles, et un intervalle sur le taux d'erreur doit être calculé hors de l'outil, comme le décrit la dernière section.

Les six outils face aux trois questions

Le tableau compare les six outils sur les trois questions, d'après la documentation que chaque projet avait publiée en octobre 2026 :

Vérifier les étiquettes machine dans n'importe quel outil

Quel que soit l'outil, le chiffre que vous pouvez défendre vient des trois mêmes étapes. Tirez au hasard les items à faire vérifier par des personnes, et non du côté des faibles confiances, car un échantillon des items les plus difficiles ne dit rien du taux d'erreur sur le reste. Faites étiqueter cet échantillon par des personnes qui ne voient pas la réponse du modèle, puisqu'une suggestion visible tire la réponse vers elle. Puis rapportez le taux d'erreur sur l'échantillon avec un intervalle de confiance, en utilisant un intervalle de confiance pour une proportion binomiale comme celui de Wilson, afin qu'un lecteur puisse voir si 200 étiquettes vérifiées étayent l'affirmation que vous avancez.

L'acheminement par échantillon aléatoire de Labelbox, les images de vérité terrain choisies au hasard de CVAT (Online et Enterprise) et l'échantillon de calibration du juge de Potato, qui peut aussi être stratifié, tirent déjà au hasard. Dans les autres outils, exportez un sous-ensemble aléatoire d'identifiants d'items, attribuez-les comme une tâche distincte avec les prédictions masquées, et calculez l'intervalle hors de l'outil.

Pour aller plus loin

• Comparatif des outils d'annotation, pour la comparaison plus large des fonctionnalités
• Pré-annotation par LLM, sur le biais d'automatisation quand des personnes relisent des suggestions
• Accord des juges LLM, sur la comparaison d'un juge avec l'accord des personnes entre elles