Comparaison avec d'autres outils

Les deux sont open source et couvrent l'annotation de texte, d'image, d'audio et de vidéo. Potato est gratuit pour toujours sans palier Enterprise ; l'adjudication, l'accord inter-annotateurs, l'évaluation avec ground truth et les flux LLM par prompts de Label Studio sont enfermés dans l'Enterprise (tarif sur mesure). Potato possède aussi des fonctionnalités de niveau recherche que Label Studio n'a pas : flux multi-phases (consentement → entraînement → annotation → enquête), estimation de compétence des annotateurs MACE, suivi comportemental (frappe, souris, timing), 55 instruments d'enquête validés, intégration native MTurk/Prolific et une infrastructure complète d'évaluation d'agents avec 13 formats de traces. La configuration utilise YAML plutôt que des modèles XML.

Oui. Potato couvre les capacités principales de Prodigy — classification de texte, spans NER, relations, segmentation audio/vidéo, boîtes englobantes d'image, apprentissage actif, IAA, adjudication — et ajoute des flux de recherche multi-phases, MACE, suivi comportemental, prise en charge plus large des fournisseurs LLM, Solo Mode et évaluation d'agents. La configuration est en YAML (pas de recettes Python requises). Potato est gratuit et open source ; Prodigy coûte environ 490 $ par siège (licences académiques gratuites disponibles). Le schéma triage de Potato couvre le flux d'acceptation/refus de Prodigy.

INCEpTION reste la plateforme la plus solide pour l'annotation linguistique complexe avec liaison à des bases de connaissances (Wikidata, DBPedia, OWL, SKOS) et des flux de coréférence riches. Potato égale les capacités centrales de span/relation/événement/coréférence d'INCEpTION et ajoute l'annotation image/audio/vidéo, l'évaluation complète d'agents, la configuration YAML (sans Java/XML), les flux multi-phases, les enquêtes, le suivi comportemental, une intégration LLM/IA plus large et un déploiement Python/Flask plus léger. Choisissez INCEpTION pour les projets approfondis de liaison KB ; choisissez Potato pour tout le reste.

Pour les besoins typiques d'annotation en vision par ordinateur, oui — Potato prend en charge les boîtes englobantes, polygones, masques de segmentation, points clés et l'annotation vidéo temporelle avec suivi d'objets, et exporte vers COCO (avec masques RLE), YOLO et Pascal VOC. CVAT va plus loin dans les flux purement CV avec cuboïdes 3D, nuages de points, intégration SAM et étiquetage assisté par ML via Nuclio. CVAT ne prend pas en charge le NLP ; Potato vous permet de combiner image, texte et autres annotations dans une seule tâche.

doccano est plus simple à mettre en place pour la classification de texte et le NER de base, mais Potato offre nettement plus : 30+ types d'annotation au-delà du texte (image, audio, vidéo, traces d'agents), intégration AI/LLM avec 12 types d'endpoints, apprentissage actif avec 5 stratégies de requête, contrôle qualité (vérifications d'attention, gold standards, MACE), flux de recherche multi-phases, instruments d'enquête validés, intégration native de crowdsourcing (MTurk, Prolific) et infrastructure d'évaluation d'agents.

Trois raisons. **Coût** : les plateformes commerciales facturent 1 000 à 10 000 $+ par mois ; Potato est gratuit pour toujours. **Confidentialité des données** : Potato est auto-hébergé, les données sensibles (dossiers médicaux, contenu propriétaire, traces internes) ne quittent jamais votre infrastructure. **Flux de recherche** : les plateformes commerciales ciblent l'étiquetage de données de production ; Potato prend nativement en charge les schémas académiques (études multi-phases, flux de consentement compatibles IRB, suivi comportemental pour la recherche en facteurs humains, enquêtes post-étude validées, estimation de compétence MACE et paiements crowdsourcing). Potato a été présenté à EMNLP 2022 et HCOMP 2024 (Meilleure Démo).

Plusieurs capacités sont uniques ou quasi-uniques. **Infrastructure d'évaluation d'agents** : observation de navigation web en direct avec reprise, rendu de traces d'agents de codage (Claude Code, Cursor, Aider, SWE-Agent), annotation d'erreurs par étape avec trajectory_eval. **Solo Mode** avec escalade de confiance en cascade pour la qualité avec un seul annotateur. **Estimation de compétence d'annotateurs MACE** pour pondérer les étiquettes sujettes au désaccord. **Justifications IA** expliquant chaque étiquette suggérée. **55 instruments d'enquête validés** (SUS, NASA-TLX, UMUX, AttrakDiff) pour l'évaluation post-étude. **Annotation d'événements n-aires**, annotation d'arbres de dépendances via span-linking. **8 types de sources de données** dont Google Drive, Dropbox, S3, HuggingFace, Google Sheets et bases de données. **Flux multi-phases** avec ramifications.

Oui. Des capacités qui sont des paliers payants ailleurs sont gratuites dans Potato : accord inter-annotateurs (kappa de Cohen, Fleiss, alpha de Krippendorff), interface d'adjudication, gold standards, vérifications d'attention, évaluation ground truth, SSO/OAuth (Google, GitHub, OIDC générique), intégration webhook signée en HMAC-SHA256, export HuggingFace Hub avec DatasetCards générés automatiquement, intégration LLM multi-fournisseurs et journalisation d'audit complète. Le compromis : auto-hébergement. Il n'y a pas de palier cloud géré.