Pourquoi choisir Potato ?

Auto-hébergé, gratuit: LangSmith, Galileo, Encord et Labelbox placent l'auto-hébergement lui-même derrière un contrat entreprise. L'installation sur site est une option que l'on négocie avec le service commercial, pas une édition que l'on télécharge.

Toutes les fonctions, sans offre payante: L'édition gratuite de Label Studio ne fournit aucune métrique d'accord, et l'offre Starter hébergée à 99 $ par mois non plus. L'accord inter-annotateurs, les tests de référence et la pré-annotation LLM sont des fonctions Enterprise, dont le prix est sur devis. CVAT offre les pièges et les tâches de vérité terrain, mais garde ses rapports qualité pour les équipes payantes.

Un seul outil pour les corpus et les traces d'agents: Toutes les plateformes d'évaluation d'agents ici sont limitées aux traces. Aucune ne sait annoter le sentiment d'un corpus, marquer une entité nommée ou faire passer un questionnaire.

Graphe multi-agent annotable: Plusieurs outils dessinent un graphe d'interaction entre agents. Ce sont tous des affichages de débogage en lecture seule. Dans Potato, les agents et les passages de relais sont des objets qu'une personne annote.

Attribution des échecs annotée par des humains: Galileo déduit les échecs de relais avec un LLM, et Labelbox note les étapes de la trajectoire. Ni l'un ni l'autre ne recueille la vérité terrain humaine à laquelle confronter ces déductions.

Accord corrigé du hasard (κ, α): Les autres mesurent l'accord en pourcentage de recouvrement, en IoU ou par vote majoritaire. Prodigy propose bien l'α de Krippendorff et l'AC2 de Gwet, mais n'a aucune offre gratuite. Langfuse calcule le κ de Cohen entre un humain et un juge, pas au sein d'un groupe d'annotateurs.

Export SFT, DPO et récompense de processus: Partiel signifie uniquement du JSONL de type SFT, sans format de paires de préférence ni de récompense de processus.

Accord corrigé du hasard sur la géométrie: L'affirmation la plus forte de ce tableau. Le moteur de consensus de CVAT et l'étape de consensus de V7 comparent les annotateurs avec l'IoU brut face à un seuil par classe, et la liste de métriques de Label Studio Enterprise se limite à la correspondance exacte, l'écart numérique, l'IoU et le chevauchement d'empans. Aucun ne corrige du hasard, ce qui compte : sur un corpus d'objets grands et centrés, l'IoU moyen tourne autour de 0,95 quel que soit l'annotateur.

Accord sur le moment où un événement survient: IoU temporel et accord sur les frontières, la tolérance d'appariement étant rapportée sous forme de balayage plutôt qu'à un seuil unique. L'accord à 0,25 s et à 2 s sont deux affirmations différentes sur les mêmes données.

Télémétrie de tracé (latence d'acceptation, révisions): Temps par forme, dynamique du tracé, nombre de révisions et latence d'acceptation d'une suggestion d'IA. C'est important parce que l'accord augmente quand les annotateurs valident les pré-annotations sans les lire : le temps est alors le seul signal qui distingue la relecture de l'acceptation. Aucune coordonnée n'est enregistrée.

Nuages de points 3D et cuboïdes: CVAT le fait aussi, et les spécialistes de la 3D (Segments.ai, Kognic, Supervisely) vont plus loin, avec des séquences de nuages de points et une propagation de pistes que Potato n'a pas. L'apport de Potato est l'IoU 3D exact avec rotation entre annotateurs.

Fonctionne sans requête sortante: Chaque feuille de style, script, police et icône est servie depuis l'installation, sur les 14 gabarits, vérifié en direct à 62 requêtes et zéro externe. Les modèles se transfèrent une seule fois. « Partiel » signifie auto-hébergeable, mais la page rendue va toujours chercher des ressources tierces.

Main-d'œuvre d'annotation gérée: Nous n'en avons pas. Vous amenez vos annotateurs ou vous recrutez via Prolific. S'il vous faut 50 000 éléments annotés pour le mois prochain et personne pour le faire, Labelbox, Encord et Scale vendent cela, pas nous.

Hébergé, rien à administrer: Potato ne fonctionne qu'en auto-hébergement. C'est précisément l'intérêt pour certaines équipes et un vrai coût pour d'autres.