Actualités, tutoriels et mises à jour de l'équipe Potato.
A full walkthrough from a folder of Whisper output to labeled speaker turns: choosing an annotation unit, handling diarization, writing the config, running the task, and exporting with the time alignment intact.
Majority vote throws away most of what your annotators told you. Item response theory gives every label a posterior probability and a confidence interval, estimates annotator ability and item difficulty, and finds broken codebook entries, with no gold labels and no LLM.
Potato 2.7 adds labels with error bars, live norming rooms, counterfactual boundary probes, peer-prediction scoring, local voice rationales, one-command dataset reports, and mobile annotation, none of which need an LLM. Plus multi-agent and multimodal agent evaluation.
Get notified about new tutorials, releases, and community highlights.
Un parcours guidé de l'évaluation humaine des agents computer-use et GUI dans Potato : juger chaque action, vérifier l'ancrage du clic sur la capture d'écran et passer en revue les appels d'outils un par un.
Comment trouver pourquoi un système LLM multi-agents a échoué avec Potato : le graphe d'interaction, l'attribution de l'échec, la revue des passages de relais, les tableaux de bord par agent, la chronologie de contention des outils et l'étiquetage des comportements émergents.
Le temps de relecture humaine est la ressource la plus rare dans l'évaluation des agents. Potato 2.6 associe une file de triage fondée sur des signaux à un alignement juge-humain, pour que les pires traces parviennent d'abord aux humains et que votre juge LLM ne cesse de s'améliorer.
Annotator identity shapes labels, so demographics are worth collecting, but only with consent, care, and a reason. A guide to what to ask, what to leave alone, and how to do it in Potato.
A practical guide to deciding when an LLM can annotate your data, where model annotators fail, and how to combine automation with human verification in Potato.
Un regard honnête sur la façon de choisir un outil d'annotation de données open source, les questions qui restreignent réellement le choix, et la place de Potato parmi Label Studio, Prodigy, Doccano, brat et Argilla.
Potato now supports coding agent annotation with diff rendering, terminal output display, and process reward schemas. Import traces from Claude Code, Aider, and SWE-Agent.
Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.
Compare Potato with LangSmith, Langfuse, Labelbox, and Scale AI for agent evaluation: trace rendering, per-step and multi-agent annotation, multimodal-agent review, coding agents, live observation, pricing, and self-hosting.
Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.
Comment utiliser l'affichage de traces d'agents web de Potato pour évaluer les agents de navigation web autonomes, avec des captures d'écran étape par étape, des superpositions SVG et des schémas d'annotation par étape.
Potato 2.2.0 ajoute 9 nouveaux schémas d'annotation, un système d'export extensible, l'estimation de compétence MACE, 55 instruments d'enquête validés et des sources de données distantes.
Annotez des documents juridiques dans Potato, contrats, dépôts judiciaires et textes réglementaires, avec étiquetage de spans, extraction d'entités et déploiement auto-hébergé respectueux de la confidentialité.
Bonnes pratiques pour annoter des images médicales dans Potato, affichage DICOM, étiquetage de comptes rendus de radiologie, extraction d'événements indésirables et déploiement auto-hébergé conforme à l'IRB.
Construisez des interfaces de comparaison d'images côte à côte pour le classement de préférences, les tests A/B et l'évaluation de la qualité.
Nous sommes ravis d'annoncer Potato 2.0 avec des fonctionnalités alimentées par l'IA, le support multimédia et des capacités d'apprentissage actif.
Créez des interfaces d'annotation personnalisées avec des modèles HTML, du style CSS et de l'interactivité JavaScript.
Construisez une tâche d'annotation pour l'apprentissage des langues permettant d'évaluer la qualité de la prononciation avec lecture audio et échelles de Likert.
Comment calculer et interpréter le Kappa de Cohen, le Kappa de Fleiss et l'Alpha de Krippendorff pour vos projets d'annotation.
Bonnes pratiques pour assurer la qualité des annotations dans les projets d'annotation, incluant des stratégies pratiques que vous pouvez mettre en œuvre avec et au-delà de Potato.
Un aperçu des concepts d'annotation de suivi multi-objets et de la manière dont les capacités d'annotation vidéo de Potato peuvent supporter des flux de travail de suivi basiques.
Créez une tâche de classification des émotions audio avec affichage de la forme d'onde, contrôles de vitesse de lecture et échelles de Likert.