Actualités, tutoriels et mises à jour de l'équipe Potato.
Un modèle de décision note chaque option en un passage avant, sans écrire de texte. Il sert de premier niveau avant un LLM sur les questions à peu d'options.
Six outils d'annotation comparés : comment les étiquettes de modèles et de LLM entrent dans un projet, comment on les relit et ce que chacun mesure de leur erreur.
Label Studio, CVAT, doccano, Argilla, INCEpTION et Potato comparés en auto-hébergement : services, base de données, connexion, sauvegardes et hébergeurs.
Soyez prévenu des nouveaux tutoriels, des nouvelles versions et des temps forts de la communauté.
Many robot episodes end in partial success, and binary labels discard it. Annotation needs a timeline, min/max downsampling, and relabeling.
Click-to-segment and text prompting run in the browser with no GPU, using a verified encoder contract, a measured quantization, and a hand-written tokenizer.
Un juge LLM n'est fiable que dans la mesure où le sont les étiquettes humaines qui ont servi à le valider. Mettez la chaîne de raisonnement d'une personne à côté de celle d'un modèle sur le même élément, et contrôlez votre juge face à des étiquettes qui portent leurs propres intervalles de confiance.
Potato 2.7.1 lit directement 21 formats de transcription et de sous-titres, les charge depuis des fichiers annexes posés à côté de vos médias, et livre un convertisseur qui transforme un dossier de sorties de reconnaissance vocale en fichier de données prêt à annoter.
Quand l'identité de l'annotateur compte, un questionnaire validé vaut mieux qu'une question improvisée. Tour d'horizon des 55 instruments intégrés à Potato et du moment où chacun a sa place dans votre étude.
Record the curation rationale, annotator pool, guidelines, and intended use when you release an annotation dataset, and see how much of it Potato captures.
Potato 2.6 est disponible : Mode QDA pour le codage qualitatif, un flux de calibration et d'alignement LLM-as-judge, l'édition de trajectoires qui produit des données d'entraînement SFT et DPO, un démarrage 3 fois plus rapide et un changement de licence vers GPL-3.0-or-later.
La série 2.6.x fait de Potato une plateforme d'évaluation d'agents complète et gratuite : ingestion de traces depuis OpenTelemetry, LangGraph, CrewAI et AutoGen, annotation d'équipes multi-agents avec un graphe d'interaction cliquable, schémas d'agents multimodaux pour le GUI, la voix et la vidéo, ainsi qu'une arène de modèles, un contrôle en CI et de la curation.
La plupart des évaluations d'agents s'arrêtent à un score. Le schéma trajectory_edit de Potato 2.6 permet aux annotateurs de réécrire une étape erronée plutôt que de la noter, et exporte chaque correction sous forme de cibles de fine-tuning supervisé et de paires de préférence pour le DPO.
Annoter la trace multi-étapes d'un agent est plus difficile qu'étiqueter un tweet. Guide pour concevoir la taxonomie, mesurer l'accord au niveau de l'étape et arbitrer les désaccords, avec une configuration Potato.
Comment rédiger un codebook d'annotation qu'un LLM peut vraiment suivre, valider ses étiquettes contre des codeurs humains et garder une personne dans la boucle, avec une configuration Potato commentée.
Repérez les hallucinations et les erreurs factuelles des modèles en surlignant les mots exacts et en étiquetant ce qui ne va pas, à la manière de MQM, avec l'annotation de segments dans Potato.
Tutoriel de mise en place de l'observation d'agents de coding en direct avec Ollama, l'API Anthropic ou le Claude Agent SDK. Couvre la pause, le retour arrière, le branchement et l'exportation des trajectoires.
Mettez en place la comparaison d'agents par paires dans Potato avec trois modes : préférence binaire, échelle continue et jugement multicritère par dimension avec justification obligatoire.
Potato 2.4.0 apporte la revue de traces d'agents web, l'évaluation d'agents en direct, une barre latérale de chat LLM, l'export vers HuggingFace Hub, les webhooks, le SSO/OAuth et cinq stratégies d'apprentissage actif.
Potato 2.3.0 ajoute le Solo Mode pour l'étiquetage conjoint humain-LLM, l'annotation de traces d'agents, le Best-Worst Scaling, la connexion SSO et OAuth, l'export Parquet et 15 projets de démonstration.
Potato 2.1.0 apporte le système d'affichage d'instances, le support de l'IA visuelle pour l'annotation d'images et de vidéos, la liaison de spans, les spans multi-champs et la personnalisation de la mise en page.
Configurez la détection d'objets, la pré-annotation et la classification assistées par IA pour les tâches d'images et de vidéos avec YOLO, Ollama, OpenAI et Claude.
Comment configurer les outils de dessin de polygones pour la segmentation d'images, avec des conseils pour les formes complexes et les régions superposées.
Comment Potato réordonne la file d'annotation selon l'incertitude du classifieur, avec la configuration de l'échantillonnage, du démarrage à froid et de la part d'éléments aléatoires à conserver.
Configurez le surlignage de mots-clés dans Potato avec un fichier de mots-clés fixe ou un assistant LLM de mots-clés, avec couleurs par label, distracteurs aléatoires et mise en cache des réponses.
Amazon Mechanical Turk a fermé le 30 septembre 2026. Comment une étude Potato qui tournait sur MTurk passe sur Prolific, SONA ou CloudResearch Connect, et ce qui reste en place.
Construisez une tâche d'identification de locuteurs avec des formes d'onde audio, des marqueurs temporels et l'attribution d'étiquettes de locuteurs.
Configurez des tâches d'annotation vidéo avec une navigation précise par image, des marqueurs temporels et l'étiquetage d'événements temporels.
Configurez la classification d'images dans Potato en affichant les images avec instance_display et en recueillant les étiquettes avec des schémas radio et multiselect, contrôles qualité compris.
Apprenez à utiliser OpenAI, Claude ou Gemini pour fournir des indices et suggestions intelligents à vos annotateurs.
Guide pas à pas pour construire une tâche de reconnaissance d'entités nommées dans Potato, avec configuration des spans, couleurs d'étiquettes, spans qui se chevauchent, raccourcis clavier et export CoNLL.
Un approfondissement des formats de données JSON et JSONL, avec des exemples pour l'annotation de texte, d'images, d'audio et multimodale.