potato-skill: Démarrage rapide avec un agent de programmation
Décrivez à Claude Code les données que des personnes doivent annoter. potato-skill conçoit l'étude, la construit comme une tâche d'annotation Potato dotée de sa propre interface, puis la lance.
Il existe deux façons de démarrer un projet Potato. Vous pouvez écrire la tâche vous-même, comme le montre le Démarrage rapide, ou décrire l'étude à un agent de programmation et laisser potato-skill la concevoir et la construire. Cette page traite de la seconde. Les deux aboutissent au même résultat : une tâche d'annotation Potato que vous pouvez exécuter, modifier et partager.
Décisions de conception prises par le skill
potato-skill est un skill d'agent, un ensemble d'instructions et de scripts d'assistance qu'un agent de programmation charge lorsqu'une demande en a besoin. Il prend en charge la conception de l'étude autant que sa construction, du jeu d'étiquettes jusqu'aux données exportées :
- quoi demander aux annotateurs, et sur quelle échelle
- combien d'annotateurs il faut pour chaque élément
- comment former les annotateurs et vérifier leur travail
- l'interface que voient les annotateurs
- lancer la tâche et la parcourir comme le ferait un annotateur
- exporter les résultats dans le format dont l'étape suivante a besoin
Il travaille aussi sur des études déjà en cours. Il indique l'avancement et l'accord, et précise quelles modifications restent sûres une fois que les annotateurs ont commencé.
La tâche qu'il construit fonctionne sur Potato et bénéficie donc de ce que Potato fait déjà : une connexion par annotateur, plusieurs annotateurs par élément, des statistiques d'accord, l'intégration avec Prolific et MTurk et l'export vers les formats que lisent les outils en aval.
Prérequis
Potato doit être installé là où l'agent exécute des commandes, car les scripts d'assistance du skill importent Potato et appellent la commande potato :
pip install potato-annotationIl vous faut aussi un agent de programmation. Le skill a été écrit pour Claude Code ; la section suivante traite des autres agents.
Installer le skill
Dans Claude Code :
/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato
Pour Codex, Cursor et d'autres agents, la CLI skills l'installe dans votre projet :
npx skills add davidjurgens/potato-skill --agent codex cursorAvec --agent codex cursor, elle copie le skill dans .agents/skills/potato-skill/. Codex et Cursor peuvent aussi lire le fichier AGENTS.md situé à la racine du dépôt potato-skill.
Décrire l'étude
Indiquez ce qu'il faut annoter, qui annotera et à quoi serviront les étiquettes. Vous n'avez pas besoin de connaître les types d'annotation de Potato ni son format de configuration. Une demande peut être aussi courte que celle-ci :
Je veux que 200 tweets soient annotés selon le sentiment sur une échelle de 5 points, par trois annotateurs chacun, avec une page de consentement et deux questions de contrôle de l'attention. Construis la tâche et lance-la.
Le skill détermine la formulation des questions, l'échelle, la répartition des éléments et la vérification des annotateurs. L'agent construit ensuite la tâche, la lance et la parcourt comme le ferait un annotateur avant de vous la remettre. Ouvrez-la dans votre navigateur et annotez vous-même quelques éléments avant d'inviter qui que ce soit.
La tâche obtenue
Une tâche Potato : un dossier de projet qui contient la configuration, les données et les instructions de la tâche. Tout ce que décrit le Démarrage rapide s'y applique. Vous la lancez avec potato start config.yaml, la modifiez à la main, ajoutez des annotateurs et exportez les étiquettes.
Comme le résultat est un dossier de tâche Potato, d'autres personnes peuvent aussi l'utiliser. Un collègue peut mener la même étude sur de nouvelles données, vous pouvez la relancer l'an prochain et la publier avec l'article qui l'a utilisée. La vitrine est une collection de tâches partagées ainsi, tirées d'articles publiés.
Designs et annotations existants
- Un design publié. Le skill peut partir de l'un des 440 designs d'annotation tirés d'articles publiés, avec leurs jeux d'étiquettes, la formulation de leurs questions et leurs instructions. Vous pouvez les parcourir dans la vitrine.
- Les annotations d'un autre outil. Il importe les annotations existantes de Label Studio, CVAT ou COCO, pour qu'un projet à moitié terminé puisse se poursuivre dans Potato.
- Une étude en cours. Il indique l'avancement de chaque annotateur et l'accord sur chaque question, et précise quelles corrections sont sûres en cours d'étude et lesquelles corrompraient les données déjà collectées.
Tests par rapport aux registres de Potato
La CI du skill vérifie que chaque type d'annotation, clé de configuration et exemple de configuration nommé dans ses instructions existe dans Potato. Le YAML d'exemple passe par le validateur de Potato, et l'exemple complet démarre un vrai serveur Potato. Trois de ses références sont générées à partir des registres de Potato lui-même, si bien que les types et les clés que lit l'agent sont ceux qu'applique le serveur.
Sa documentation de référence est publiée sur davidjurgens.github.io/potato-skill et se lit sans rien installer. Anthropic recommande d'examiner tout skill avant de l'installer.
Comparaison des deux approches
| Écrire la tâche vous-même | La décrire à un agent de programmation | |
|---|---|---|
| Point de départ | une configuration YAML | une description en langage courant |
| Adaptée à | découvrir Potato, petites tâches | nouvelles études, études de crowdsourcing avec formation et contrôles, types d'annotation que vous n'avez pas encore utilisés |
| Résultat | une tâche Potato | une tâche Potato |
Vous pouvez changer d'approche à tout moment. Un agent peut modifier une tâche que vous avez écrite, et vous pouvez modifier une tâche que l'agent a construite.