potato-skill: Schnellstart mit einem Coding-Agenten
Beschreiben Sie Claude Code, Codex oder Cursor, was annotiert werden soll: potato-skill entwirft die Studie, baut sie in Potato und prüft das Rendering.
Ein Potato-Projekt lässt sich auf zwei Wegen beginnen. Sie schreiben die Aufgabe selbst, wie im Schnellstart gezeigt, oder Sie beschreiben die Studie einem Coding-Agenten und lassen potato-skill sie entwerfen und aufbauen. Diese Seite behandelt den zweiten Weg. Beide führen zum selben Ergebnis, einer Potato-Annotationsaufgabe, die Sie ausführen, ändern und weitergeben können.
Was der Skill entscheidet
potato-skill ist ein Agent Skill, ein Paket aus Anweisungen und Hilfsskripten, das ein Coding-Agent lädt, wenn eine Anfrage es erfordert. Er bringt 28 Referenzdateien und neun Hilfsskripte mit und deckt den Entwurf der Studie ebenso ab wie den Aufbau:
- was Annotatoren gefragt werden und auf welcher Skala
- wie viele Annotatoren jedes Item braucht
- wie Annotatoren geschult und ihre Arbeit geprüft wird
- die Oberfläche, die Annotatoren sehen
- der Export der Ergebnisse in dem Format, das der nächste Schritt braucht
Einiges davon entscheidet er selbst, anderes gibt er zurück. Die Regel dahinter: Eine Entscheidung fällt vor Ort, wenn ein Fehler billig zu beheben ist, und geht zurück, wenn ein Fehler teuer, nicht umkehrbar oder nicht Sache des Agenten ist. Er nimmt eine 5-Punkte-Skala mit jedem Punkt beschriftet, Tastenkürzel bei jeder Frage mit neun Labeln oder weniger, eine zufällige Item-Reihenfolge mit festem random_seed und lauter Pflichtfragen. Er fragt Sie nach der Annotationseinheit, nach der Zahl der Annotatoren pro Item, wenn Übereinstimmung berichtet werden soll, nach dem Wortlaut der Einwilligung und nach jedem Labelsatz ohne eine Option für "unklar".
Die Aufgabe, die er baut, läuft auf Potato und bringt deshalb mit, was Potato bereits kann: ein Login pro Annotator, mehrere Annotatoren pro Item, Übereinstimmungsstatistiken, Anbindung an Prolific und MTurk und Export in die Formate, die nachgelagerte Werkzeuge lesen.
Voraussetzungen
Potato muss dort installiert sein, wo der Agent Befehle ausführt, denn die Hilfsskripte des Skills importieren Potatos Registries und steuern den potato-Befehl:
pip install potato-annotationAußerdem brauchen Sie einen Coding-Agenten. Der Skill wurde für Claude Code geschrieben und installiert sich ebenso in Codex und Cursor.
Den Skill installieren
In Claude Code installieren Sie ihn aus dem Plugin-Marketplace:
/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potatoFür Codex und Cursor installiert ihn das skills-CLI in das Projekt, an dem Sie gerade arbeiten:
npx skills add davidjurgens/potato-skill --agent codex cursorWas eine Installation für Codex oder Cursor enthält
Das skills-CLI legt .agents/skills/potato-skill/ mit SKILL.md, allen 28 Referenzen und allen neun Skripten an, sodass ein Codex- oder Cursor-Projekt dasselbe Material bekommt wie eine Installation in Claude Code. AGENTS.md und .cursor/rules bleiben unangetastet, und wie das jeweilige Werkzeug einen Skill in diesem Verzeichnis findet, bleibt dem Werkzeug überlassen.
Im Wurzelverzeichnis des Repositorys liegt außerdem eine AGENTS.md, die Codex und Cursor allein am Dateinamen erkennen, ganz ohne Installationsschritt. Diese Datei fasst kurz zusammen, was über die Referenzen hinweg rund 79.000 Wörter umfasst, und sie verweist auf Referenzdateien und Skripte, die erst eine vollständige Installation auf die Platte legt. Nehmen Sie sie, wenn ein Agent die Prüfschleife vor der Übergabe und die Regeln bekommen soll, die wirklich greifen, und nehmen Sie das skills-CLI, wenn Sie das Referenzmaterial dahinter wollen.
Die Studie beschreiben
Sagen Sie, was annotiert werden soll, wer annotiert und wofür die Label gedacht sind. Sie müssen weder Potatos Annotationstypen noch sein Konfigurationsformat kennen. Eine Anfrage kann so kurz sein:
Ich möchte 200 Tweets von jeweils drei Annotatoren auf einer 5-Punkte-Skala nach Stimmung labeln lassen, mit einer Einwilligungsseite und zwei Aufmerksamkeitstests. Bau das auf und starte es.
Der Skill legt die Formulierung der Fragen fest, die Skala, die Zuweisung der Items und die Prüfung der Annotatoren. Bei den Fragen, die er bestätigt haben möchte, blockiert er nicht. Er nennt seine Annahmen, baut die Aufgabe, prüft sie und stellt die Fragen zusammen mit etwas, das Sie bereits durchklicken können.
Prüfungen, die der Agent vor der Übergabe ausführt
Eine Konfiguration, die validiert, sagt Ihnen, dass der Server startet, und sagt nichts darüber, ob ein Mensch die Arbeit erledigen kann. Der Skill weist den Agenten an, die Aufgabe zu rendern und sie anzusehen:
potato validate config.yaml --strict
potato preview config.yaml --screenshot shot-01.png--strict macht aus einem unbekannten Konfigurationsschlüssel statt einer Warnung einen Fehler und fängt so einen Tippfehler ab, der sonst ein Feature unbemerkt ausgeschaltet ließe. --screenshot startet einen echten Potato-Server und steuert ihn in einem headless laufenden Playwright, wobei Konsolenfehler, nicht abgefangene Page Exceptions und HTTP-Antworten ab 400 aufgezeichnet werden. Der Befehl endet nur dann mit 0, wenn alle drei Listen leer sind.
Drei der neun Hilfsskripte automatisieren die Teile, die sich messen statt beurteilen lassen. check_ui.py vermisst das Live-Layout und meldet Schemata oder einen Next-Button unterhalb des sichtbaren Bereichs, leere Medien-Widgets und doppelte Tastenkürzel. boot_and_check.py meldet jedes Feature, das konfiguriert ist, aber nichts geladen hat. walk_task.py durchläuft eine laufende Aufgabe so, wie ein Annotator es täte, und meldet, wo sie stehen bleibt.
Öffnen Sie die Aufgabe im Browser und labeln Sie selbst ein paar Items, bevor Sie andere einladen.
Die entstehende Aufgabe
Eine Potato-Aufgabe ist ein Projektordner mit der Konfiguration, den Daten und den Anleitungen der Aufgabe. Alles aus dem Schnellstart gilt auch für sie. Sie starten sie mit potato start config.yaml, bearbeiten sie von Hand, fügen Annotatoren hinzu und exportieren die Label.
Weil das Ergebnis ein Potato-Aufgabenordner ist, können auch andere ihn nutzen. Kolleginnen und Kollegen können dieselbe Studie mit neuen Daten durchführen, Sie können sie nächstes Jahr erneut ausführen und sie zusammen mit der Veröffentlichung bereitstellen, die sie verwendet hat. Der Showcase ist eine Sammlung solcher Aufgaben aus veröffentlichten Arbeiten.
Vorhandene Designs und Annotationen
- Ein veröffentlichtes Design. Der Skill kann von einem der 440 Annotationsdesigns aus veröffentlichten Arbeiten ausgehen, samt deren Labelsätzen, Frageformulierungen und Anleitungen. Sie finden sie im Showcase, und
find_design.pydurchsucht sie nach einem Design, das dem von Ihnen beschriebenen nahekommt. - Annotationen aus einem anderen Werkzeug.
potato importliest 20 Formate, darunter Labelbox, CVAT und COCO, sodass ein halb fertiges Projekt in Potato weiterlaufen kann. - Eine bereits laufende Studie.
study_status.pymeldet den Fortschritt pro Annotator und die Übereinstimmung zu jeder Frage, und der Skill sagt, welche Korrekturen während der Studie sicher sind und welche die bereits erhobenen Daten beschädigen würden.
Potatos MCP-Server
Ein Agent kann dieselben Antworten über MCP statt über die Shell bekommen. potato mcp serve --root . stellt 12 Authoring-Tools bereit, die dieselben Registries lesen wie das CLI, darunter render_task_screenshot, das die gerenderte Seite als Bild zurückgibt. potato mcp connect schlägt eine Brücke zu einer laufenden Studie und ergänzt 12 Live-Tools für Status, Fortschritt, Annotatoren, Übereinstimmung, Zuweisung und Export. Die Brücke braucht einen mcp-Block in der Konfiguration, der die freizugebenden Tools auflistet, und ein Token aus potato mcp issue-token.
Tests gegen Potatos Registries
Ein plausibler falscher Bezeichner ist schlimmer als gar keine Dokumentation, weil ein Agent ihn benutzen wird. Drei der 28 Referenzen werden aus Potatos eigenen Registries erzeugt und können nicht von dem abweichen, was der Server durchsetzt: alle 61 Annotationstypen, jeder mit einem ausgearbeiteten Beispiel aus einem echten Projekt, die dokumentierten Konfigurationsschlüssel auf oberster Ebene und die dokumentierten Unterschlüssel.
Die CI deckt die Kerndateien des Skills ab und prüft, dass jeder Annotationstyp, Anzeigetyp, Konfigurationsschlüssel, Operator, Strategiename und Befehl, der darin genannt wird, in Potato existiert. Jedes YAML-Beispiel wird in eine funktionierende Konfiguration eingesetzt und durch Potatos echten Validator geschickt, und das ausgearbeitete Beispiel startet einen echten Server.
Das Referenzmaterial ist unter davidjurgens.github.io/potato-skill veröffentlicht und ohne Installation lesbar. Anthropic empfiehlt, jeden Skill vor der Installation zu prüfen.
Die beiden Wege im Vergleich
Die beiden Wege unterscheiden sich im Ausgangspunkt, nicht im Ergebnis:
| Aufgabe selbst schreiben | Einem Coding-Agenten beschreiben | |
|---|---|---|
| Ausgangspunkt | eine YAML-Konfiguration | eine Beschreibung in normaler Sprache |
| Geeignet für | Potato kennenlernen, kleine Aufgaben | neue Studien, Crowdsourcing-Studien mit Schulung und Prüfungen, Annotationstypen, die Sie noch nicht verwendet haben |
| Ergebnis | eine Potato-Aufgabe | eine Potato-Aufgabe |
Sie können jederzeit den Weg wechseln. Ein Agent kann eine Aufgabe ändern, die Sie geschrieben haben, und Sie können eine bearbeiten, die der Agent gebaut hat.
Fragen
Die folgenden Fragen behandeln, wie Sie potato-skill mit einem Coding-Agenten einrichten und wo Sie den Quellcode finden.
Wie nutze ich Potato mit einem Coding-Agenten?
Installieren Sie Potato und potato-skill dort, wo der Agent Befehle ausführt, und beschreiben Sie dem Agenten dann die Studie in normaler Sprache. pip install potato-annotation installiert Potato. In Claude Code installiert /plugin marketplace add davidjurgens/potato-skill gefolgt von /plugin install potato-skill@potato den Skill, in Codex oder Cursor übernimmt das npx skills add davidjurgens/potato-skill --agent codex cursor. Sagen Sie dem Agenten, was annotiert werden soll, wer annotiert und wofür die Label gedacht sind. potato-skill baut die Aufgabe, rendert sie, um zu prüfen, dass sie funktioniert, und gibt Ihnen eine Liste der Entscheidungen zurück, die er für Sie getroffen hat.
Wo finde ich potato-skill auf GitHub?
potato-skill liegt unter github.com/davidjurgens/potato-skill und ist unter der GPL-3.0-or-later veröffentlicht. Das Referenzmaterial ist unter davidjurgens.github.io/potato-skill veröffentlicht, sodass Sie lesen können, was der Skill dem Agenten vorgibt, bevor Sie ihn installieren.