potato-skill: Schnellstart mit einem Coding-Agenten
Beschreiben Sie Claude Code, welche Daten von Menschen annotiert werden sollen. potato-skill entwirft die Studie, baut sie als Potato-Annotationsaufgabe mit eigener Oberfläche auf und startet sie.
Ein Potato-Projekt lässt sich auf zwei Wegen beginnen. Sie schreiben die Aufgabe selbst, wie im Schnellstart gezeigt, oder Sie beschreiben die Studie einem Coding-Agenten und lassen potato-skill sie entwerfen und aufbauen. Diese Seite behandelt den zweiten Weg. Beide führen zum selben Ergebnis: einer Potato-Annotationsaufgabe, die Sie ausführen, ändern und weitergeben können.
Designentscheidungen, die der Skill trifft
potato-skill ist ein Agent Skill, ein Paket aus Anweisungen und Hilfsskripten, das ein Coding-Agent lädt, wenn eine Anfrage es erfordert. Er übernimmt den Entwurf der Studie ebenso wie den Aufbau, vom Label-Set bis zu den exportierten Daten:
- was Annotatoren gefragt werden und auf welcher Skala
- wie viele Annotatoren jeder Eintrag braucht
- wie Annotatoren geschult werden und ihre Arbeit geprüft wird
- die Oberfläche, die Annotatoren sehen
- die Aufgabe starten und sie so durchgehen, wie es ein Annotator tun würde
- die Ergebnisse im Format exportieren, das der nächste Schritt braucht
Er arbeitet auch mit Studien, die bereits laufen. Er meldet Fortschritt und Übereinstimmung und sagt, welche Änderungen noch sicher sind, nachdem die Annotatoren begonnen haben.
Die Aufgabe, die er baut, läuft auf Potato und bringt deshalb mit, was Potato bereits kann: ein Login pro Annotator, mehrere Annotatoren pro Eintrag, Übereinstimmungsstatistiken, Anbindung an Prolific und MTurk und Export in die Formate, die nachgelagerte Werkzeuge lesen.
Voraussetzungen
Potato muss dort installiert sein, wo der Agent Befehle ausführt, denn die Hilfsskripte des Skills importieren Potato und rufen den Befehl potato auf:
pip install potato-annotationAußerdem brauchen Sie einen Coding-Agenten. Der Skill wurde für Claude Code geschrieben; der nächste Abschnitt behandelt andere Agenten.
Den Skill installieren
In Claude Code:
/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato
Für Codex, Cursor und andere Agenten installiert die skills-CLI ihn in Ihr Projekt:
npx skills add davidjurgens/potato-skill --agent codex cursorMit --agent codex cursor kopiert sie den Skill nach .agents/skills/potato-skill/. Codex und Cursor können außerdem die Datei AGENTS.md im Wurzelverzeichnis des potato-skill-Repositorys lesen.
Die Studie beschreiben
Sagen Sie, was annotiert werden soll, wer annotiert und wofür die Labels gedacht sind. Sie müssen die Annotationstypen von Potato oder sein Konfigurationsformat nicht kennen. Eine Anfrage kann so kurz sein:
Ich möchte 200 Tweets von jeweils drei Annotatoren auf einer 5-Punkte-Skala nach Stimmung annotieren lassen, mit einer Einwilligungsseite und zwei Aufmerksamkeitschecks. Bau das auf und starte es.
Der Skill legt die Formulierung der Fragen, die Skala, die Zuteilung der Einträge und die Prüfung der Annotatoren fest. Danach baut der Agent die Aufgabe, startet sie und geht sie so durch, wie es ein Annotator tun würde, bevor er sie übergibt. Öffnen Sie sie im Browser und annotieren Sie selbst einige Einträge, bevor Sie andere einladen.
Die entstehende Aufgabe
Eine Potato-Aufgabe: ein Projektordner mit der Konfiguration, den Daten und den Anleitungen der Aufgabe. Alles aus dem Schnellstart gilt auch für sie. Sie starten sie mit potato start config.yaml, bearbeiten sie von Hand, fügen Annotatoren hinzu und exportieren die Labels.
Weil das Ergebnis ein Potato-Aufgabenordner ist, können auch andere ihn nutzen. Kolleginnen und Kollegen können dieselbe Studie mit neuen Daten durchführen, Sie können sie nächstes Jahr erneut ausführen und sie zusammen mit der Veröffentlichung bereitstellen, die sie verwendet hat. Der Showcase ist eine Sammlung solcher Aufgaben aus veröffentlichten Arbeiten.
Vorhandene Designs und Annotationen
- Ein veröffentlichtes Design. Der Skill kann von einem der 440 Annotationsdesigns aus veröffentlichten Arbeiten ausgehen und übernimmt deren Label-Sets, Frageformulierungen und Anleitungen. Sie finden sie im Showcase.
- Annotationen aus einem anderen Werkzeug. Er importiert vorhandene Annotationen aus Label Studio, CVAT oder COCO, sodass ein halb fertiges Projekt in Potato weiterlaufen kann.
- Eine laufende Studie. Er meldet den Fortschritt pro Annotator und die Übereinstimmung pro Frage und sagt, welche Korrekturen während der Studie sicher sind und welche die bereits erhobenen Daten verfälschen würden.
Tests gegen die Registries von Potato
Die CI des Skills prüft, dass jeder Annotationstyp, jeder Konfigurationsschlüssel und jede Beispielkonfiguration, die seine Anweisungen nennen, in Potato existiert. Beispiel-YAML läuft durch den Validator von Potato, und das durchgespielte Beispiel startet einen echten Potato-Server. Drei seiner Referenzen werden aus den Registries von Potato selbst erzeugt, sodass die Typen und Schlüssel, die der Agent liest, genau die sind, die der Server durchsetzt.
Das Referenzmaterial ist unter davidjurgens.github.io/potato-skill veröffentlicht und ohne Installation lesbar. Anthropic empfiehlt, jeden Skill vor der Installation zu prüfen.
Die beiden Wege im Vergleich
| Aufgabe selbst schreiben | Einem Coding-Agenten beschreiben | |
|---|---|---|
| Ausgangspunkt | eine YAML-Konfiguration | eine Beschreibung in Alltagssprache |
| Geeignet für | Potato kennenlernen, kleine Aufgaben | neue Studien, Crowdsourcing-Studien mit Schulung und Prüfungen, Annotationstypen, die Sie noch nicht verwendet haben |
| Ergebnis | eine Potato-Aufgabe | eine Potato-Aufgabe |
Sie können jederzeit den Weg wechseln. Ein Agent kann eine Aufgabe ändern, die Sie geschrieben haben, und Sie können eine bearbeiten, die der Agent gebaut hat.