Warum Potato wählen?
Potato ist kostenlos und läuft auf Ihrer eigenen Hardware. So schlägt es sich gegen elf andere führende Werkzeuge.
Wie Potato abschneidet
Elf Werkzeuge, geprüft anhand ihrer eigenen Dokumentation. Die meisten können einen Teil davon. Die Frage ist, was man dafür zahlt und was für kein Geld zu haben ist.
| Annotationswerkzeuge | Vision und Enterprise | Agentenauswertung | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Funktion | PotatoGPL-3.0 | Label StudioApache-2.0 | ProdigyProprietary | ArgillaApache-2.0 | CVATMIT | EncordProprietary | LabelboxProprietary | LangSmithProprietary | LangfuseMIT | Comet OpikApache-2.0 | GalileoProprietary |
| Was es kostet | Free | $99/user/mo for agreement metrics | $390, or $490/seat (5 min.) | Free | Free; $33/user/mo for QC | Not published | Usage-based credits | $39/seat/mo | Free self-hosted | Free self-hosted | $100/mo |
| Selbst gehostet, kostenlos* | Enthalten, kostenlos | Enthalten, kostenlos | Nur im Bezahltarif | Enthalten, kostenlos | Enthalten, kostenlos | Nur im Bezahltarif | Nicht vorhanden | Nur im Bezahltarif | Enthalten, kostenlos | Enthalten, kostenlos | Nur im Bezahltarif |
| Alle Funktionen, kein Bezahltarif* | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Enthalten, kostenlos | Enthalten, kostenlos | Nicht vorhanden |
| Ein Werkzeug für Korpora und Agenten-Traces* | Enthalten, kostenlos | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Annotation von Agenten-Traces | Enthalten, kostenlos | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nur im Bezahltarif | Enthalten, kostenlos | Enthalten, kostenlos | Enthalten, kostenlos | Enthalten, kostenlos |
| Multiagenten-Graph, den man annotieren kann* | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Teilweise, siehe Hinweise | Teilweise, siehe Hinweise | Teilweise, siehe Hinweise | Teilweise, siehe Hinweise |
| Von Menschen annotierte Fehlerzuordnung* | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Teilweise, siehe Hinweise | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Teilweise, siehe Hinweise |
| LLM-Judge an menschlichen Labels gemessen | Enthalten, kostenlos | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Enthalten, kostenlos | Enthalten, kostenlos | Nicht vorhanden | Enthalten, kostenlos |
| Kalibrierungsfehler und Bias-Prüfung des Judge | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Zufallskorrigierte Übereinstimmung (κ, α)* | Enthalten, kostenlos | Nicht vorhanden | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Teilweise, siehe Hinweise | Nicht vorhanden | Nicht vorhanden |
| Modellierung der Annotatorfähigkeit (IRT) | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Konfidenzintervall für jedes Label | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Goldstandards und Aufmerksamkeitstests | Enthalten, kostenlos | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Enthalten, kostenlos | Nur im Bezahltarif | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Live-Abstimmungsrunden mit Übereinstimmungsanzeige | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Peer-Prediction-Bewertung, ohne Goldlabels | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Export für SFT, DPO und Process Reward* | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Teilweise, siehe Hinweise | Nicht vorhanden | Nur im Bezahltarif | Nur im Bezahltarif | Teilweise, siehe Hinweise | Teilweise, siehe Hinweise | Nicht vorhanden | Nicht vorhanden |
| Begutachtete Veröffentlichung zum Werkzeug | Enthalten, kostenlos | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Betreute Annotator-Belegschaft* | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nur im Bezahltarif | Nur im Bezahltarif | Nur im Bezahltarif | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden | Nicht vorhanden |
| Gehostet, nichts zu betreiben* | Nicht vorhanden | Nur im Bezahltarif | Nur im Bezahltarif | Enthalten, kostenlos | Enthalten, kostenlos | Nur im Bezahltarif | Nur im Bezahltarif | Enthalten, kostenlos | Enthalten, kostenlos | Enthalten, kostenlos | Enthalten, kostenlos |
Selbst gehostet, kostenlos: LangSmith, Galileo und Encord setzen für das Selbst-Hosting selbst einen Enterprise-Vertrag voraus. Für Labelbox ist keine selbst gehostete Edition dokumentiert.
Alle Funktionen, kein Bezahltarif: Die kostenlose Edition von Label Studio enthält überhaupt keine Übereinstimmungsmaße; Ground Truth, Dashboards und LLM-Vorannotation beginnen bei 99 $ pro Nutzer und Monat. CVAT führt die Oberfläche zur Qualitätskontrolle als kostenpflichtig. Supervisely stellt Konsens hinter einen Tarif für 199 € im Monat.
Ein Werkzeug für Korpora und Agenten-Traces: Alle Plattformen zur Agentenauswertung hier sind auf Traces festgelegt. Keine kann ein Textkorpus nach Stimmung annotieren, eine Entität markieren oder eine Umfrage durchführen.
Multiagenten-Graph, den man annotieren kann: Mehrere Werkzeuge zeichnen einen Interaktionsgraphen. Alle sind reine Debugging-Ansichten zum Lesen. In Potato sind die Agenten und ihre Übergaben Objekte, die ein Mensch beschriftet.
Von Menschen annotierte Fehlerzuordnung: Galileo schließt Übergabefehler mit einem LLM, und Labelbox bewertet Schritte der Trajektorie. Keiner von beiden erhebt die menschliche Referenz, an der solche Schlüsse zu prüfen wären.
Zufallskorrigierte Übereinstimmung (κ, α): Die anderen messen Übereinstimmung als prozentuale Überlappung, IoU oder Mehrheitsentscheid. Prodigy liefert zwar Krippendorffs α und Gwets AC2, hat aber keinen kostenlosen Tarif. Langfuse berechnet Cohens κ zwischen einem Menschen und einem Judge, nicht über eine Gruppe von Annotatoren.
Export für SFT, DPO und Process Reward: Teilweise heißt: nur JSONL im SFT-Stil, ohne Format für Präferenzpaare oder Process Reward.
Betreute Annotator-Belegschaft: Haben wir nicht. Sie bringen Ihre eigenen Annotatoren mit oder rekrutieren über Prolific. Wer bis nächsten Monat 50.000 Elemente annotiert braucht und niemanden dafür hat, bekommt das bei Labelbox, Encord und Scale, nicht bei uns.
Gehostet, nichts zu betreiben: Potato läuft nur selbst gehostet. Für manche Teams ist genau das der Sinn der Sache, für andere ein echter Aufwand.
Anhand öffentlicher Dokumentation geprüft, July 2026. Die Anbieter sind schnell, und wir lassen uns lieber korrigieren, als falschzuliegen. Sagen Sie uns Bescheid, wenn ein Feld veraltet ist.
Sieben Gründe für Potato
100% Kostenlos
Keine Preisstaffeln, keine Nutzungslimits, keine Kreditkarte erforderlich. Potato ist kostenlos für Forschung, Bildung und nicht-kommerzielle Nutzung.
Messen Sie das Labeln, nicht nur die Labels
Die meisten Tools halten fest, was ein Annotator entschieden hat. Potato misst, wie er es entschieden hat: Fähigkeit und Item-Schwierigkeit live geschätzt, Entscheidungsgrenzen kontrafaktisch geprüft, Denken laut aufgezeichnet und Kalibrierung bewertet, ohne ein einziges Gold-Label.
Open Source
Vollständiger Zugriff auf den Quellcode. Anpassen, erweitern und beitragen. Kein Vendor-Lock-in, niemals.
Datenschutz an erster Stelle
Selbst gehostet auf Ihrer Infrastruktur. Ihre Daten verlassen niemals Ihre Server. Ideal für sensible Forschungsdaten.
Forschungsbasiert
Entwickelt an der University of Michigan. Veröffentlicht auf der ACL 2026 und EMNLP 2022, mit einem Best Demo Award auf der HCOMP 2024.
Keine Programmierung erforderlich
Konfigurieren Sie alles mit einfachen YAML-Dateien. Kein Programmieren erforderlich, um ausgefeilte Annotationsoberflächen zu erstellen.
Agentenbewertung
Die breiteste Unterstützung für Agenten-Annotation von allen Werkzeugen: 13 Trace-Formate, Multiagenten-Läufe auf einem Interaktionsgraphen, den man beschriften kann, Schemata für Computernutzung, Sprache und Video, Diffs von Coding-Agenten, Process-Reward-Annotation und Live-Beobachtung mit Rücksprung.
Was Forschende sagen
“Wir haben Labelbox und Scale AI evaluiert, aber mit Potato konnten wir an einem Nachmittag loslegen — ohne Budgetfreigabe.”
ML-Forscherin / ML-Forscher
Universitäres Forschungslabor
“Die YAML-Konfiguration ist so viel einfacher als das Kämpfen mit komplexen Annotationswerkzeug-Oberflächen.”
Data Scientist
NLP-Startup
“Die Möglichkeit, selbst zu hosten, war entscheidend für unsere IRB-genehmigte Studie mit sensiblen Teilnehmerdaten.”
Doktorandin / Doktorand
Sozialwissenschaftliche Abteilung
Für wen eignet sich Potato?
Akademische Forschende
Benötigen zitierfähige, kostenlose Werkzeuge für Publikationen und Förderanträge
Startups & kleine Teams
Können keine 10.000 €/Monat für Annotationswerkzeuge rechtfertigen
Datenschutzkritische Projekte
IRB-Anforderungen, Gesundheitswesen oder vertrauliche Daten
Lehrende & Studierende
NLP/ML-Kurse mit praktischer Annotation unterrichten
Bereit, Potato auszuprobieren?
In wenigen Minuten loslegen mit einem einfachen pip install. Keine Registrierung, keine Kreditkarte, keine Verpflichtungen.