Vergleich mit anderen Tools

Beide sind Open Source und decken Text-, Bild-, Audio- und Video-Annotation ab. Potato ist für immer kostenlos ohne Enterprise-Stufe; Label Studios Adjudication, Inter-Annotator-Agreement, Ground-Truth-Auswertung und prompt-basierte LLM-Workflows sind hinter Enterprise (auf Anfrage) eingeschlossen. Potato bietet zudem forschungsorientierte Features, die Label Studio fehlen: mehrphasige Workflows (Einwilligung → Training → Annotation → Survey), MACE-Annotator-Kompetenzschätzung, Verhaltens-Tracking (Tastatur, Maus, Timing), 55 validierte Survey-Instrumente, native MTurk-/Prolific-Integration und vollständige Agent-Evaluation-Infrastruktur mit 13 Trace-Formaten. Die Konfiguration erfolgt in YAML statt über XML-Templates.

Ja. Potato deckt die Kernfähigkeiten von Prodigy ab — Textklassifikation, NER-Spans, Relationen, Audio-/Video-Segmentierung, Bild-Bounding-Boxes, Active Learning, IAA, Adjudication — und ergänzt mehrphasige Forschungs-Workflows, MACE, Verhaltens-Tracking, breitere LLM-Anbieter-Unterstützung, Solo Mode und Agent-Evaluation. Die Konfiguration erfolgt in YAML (keine Python-Rezepte erforderlich). Potato ist kostenlos und Open Source; Prodigy kostet rund 490 $ pro Platz (akademische Lizenzen kostenlos erhältlich). Das triage-Schema von Potato bildet Prodigys Accept-/Reject-Workflow ab.

INCEpTION ist nach wie vor die stärkste Plattform für komplexe linguistische Annotation mit Knowledge-Base-Linking (Wikidata, DBPedia, OWL, SKOS) und reichhaltigen Coreference-Workflows. Potato erreicht die Kernfähigkeiten Span/Relation/Event/Coreference von INCEpTION und ergänzt Bild-/Audio-/Video-Annotation, vollständige Agent-Evaluation, YAML-Konfiguration (kein Java/XML), mehrphasige Workflows, Surveys, Verhaltens-Tracking, breitere LLM-/KI-Integration und ein leichteres Python-/Flask-Deployment. Für tiefgehende KB-Linking-Projekte INCEpTION wählen; für alles andere Potato.

Für typische Computer-Vision-Annotationsbedarfe ja — Potato unterstützt Bounding Boxes, Polygone, Segmentierungsmasken, Landmarks und Video-Zeitannotation mit Objekt-Tracking, und exportiert nach COCO (mit RLE-Masken), YOLO und Pascal VOC. CVAT geht in reinen CV-Workflows tiefer mit 3D-Cuboiden, Punktwolken, SAM-Integration und ML-unterstütztem Labeling über Nuclio. CVAT bietet keinerlei NLP-Unterstützung; mit Potato kannst du Bild, Text und andere Annotationen in einer einzigen Aufgabe kombinieren.

doccano ist für grundlegende Textklassifikation und NER einfacher und schneller einzurichten, doch Potato bietet deutlich mehr: 30+ Annotationstypen jenseits von Text (Bild, Audio, Video, Agenten-Traces), KI-/LLM-Integration mit 12 Endpoint-Typen, Active Learning mit 5 Query-Strategien, Qualitätskontrolle (Attention Checks, Gold Standards, MACE), mehrphasige Forschungs-Workflows, validierte Survey-Instrumente, native Crowdsourcing-Integration (MTurk, Prolific) und Agent-Evaluation-Infrastruktur.

Drei Gründe. **Kosten**: Kommerzielle Plattformen berechnen 1.000 bis 10.000 $+ pro Monat; Potato ist für immer kostenlos. **Datenschutz**: Potato wird selbst gehostet, sensible Daten (Patientenakten, proprietäre Inhalte, interne Traces) verlassen daher nie deine Infrastruktur. **Forschungs-Workflows**: Kommerzielle Plattformen zielen auf produktives Daten-Labeling; Potato unterstützt akademische Muster nativ (mehrphasige Studien, IRB-konforme Einwilligungsflüsse, Verhaltens-Tracking für Human-Factors-Forschung, validierte Post-Studien-Surveys, MACE-Kompetenzschätzung und Crowdsourcing-Auszahlungen). Potato wurde auf EMNLP 2022 und HCOMP 2024 (Best Demo) präsentiert.

Mehrere Fähigkeiten sind einzigartig oder fast einzigartig. **Agent-Evaluation-Infrastruktur**: Live-Webbrowsing-Beobachtung mit Übernahme, Rendering von Coding-Agent-Traces (Claude Code, Cursor, Aider, SWE-Agent), trajectory_eval mit schrittweiser Fehlerannotation. **Solo Mode** mit kaskadierender Confidence-Eskalation für hohe Qualität bei einzelnen Annotator:innen. **MACE-Annotator-Kompetenzschätzung** zur Gewichtung bei Labels mit hoher Uneinigkeit. **KI-Begründungen** für jedes vorgeschlagene Label. **55 validierte Survey-Instrumente** (SUS, NASA-TLX, UMUX, AttrakDiff) für die Nachbefragung. **N-äre Event-Annotation**, Dependency-Tree-Annotation via Span-Linking. **8 Datenquellentypen** inklusive Google Drive, Dropbox, S3, HuggingFace, Google Sheets und Datenbanken. **Mehrphasige Workflows** mit Branching.

Ja. Fähigkeiten, die anderswo kostenpflichtige Stufen sind, sind in Potato kostenlos: Inter-Annotator-Agreement (Cohens kappa, Fleiss', Krippendorffs alpha), Adjudication-Interface, Gold Standards, Attention Checks, Ground-Truth-Auswertung, SSO/OAuth (Google, GitHub, generisches OIDC), Webhook-Integration mit HMAC-SHA256-Signaturen, HuggingFace-Hub-Export mit automatisch generierten DatasetCards, Multi-Provider-LLM-Integration und vollständige Audit-Logs. Der Haken: du hostest selbst. Eine verwaltete Cloud-Stufe gibt es nicht.