Was ist neu

Diese Seite beschreibt neue Funktionen und Verbesserungen in den Potato v2.x-Versionen.

Potato 2.7.2

Veröffentlicht im August 2026

Tastenanschlag-Logging für Freitextfelder. Potato zeichnet das Timing hinter einer Antwort auf und nie die Zeichen selbst, und das reicht offenbar aus, um Tippen von Einfügen zu unterscheiden.

• Tastenanschlag-Logging — inhaltsblinde Erfassung von Pausen, Schreibschüben, Überarbeitungen und Einfügungen in jedem Freitextfeld, mit etwa vierzig zusammenfassenden Merkmalen pro Antwort. Standardmäßig aus.
• Schreibprozess-Erkennung — sechs benannte Regeln mit expliziten Schwellenwerten, die die Merkmalswerte hinter jeder Markierung ausweisen. Die Schwellenwerte lassen sich auf das eigene Projekt neu anpassen, und wer Labels hat, kann einen überwachten Weg gehen.
• Ethik-Hinweise — Musterformulierungen für die Einwilligung, Aufbewahrung und Löschung, das Grundratenproblem und warum eine Markierung ein Anlass zum Nachsehen ist und kein Befund.
• Opt-in-Exporte — export_include_typing_dynamics schreibt eine zusammenfassende Sidecar-Datei, und --format keystrokes schreibt die Rohströme nach Parquet. Beides ist standardmäßig aus, damit Verhaltensdaten nie versehentlich in einer Datensatzveröffentlichung landen.

Die Offenlegung gegenüber Annotatoren ist standardmäßig aktiv, und wer sie abschaltet, bekommt beim Start eine Warnung ins Log.

Potato 2.7.1

Veröffentlicht im Juli 2026

Transkript-Import, ausgehend davon, dass das Transkript bereits existiert. Jemand hat Whisper laufen lassen, Untertitel heruntergeladen oder ein Korpus übergeben bekommen, und der nächste Schritt sollte nicht das Schreiben eines Konvertierungsskripts sein.

• 21 Transkript- und Untertitelformate, vorher 6. Whisper, WhisperX, whisper.cpp, AWS Transcribe, Deepgram, AssemblyAI, Rev.ai, SPoRC, SubRip, WebVTT, SubStation Alpha, TTML/DFXP, YouTube json3 und srv1/srv2/srv3, NIST CTM, Praat TextGrid und ELAN EAF. Die Erkennung erfolgt anhand des Dateiinhalts, nicht der Endung.
• Transkripte als Sidecar-Dateien — eine Datendatei kann auf media/int_001.srt auf der Festplatte verweisen, statt das Transkript einzubetten. Pfade werden unter task_dir über die übliche Pfad-Sicherheitsprüfung aufgelöst, sodass Ihre Transkripte Dateien bleiben, die Sie diffen und erneut exportieren können.
• potato transcripts — ein Konverter, der einen Ordner voller ASR-Ausgaben in eine annotationsfertige Datendatei verwandelt und Transkripte den Mediendateien über den Basisnamen zuordnet. --dry-run meldet das Erkannte, bevor irgendetwas geschrieben wird, und --emit-config gibt eine passende Konfiguration aus.
• Ein Formatvokabular über vier Schemata hinweg — speech_transcript, voice_interaction und tiered_annotation akzeptieren jetzt alles, was auch die audio_dialogue-Anzeige akzeptiert. Vorher konnte das nur die Anzeige.
• Whisper-Transkripte annotieren und YouTube-Untertitel annotieren führen beide Ausgangspunkte von Anfang bis Ende durch.

ASR und Diarisierung laufen weiterhin vorgelagert. Potato liest deren Ausgabe; es transkribiert nicht selbst.

Potato 2.7.0

Veröffentlicht im Juli 2026

Potato 2.7 beruht auf einem Gedanken: Ein Annotationswerkzeug sollte messen, wie Urteile zustande kommen, und nicht nur festhalten, welche es waren. Das gilt für beide Arten von Urteilenden — die Menschen, die annotieren, und die KI-Modelle, die bewertet werden.

Messen, wie Menschen labeln

Sieben optionale Funktionen, von denen keine ein LLM voraussetzt.

• Psychometrie-Engine — eine Live-Schicht auf Basis der Item-Response-Theorie, die jedem Label eine Posteriorwahrscheinlichkeit und ein Konfidenzintervall gibt (p = 0.94 [0.88–0.97]) statt eines bloßen Mehrheitsvotums. Sie schätzt Annotatorfähigkeit und Itemschwierigkeit allein aus den Übereinstimmungsmustern, leitet Elemente an die Person weiter, deren Urteil am meisten Information trägt, und markiert wahrscheinliche Fehler im Codebuch.
• Multiplayer-Räume — das Kalibrierungstreffen, das Ihr Team ohnehin per Bildschirmfreigabe abhält, im Werkzeug abgebildet und messbar gemacht: Blindabstimmung, Auflösung durch die Moderation, Diskussion, erneute Abstimmung, mit einer Live-Anzeige von Krippendorffs α, die zeigt, was die Sitzung gebracht hat.
• Boundary Lab — kontrafaktische Nachfragen nach jedem Label („würde das immer noch gelten?“), die aus gewöhnlicher Annotation Kontrastmengen machen und inkonsistente Annotatoren auffallen lassen, ohne dass Gold-Items eingestreut werden.
• Truth Serum — Peer-Prediction-Bewertung nach dem Prinzip „überraschend beliebt“, die bei schwierigen Annotationen besser abschneidet als das Mehrheitsvotum, und das ohne Gold-Labels.
• Think-Aloud-Modus — Annotatoren sprechen, während sie arbeiten; die Spracherkennung läuft vollständig lokal, und das wörtliche Transkript wird zur Begründung.
• Paper-Modus — ein Befehl macht aus einem Projekt einen kompilierbaren LaTeX-Datensatzbericht, samt Übereinstimmungsstatistiken und Zitationen.
• Pocket-Modus — vollwertige mobile Annotation mit wischbarem Kartenstapel, Offline-Synchronisierung und PWA-Installation.

KI-Agenten bewerten

Die Suite zur Agentenbewertung deckt jetzt auch Teamstruktur und multimodale Agenten ab: einen anklickbaren Agenten-Interaktionsgraphen, agentenübergreifende Fehlerzuordnung, Übergabeprüfung, Scorecards pro Agent und pro Team, Zeitleisten für Werkzeugkonflikte und das Auszeichnen emergenten Verhaltens, dazu GUI-/Computer-Use-Trajektorien, Vollduplex-Sprachzeitleisten, zeitliche Verankerung in Video und Dokument-Tabellenstruktur.

Überall sonst

Dokumentübergreifende Ereignisannotation, Annotation auf Turn-Ebene, ein Codebuch als lebendes Dokument mit Vollseiten-Editor, seitenübergreifende PDF-Verknüpfung mit optionalem OCR, RBAC-Rollen mit Schemata pro Kohorte, Admin- und Annotator-Dashboards in 10 Sprachen und eine deutlich schlankere Installation — KI-SDKs werden jetzt verzögert geladen, was die Startzeit von rund 2,0 s auf 0,7 s drückt.

Potato 2.6.0

Veröffentlicht im Juni 2026

Potato 2.6 erschließt die qualitative Datenanalyse und vertieft das Werkzeugset zur Agentenbewertung. Hinzu kommen der QDA-Modus, ein Workflow zur Kalibrierung und Ausrichtung von LLM-as-Judge mit signalbasierter Triage-Warteschlange sowie Schemata zur Trajektorienbearbeitung, die SFT- und DPO-Trainingsdaten erzeugen. Potato ist außerdem neu unter GPL-3.0-or-later lizenziert (vorher PolyForm Shield).

QDA-Modus

Ein optionaler qda_mode macht Potato zu einem kollaborativen Arbeitsbereich für qualitative Codierung. Beim Aktivieren entstehen ein lebendes Codebuch, In-vivo-Codierung, Analysememos, Fälle und Volltextsuche, mit Voreinstellungen für den Fall, dass eine einzelne Person ein ganzes Korpus codiert.

qda_mode:
  enabled: true            # codebook + memos + cases + search
codebook_invivo_key: i     # mint a code from a text selection
search:
  enabled: true
  annotator_claim: true

Mehr über den QDA-Modus erfahren →

Kalibrierung und Ausrichtung von LLM-as-Judge

Daten mit einem oder mehreren LLM-Judges automatisch labeln, dann in einem blinden menschlichen Kalibrierungsdurchgang Genauigkeit, Übereinstimmung und Kalibrierungsfehler messen. Ein separater Alignment-Workflow für einen einzelnen Judge verfolgt Cohens Kappa gegen Ihre menschlichen Gold-Labels, während Sie das Bewertungsraster verfeinern, wahlweise mit einem Inline-Urteil während der Annotation.

Mehr über Judge-Kalibrierung erfahren → · Judge-Alignment →

Signalbasierte Triage-Warteschlange

Die Annotationswarteschlange nach einem Qualitätssignal pro Element priorisieren — ein Agentenfehler, ein Daumen-runter aus der Produktion, ein niedriger Score oder ein beliebiges eigenes Feld — damit Prüfende die verdächtigsten Elemente zuerst sehen statt in Eingangsreihenfolge.

triage:
  enabled: true
  signal_field: quality_score
  invert_signal: true
assignment_strategy: priority

Mehr über die Triage-Warteschlange erfahren →

Trajektorienbearbeitung für SFT/DPO

Mit den neuen Schemata trajectory_edit und trajectory_correction können Annotatoren Schritte in Agenten-Traces umschreiben. Der Exporter macht aus jedem Paar aus Original und Korrektur Ziele für überwachtes Fine-Tuning (trajectory_sft.jsonl) und DPO-Präferenzpaare (trajectory_dpo.jsonl).

Mehr über Trajektorienbearbeitung erfahren →

eval_trace-Anzeige

Eine dreigeteilte Agenten-Trace-Anzeige — Reasoning, Function Calls und Final Answer — gebaut für laufende Evaluation, bei der Traces über einen Webhook, einen Langfuse-Poller oder ein überwachtes Verzeichnis eintreffen und beurteilt werden, sobald sie da sind.

Mehr über eval_trace erfahren →

Workflow und Zuweisung

• Heterogene Abdeckung — Obergrenzen für Annotatoren pro Element, Berichte zur Inter-Annotator-Übereinstimmung und Adjudikations-Routing für Aufgaben, bei denen Elemente unterschiedlich viele Annotatoren brauchen.
• Liegen gebliebene Zuweisungen zurückholen — Zuweisungen wiederherstellen, die von Prolific-Workern oder per QC gesperrten Workern zurückgelassen wurden, mit konfigurierbarer Aufbewahrung und idempotentem Zurückholen.
• Zuweisungsstrategie Custom Batch — vordefinierte Element-Batches an bestimmte Annotatoren vergeben.
• URL-Präfixe für Reverse-Proxys — Potato hinter einem Reverse-Proxy unter einem Unterpfad ausliefern.

Lizenzierung

Potato erscheint jetzt unter GPL-3.0-or-later, umlizenziert von PolyForm Shield. Sie dürfen es nutzen, verändern und weitergeben, auch kommerziell, solange abgeleitete Werke unter der GPL bleiben. Einzelheiten auf der Über-Seite.

Leistung und Stabilität

• Etwa 3× schnellerer Start. Der ML-Stack wird beim Start nicht mehr vorab geladen: Die Importzeit sank von rund 6,5 s auf 2 s, der Start mit 50k Elementen von rund 10 s auf 5,7 s und der Speicherverbrauch von rund 750 MB auf 365 MB.
• Schema umbenannt. Aus annotation_type: highlight wird span, mit vorhandener Migration. Alte Konfigurationen aktualisieren Sie, indem Sie den Typ umbenennen; bestehende span-Konfigurationen sind nicht betroffen.
• Eine breite QA-Härtungswelle betraf Routenregistrierung, Trainingsphasen, Prolific, Persistenz, Export- und Umfragebehandlung, Webhooks, Solo-Modus und Active Learning.

Potato 2.5.0

Veröffentlicht 2026

Eine Welle rund um qualitative Codierung, die Potato für qualitative Forschungsabläufe glaubwürdig macht, neben seiner Oberfläche für NLP- und ML-Annotation.

• Inter-Annotator-Übereinstimmung — Cohens Kappa (paarweise) und Fleiss' Kappa (N Bewertende) zusätzlich zu Krippendorffs Alpha, bereitgestellt über die Admin-Übereinstimmungs-API. Siehe den Leitfaden zur Inter-Annotator-Übereinstimmung.
• Neue Exporter — codebook (CSV pro Schema mit Code-Hierarchie, Farbe, Beschreibung und Verwendungszahl) und quotation_report (CSV pro Span mit Text, Offsets, Quelldokument und codierender Person).
• Code-Analytik — Admin-Endpunkte für paarweise Code-Kookkurrenz und eine Kreuztabelle von Codes nach Attribut über bestehende Instanz-Metadaten.

Potato 2.4.5

Veröffentlicht 2026

Ein Release für Stabilität und Werkzeuge.

• Validierte Verfeinerung — ein modulares Framework, um Annotationsrichtlinien im Solo-Modus schrittweise zu verbessern, mit Schutzmechanismen gegen widersprüchliche Richtlinien und das Durchsickern von Metadaten.
• Konfigurationsvalidator — ein neues CLI python -m potato.validate_cli, das Konfigurationsschlüssel gegen das bekannte Konfigurationsschema prüft.
• Sicherheit — Behebung einer Umgehung der Pfadprüfung über Geschwister-Präfixe (Path Traversal) (GHSA-q9m2-fhv9-3jcf).
• Korrekturen bei der Zustandssynchronisierung von Speichern und Navigation, der Prolific-Integration, der mehrphasigen Navigation und beim Feedback der Qualitätskontrolle.

Potato 2.3.0

Veröffentlicht am 9. März 2026

Potato 2.3 ist das größte Release in der Geschichte von Potato und führt agentische Annotation, Solo-Modus, Best-Worst Scaling, SSO/OAuth-Authentifizierung, Parquet-Export, 15 neue Demo-Projekte und Sicherheitshärtung ein.

Agentische Annotation

Ein vollständiges System zur Bewertung von KI-Agenten durch menschliche Annotation. Enthält 12 Trace-Format-Konverter, 3 spezialisierte Anzeigetypen und 9 vorgefertigte Annotationsschemata.

12 Trace-Format-Konverter — Import von Agenten-Traces aus OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF und rohen Browser-Aufzeichnungen. Automatische Erkennung verfügbar.

agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3 Anzeigetypen:

• Agenten-Trace-Anzeige — Farbcodierte Schrittkarten mit zusammenklappbaren Beobachtungen, JSON-Formatierung und Timeline-Seitenleiste für werkzeugnutzende Agenten
• Web-Agenten-Trace-Anzeige — Vollständige Screenshots mit SVG-Überblendungen, die Klickziele, Texteingaben und Scroll-Aktionen zeigen; Filmstreifen-Navigation für Browsing-Agenten
• Interaktive Chat-Anzeige — Live-Chat-Modus (Annotator interagiert mit dem Agenten über einen Proxy) und Trace-Überprüfungsmodus für konversationelle Agenten

Bewertungen pro Schritt — Einzelne Schritte neben dem Gesamttrace bewerten für detaillierte Auswertung.

9 vorgefertigte Schemata — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality.

Agenten-Proxy-System — OpenAI-, HTTP- und Echo-Proxies für die Live-Agentenbewertung.

Mehr über agentische Annotation →

Solo-Modus

Ein 12-Phasen-intelligenter Workflow, bei dem ein einzelner menschlicher Annotator mit einem LLM zusammenarbeitet, um ganze Datensätze zu beschriften. Erreicht über 95% Übereinstimmung mit Multi-Annotator-Pipelines bei nur 10–15% des gesamten menschlichen Annotationsaufwands.

Die 12 Phasen:

1. Seed-Annotation — Mensch beschriftet 50 vielfältige Instanzen
2. Erste LLM-Kalibrierung — LLM beschriftet anhand der Seed-Beispiele
3. Verwirrungsanalyse — Systematische Meinungsverschiedenheitsmuster identifizieren
4. Richtlinienverfeinerung — LLM schlägt vor, Mensch genehmigt aktualisierte Richtlinien
5. Generierung von Beschriftungsfunktionen — ALCHEmist-inspirierte programmatische Regeln
6. Aktive Beschriftung — Mensch beschriftet die informativsten Instanzen
7. Automatisierte Verfeinerungsschleife — Iteratives Neu-Beschriften mit verbesserten Richtlinien
8. Meinungsverschiedenheits-Erkundung — Mensch löst LLM/LF-Konflikte auf
9. Randfallsynthese — LLM generiert mehrdeutige Beispiele zur menschlichen Beschriftung
10. Kaskadierte Konfidenz-Eskalation — Mensch überprüft Beschriftungen mit niedrigster Konfidenz
11. Prompt-Optimierung — DSPy-inspirierte automatisierte Prompt-Suche
12. Abschlussvalidierung — Überprüfung einer Zufallsstichprobe

solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

Multi-Signal-Instanzpriorisierung — 6 gewichtete Pools (uncertain, disagreement, boundary, novel, error_pattern, random) zur Auswahl der wertvollsten Instanzen.

Mehr über den Solo-Modus →

Best-Worst Scaling

Effiziente vergleichende Annotation, bei der Annotatoren die besten und schlechtesten Elemente aus Tupeln auswählen. Automatische Tupelgenerierung mit ausgeglichenen unvollständigen Blockdesigns und drei Bewertungsmethoden (Counting, Bradley-Terry, Plackett-Luce).

annotation_schemes:
  - annotation_type: bws
    name: fluency
    tuple_size: 4
    best_description: "Most Fluent"
    worst_description: "Least Fluent"

Mehr über Best-Worst Scaling →

SSO & OAuth-Authentifizierung

Produktionsreife Authentifizierung mit Google OAuth (Domäneneinschränkung), GitHub OAuth (Organisationseinschränkung) und generischem OIDC (Okta, Azure AD, Auth0, Keycloak). Unterstützt automatische Registrierung, gemischten Modus und Sitzungsverwaltung.

authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

Mehr über SSO & OAuth →

Parquet-Export

Annotationen in das Apache Parquet-Format exportieren, dabei werden drei strukturierte Dateien erzeugt: annotations.parquet, spans.parquet und items.parquet. Unterstützt snappy, gzip, zstd, lz4 und brotli-Komprimierung, inkrementellen Export sowie Datums- und Annotator-Partitionierung. Kompatibel mit pandas, DuckDB, PyArrow, Polars und Hugging Face Datasets.

parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Mehr über den Parquet-Export →

15 neue Demo-Projekte

Neue Demos in project-hub/ zu agentischer Annotation (5 Demos), Solo-Modus (3 Demos), Best-Worst Scaling (3 Demos), Authentifizierung (2 Demos) und Export-Workflows (2 Demos). Jede Demo kann mit potato start config.yaml gestartet werden.

Sicherheitshärtung

• Kryptografisch sichere Sitzungstoken mit konfigurierbarem Ablauf
• CSRF-Schutz standardmäßig aktiviert
• Rate-Limiting auf Authentifizierungs-Endpunkten
• Eingabebereinigung für benutzerbezogene Inhalte
• Abhängigkeitsaudit mit aktualisierten Paketen
• Content-Security-Policy-Header

Weitere Verbesserungen

• Benutzerdefinierte Trace-Konverter für nicht unterstützte Agenten-Frameworks
• Hybrider Solo-Modus mit Multi-Annotator-Verifikations-Sampling
• BWS-Admin-Dashboard-Tab mit Score-Konvergenzdiagrammen
• Inkrementeller Parquet-Export mit Datumspartitionierung

Vergleich v2.2 vs. v2.3

Potato 2.2.0

Veröffentlicht am 20. Februar 2026

Potato 2.2 ist ein großes Feature-Release mit 9 neuen Annotationsschemata, einem modularen Export-System, MACE-Kompetenzschätzung, 55 validierten Survey-Instrumenten und Remote-Datenquellen.

Neue Annotationsschemata (9)

Ereignisannotation — N-äre Ereignisstrukturen mit Trigger-Spans und typisierten Argumentrollen. Annotieren Sie Ereignisse wie ATTACK, HIRE und TRAVEL mit eingeschränkten Entitätsargumenten und Hub-Speichen-Arc-Visualisierung.

annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

Mehr über Ereignisannotation →

Entitätsverknüpfung — Span-Annotationen mit externen Wissensdatenbanken verknüpfen (Wikidata, UMLS, benutzerdefinierte REST-APIs). Fügen Sie einem Span-Schema einen entity_linking:-Block hinzu, um KB-Suche und -Verknüpfung zu aktivieren.

Mehr über Entitätsverknüpfung →

Triage — Prodigy-ähnliche Akzeptieren/Ablehnen/Überspringen-Oberfläche für schnelles Daten-Screening. Anpassbare Beschriftungen, Tastaturkürzel und Auto-Advance für hochvolumige Annotation.

Mehr über Triage →

Paarweiser Vergleich — Zwei Elemente mit binärem (Klick auf bevorzugte Kachel) oder Skalenmodus (Schieberegler) vergleichen. Unterstützt items_key, allow_tie und einen scale:-Block mit konfigurierbarem Bereich.

Mehr über paarweisen Vergleich →

Gesprächsbäume — Hierarchische Gesprächsstrukturen mit knotenweisen Bewertungen, Pfadauswahl und Zweigvergleich annotieren.

Mehr über Gesprächsbäume →

Koreferenzketten — Koreferente Texterwähnungen mit visuellen Indikatoren in Ketten gruppieren. Unterstützt Entitätstypen, Singleton-Kontrolle und mehrere Hervorhebungsmodi.

Mehr über Koreferenzketten →

Segmentierungsmasken — Neue fill-, eraser- und brush-Werkzeuge für pixelgenaue Bildsegmentierung.

Begrenzungsrahmen für PDF/Dokumente — Boxen auf PDF-Seiten für Dokumentannotationsaufgaben zeichnen.

Diskontinuierliche Spans — allow_discontinuous: true ermöglicht die Auswahl nicht zusammenhängender Textsegmente als einzelnen Span.

Intelligente Annotation

MACE-Kompetenzschätzung — Variational-Bayes-EM-Algorithmus, der gemeinsam wahre Beschriftungen und Annotator-Kompetenz-Scores (0,0–1,0) schätzt. Funktioniert mit radio-, likert-, select- und multiselect-Schemata.

mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

Mehr über MACE →

Options-Hervorhebung — LLM-basierte Hervorhebung wahrscheinlich korrekter Optionen für diskrete Annotationsaufgaben. Hebt die Top-k-Optionen mit einem Stern-Indikator hervor und dimmt weniger wahrscheinliche Optionen.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Mehr über Options-Hervorhebung →

Diversitätssortierung — Embedding-basiertes Clustering und Round-Robin-Sampling, um sicherzustellen, dass Annotatoren vielfältige Inhalte sehen und nicht ähnliche Elemente hintereinander.

assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

Mehr über Diversitätssortierung →

Export-System

Eine neue modulare Export-CLI (python -m potato.export) konvertiert Annotationen in 6 branchenübliche Formate: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U und Segmentierungsmasken.

python -m potato.export --config config.yaml --format coco --output ./export/

Mehr über Export-Formate →

Remote-Datenquellen

Annotationsdaten von URLs, S3, Google Drive, Dropbox, Hugging Face, Google Sheets und SQL-Datenbanken über den neuen data_sources:-Konfigurationsblock laden. Enthält partielles Laden, Caching und Verwaltung von Anmeldedaten.

Mehr über Remote-Datenquellen →

Survey-Instrumente

55 validierte Fragebögen in 8 Kategorien (Persönlichkeit, psychische Gesundheit, Affekt, Selbstkonzept, soziale Einstellungen, Antwortstil, Kurzform, Demografik). Verwendbar in Prestudy-/Poststudy-Phasen mit instrument: "tipi".

Mehr über Survey-Instrumente →

Weitere Verbesserungen

• Video-Objektverfolgung mit Keyframe-Interpolation
• Unterstützung externer KI-Konfigurationsdateien
• Verbesserungen des Formularlayout-Rasters
• Format-Handler für PDF, Word, Code und Tabellenkalkulationen

Potato 2.1.0

Veröffentlicht am 5. Februar 2026

Potato 2.1 führt das Instanzanzeigesystem, visuelle KI-Unterstützung, Span-Verknüpfung, Mehrf-Feld-Span-Annotation und Layout-Anpassung ein.

Instanzanzeigesystem

Ein neuer instance_display-Konfigurationsblock, der die Inhaltsanzeige von der Annotation trennt. Beliebige Kombinationen von Bildern, Videos, Audio, Text und Dialogen neben beliebigen Annotationsschemata anzeigen.

instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

Unterstützt 11 Anzeigetypen, darunter text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document und pdf.

Mehr über Instanzanzeige →

Mehrfeld-Span-Annotation

Span-Annotationsschemata unterstützen jetzt eine target_field-Option zur Annotation mehrerer Textfelder in derselben Instanz.

annotation_schemes:
  - annotation_type: span
    name: source_entities
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    labels: [PERSON, ORGANIZATION]

Mehr über Span-Annotation →

Span-Verknüpfung

Ein neuer span_link-Annotationstyp zum Erstellen typisierter Beziehungen zwischen annotierten Spans. Unterstützt gerichtete und ungerichtete Links, n-äre Beziehungen, visuelle Arc-Anzeige und Beschriftungseinschränkungen.

annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

Mehr über Span-Verknüpfung →

Visuelle KI-Unterstützung

Vier neue Vision-Endpunkte für KI-gestützte Bild- und Videoannotation:

• YOLO — Schnelle lokale Objekterkennung
• Ollama Vision — Lokale Vision-Language-Modelle (LLaVA, Qwen-VL)
• OpenAI Vision — GPT-4o Cloud-Vision
• Anthropic Vision — Claude mit Vision

Funktionen umfassen Objekterkennung, Vor-Annotation, Klassifizierung, Hinweise, Szenenerkennung, Keyframe-Erkennung und Objektverfolgung.

Mehr über visuelle KI-Unterstützung →

Layout-Anpassung

Anspruchsvolle benutzerdefinierte visuelle Layouts mit HTML-Vorlagen und CSS erstellen. Potato generiert eine bearbeitbare Layout-Datei, oder Sie können eine vollständig benutzerdefinierte Vorlage mit Grid-Layouts, farbkodierten Optionen und Abschnittsgestaltung bereitstellen.

task_layout: layouts/custom_task_layout.html

Drei Beispiel-Layouts enthalten: Content-Moderation, Dialog-QA und medizinische Überprüfung.

Mehr über Layout-Anpassung →

Beschriftungsbegründungen

Eine vierte KI-Funktion, die ausgewogene Erklärungen dafür generiert, warum jede Beschriftung zutreffen könnte, und Annotatoren hilft, verschiedene Klassifizierungsperspektiven zu verstehen.

ai_support:
  features:
    rationales:
      enabled: true

Mehr über KI-Unterstützung →

Weitere Verbesserungen

• 50+ neue Tests für verbesserte Zuverlässigkeit
• Verbesserungen des responsiven Designs
• Verbesserte project-hub-Organisation mit Layout-Beispielen
• Fehlerbehebungen bei Annotationstypen

Vergleich v2.0 vs. v2.1

Potato 2.0

Potato 2.0 ist ein Hauptrelease, das leistungsstarke neue Funktionen für intelligente, skalierbare Annotation einführt. Dieser Abschnitt hebt die wichtigsten Ergänzungen und Verbesserungen hervor.

KI-Unterstützung

Integrieren Sie Large Language Models, um Annotatoren mit intelligenten Hinweisen, Schlüsselwort-Hervorhebung und Beschriftungsvorschlägen zu unterstützen.

Unterstützte Anbieter:

• OpenAI (GPT-4, GPT-3.5)
• Anthropic (Claude 3, Claude 3.5)
• Google (Gemini)
• Ollama (lokale Modelle)
• vLLM (selbst gehostet)

ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

Mehr über KI-Unterstützung →

Audio-Annotation

Vollständige Audio-Annotation mit Wellenformvisualisierung powered by Peaks.js. Segmente erstellen, Zeitregionen beschriften und Sprache mit Tastaturkürzeln annotieren.

Hauptfunktionen:

• Wellenformvisualisierung
• Segmenterstellung und -beschriftung
• Annotationsfragen pro Segment
• 15+ Tastaturkürzel
• Serverseitiges Wellenform-Caching

annotation_schemes:
  - annotation_type: audio_annotation
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

Mehr über Audio-Annotation →

Aktives Lernen

Annotationsinstanzen automatisch basierend auf Modellungewissheit priorisieren. Klassifikatoren auf bestehenden Annotationen trainieren und Annotatoren auf die informativsten Beispiele fokussieren.

Funktionen:

• Mehrere Klassifikator-Optionen (LogisticRegression, RandomForest, SVC, MultinomialNB)
• Verschiedene Vektorisierer (TF-IDF, Count, Hashing)
• Modellpersistenz über Neustarts hinweg
• LLM-gestützte Auswahl
• Multi-Schema-Unterstützung

active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

Mehr über aktives Lernen →

Trainingsphase

Annotatoren mit Übungsfragen vor der Hauptaufgabe qualifizieren. Sofortiges Feedback geben und Qualität durch konfigurierbare Bestehungskriterien sicherstellen.

Funktionen:

• Übungsfragen mit bekannten Antworten
• Sofortiges Feedback und Erklärungen
• Konfigurierbare Bestehungskriterien
• Wiederholungsoptionen
• Fortschrittsverfolgung im Admin-Dashboard

phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

Mehr über die Trainingsphase →

Erweitertes Admin-Dashboard

Umfassende Überwachungs- und Verwaltungsoberfläche für Annotationsaufgaben.

Dashboard-Tabs:

• Übersicht: Übergeordnete Kennzahlen und Abschlussraten
• Annotatoren: Leistungsverfolgung, Zeitanalyse
• Instanzen: Daten mit Meinungsverschiedenheits-Scores durchsuchen
• Konfiguration: Einstellungen in Echtzeit anpassen

admin_api_key: ${ADMIN_API_KEY}

Mehr über das Admin-Dashboard →

Datenbank-Backend

MySQL-Unterstützung für groß angelegte Deployments mit Verbindungs-Pooling und Transaktionsunterstützung.

database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

Potato erstellt beim ersten Start automatisch die erforderlichen Tabellen.

Annotationsverlauf

Vollständige Verfolgung aller Annotationsänderungen mit Zeitstempeln, Benutzer-IDs und Aktionstypen. Ermöglicht Auditing und Verhaltensanalyse.

{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

Mehrphasige Workflows

Komplexe Annotations-Workflows mit mehreren aufeinanderfolgenden Phasen aufbauen:

1. Einwilligung – Einholung der informierten Einwilligung
2. Vorstudie – Demografik und Screening
3. Anweisungen – Aufgabenrichtlinien
4. Training – Übungsfragen
5. Annotation – Hauptaufgabe
6. Nachstudie – Feedback-Umfragen

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

Mehr über mehrphasige Workflows →

v2.0-Konfigurationsänderungen

Neue Konfigurationsstruktur

Potato 2.0 verwendet ein übersichtlicheres Konfigurationsformat:

v1 (alt):

data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (neu):

data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

Sicherheitsanforderung

Konfigurationsdateien müssen sich jetzt innerhalb des task_dir befinden:

# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

Schnellvergleich

Migrationsleitfaden

Konfiguration aktualisieren (v1 auf v2)

1. Datenkonfiguration

   yamlCopy

   # Old
   id_key: id
   text_key: text
    
   # New
   item_properties:
     id_key: id
     text_key: text

2. Ausgabekonfiguration

   yamlCopy

   # Old
   output_file: annotations.json
    
   # New
   output_annotation_dir: "output/"
   output_annotation_format: "json"

3. Speicherort der Konfigurationsdatei Stellen Sie sicher, dass sich Ihre Konfigurationsdatei im Projektverzeichnis befindet.

Server starten

# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

Einstieg

Bereit, Potato auszuprobieren? Beginnen Sie mit der Schnellstart-Anleitung oder erkunden Sie spezifische Funktionen:

v2.3-Funktionen:

• Agentische Annotation – KI-Agenten mit 12 Konvertern und 3 Anzeigetypen bewerten
• Solo-Modus – Kollaborative Mensch-LLM-Beschriftung
• Best-Worst Scaling – Vergleichende Annotation mit Bewertung
• SSO & OAuth – Google-, GitHub- und OIDC-Authentifizierung
• Parquet-Export – Spaltenbasierter Datenexport

v2.2-Funktionen:

• Ereignisannotation – N-äre Ereignisstrukturen
• Entitätsverknüpfung – Wissensdatenbank-Verknüpfung
• Triage – Schnelles Daten-Screening
• Koreferenzketten – Entitäts-Koreferenz
• Gesprächsbäume – Hierarchische Dialog-Annotation
• MACE – Annotator-Kompetenzschätzung
• Options-Hervorhebung – KI-gestützte Optionsführung
• Diversitätssortierung – Embedding-basierte Element-Sortierung
• Export-Formate – Export-CLI mit 6 Formaten
• Remote-Datenquellen – Cloud-Datenladen
• Survey-Instrumente – 55 validierte Fragebögen

v2.1-Funktionen:

• Instanzanzeige – Multimodale Inhaltsanzeige
• Visuelle KI-Unterstützung – KI für Bild- und Videoannotation
• Span-Verknüpfung – Entitätsbeziehungs-Annotation

Kernfunktionen:

• KI-Unterstützung – Intelligente Annotations-Unterstützung
• Aktives Lernen – Intelligente Instanzpriorisierung
• Audio-Annotation – Wellenformbasierte Annotation
• Trainingsphase – Annotator-Qualifikation
• Admin-Dashboard – Überwachung und Verwaltung