Was ist neu

Diese Seite beschreibt neue Funktionen und Verbesserungen in den Potato v2.x-Versionen.

Potato 2.3.0

Veröffentlicht am 9. März 2026

Potato 2.3 ist das größte Release in der Geschichte von Potato und führt agentische Annotation, Solo-Modus, Best-Worst Scaling, SSO/OAuth-Authentifizierung, Parquet-Export, 15 neue Demo-Projekte und Sicherheitshärtung ein.

Agentische Annotation

Ein vollständiges System zur Bewertung von KI-Agenten durch menschliche Annotation. Enthält 12 Trace-Format-Konverter, 3 spezialisierte Anzeigetypen und 9 vorgefertigte Annotationsschemata.

12 Trace-Format-Konverter — Import von Agenten-Traces aus OpenAI, Anthropic, SWE-bench, OpenTelemetry, MCP, CrewAI/AutoGen/LangGraph, LangChain, LangFuse, ReAct, WebArena/VisualWebArena, ATIF und rohen Browser-Aufzeichnungen. Automatische Erkennung verfügbar.

agentic:
  enabled: true
  trace_converter: react       # or openai, anthropic, webarena, auto, etc.
  trace_file: "data/traces.jsonl"

3 Anzeigetypen:

• Agenten-Trace-Anzeige — Farbcodierte Schrittkarten mit zusammenklappbaren Beobachtungen, JSON-Formatierung und Timeline-Seitenleiste für werkzeugnutzende Agenten
• Web-Agenten-Trace-Anzeige — Vollständige Screenshots mit SVG-Überblendungen, die Klickziele, Texteingaben und Scroll-Aktionen zeigen; Filmstreifen-Navigation für Browsing-Agenten
• Interaktive Chat-Anzeige — Live-Chat-Modus (Annotator interagiert mit dem Agenten über einen Proxy) und Trace-Überprüfungsmodus für konversationelle Agenten

Bewertungen pro Schritt — Einzelne Schritte neben dem Gesamttrace bewerten für detaillierte Auswertung.

9 vorgefertigte Schemata — agent_task_success, agent_step_correctness, agent_error_taxonomy, agent_safety, agent_efficiency, agent_instruction_following, agent_explanation_quality, agent_web_action_correctness, agent_conversation_quality.

Agenten-Proxy-System — OpenAI-, HTTP- und Echo-Proxies für die Live-Agentenbewertung.

Mehr über agentische Annotation →

Solo-Modus

Ein 12-Phasen-intelligenter Workflow, bei dem ein einzelner menschlicher Annotator mit einem LLM zusammenarbeitet, um ganze Datensätze zu beschriften. Erreicht über 95% Übereinstimmung mit Multi-Annotator-Pipelines bei nur 10–15% des gesamten menschlichen Annotationsaufwands.

Die 12 Phasen:

1. Seed-Annotation — Mensch beschriftet 50 vielfältige Instanzen
2. Erste LLM-Kalibrierung — LLM beschriftet anhand der Seed-Beispiele
3. Verwirrungsanalyse — Systematische Meinungsverschiedenheitsmuster identifizieren
4. Richtlinienverfeinerung — LLM schlägt vor, Mensch genehmigt aktualisierte Richtlinien
5. Generierung von Beschriftungsfunktionen — ALCHEmist-inspirierte programmatische Regeln
6. Aktive Beschriftung — Mensch beschriftet die informativsten Instanzen
7. Automatisierte Verfeinerungsschleife — Iteratives Neu-Beschriften mit verbesserten Richtlinien
8. Meinungsverschiedenheits-Erkundung — Mensch löst LLM/LF-Konflikte auf
9. Randfallsynthese — LLM generiert mehrdeutige Beispiele zur menschlichen Beschriftung
10. Kaskadierte Konfidenz-Eskalation — Mensch überprüft Beschriftungen mit niedrigster Konfidenz
11. Prompt-Optimierung — DSPy-inspirierte automatisierte Prompt-Suche
12. Abschlussvalidierung — Überprüfung einer Zufallsstichprobe

solo_mode:
  enabled: true
  llm:
    endpoint_type: openai
    model: "gpt-4o"
    api_key: ${OPENAI_API_KEY}
  seed_count: 50
  accuracy_threshold: 0.92

Multi-Signal-Instanzpriorisierung — 6 gewichtete Pools (uncertain, disagreement, boundary, novel, error_pattern, random) zur Auswahl der wertvollsten Instanzen.

Mehr über den Solo-Modus →

Best-Worst Scaling

Effiziente vergleichende Annotation, bei der Annotatoren die besten und schlechtesten Elemente aus Tupeln auswählen. Automatische Tupelgenerierung mit ausgeglichenen unvollständigen Blockdesigns und drei Bewertungsmethoden (Counting, Bradley-Terry, Plackett-Luce).

annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    items_key: "translations"
    tuple_size: 4
    best_label: "Most Fluent"
    worst_label: "Least Fluent"
    scoring:
      method: bradley_terry

Mehr über Best-Worst Scaling →

SSO & OAuth-Authentifizierung

Produktionsreife Authentifizierung mit Google OAuth (Domäneneinschränkung), GitHub OAuth (Organisationseinschränkung) und generischem OIDC (Okta, Azure AD, Auth0, Keycloak). Unterstützt automatische Registrierung, gemischten Modus und Sitzungsverwaltung.

authentication:
  method: google_oauth
  google_oauth:
    client_id: ${GOOGLE_CLIENT_ID}
    client_secret: ${GOOGLE_CLIENT_SECRET}
    allowed_domains:
      - "umich.edu"
    auto_register: true

Mehr über SSO & OAuth →

Parquet-Export

Annotationen in das Apache Parquet-Format exportieren, dabei werden drei strukturierte Dateien erzeugt: annotations.parquet, spans.parquet und items.parquet. Unterstützt snappy, gzip, zstd, lz4 und brotli-Komprimierung, inkrementellen Export sowie Datums- und Annotator-Partitionierung. Kompatibel mit pandas, DuckDB, PyArrow, Polars und Hugging Face Datasets.

parquet_export:
  enabled: true
  output_dir: "output/parquet/"
  compression: zstd
  auto_export: true

Mehr über den Parquet-Export →

15 neue Demo-Projekte

Neue Demos in project-hub/ zu agentischer Annotation (5 Demos), Solo-Modus (3 Demos), Best-Worst Scaling (3 Demos), Authentifizierung (2 Demos) und Export-Workflows (2 Demos). Jede Demo kann mit potato start config.yaml gestartet werden.

Sicherheitshärtung

• Kryptografisch sichere Sitzungstoken mit konfigurierbarem Ablauf
• CSRF-Schutz standardmäßig aktiviert
• Rate-Limiting auf Authentifizierungs-Endpunkten
• Eingabebereinigung für benutzerbezogene Inhalte
• Abhängigkeitsaudit mit aktualisierten Paketen
• Content-Security-Policy-Header

Weitere Verbesserungen

• Benutzerdefinierte Trace-Konverter für nicht unterstützte Agenten-Frameworks
• Hybrider Solo-Modus mit Multi-Annotator-Verifikations-Sampling
• BWS-Admin-Dashboard-Tab mit Score-Konvergenzdiagrammen
• Inkrementeller Parquet-Export mit Datumspartitionierung

Vergleich v2.2 vs. v2.3

Potato 2.2.0

Veröffentlicht am 20. Februar 2026

Potato 2.2 ist ein großes Feature-Release mit 9 neuen Annotationsschemata, einem modularen Export-System, MACE-Kompetenzschätzung, 55 validierten Survey-Instrumenten und Remote-Datenquellen.

Neue Annotationsschemata (9)

Ereignisannotation — N-äre Ereignisstrukturen mit Trigger-Spans und typisierten Argumentrollen. Annotieren Sie Ereignisse wie ATTACK, HIRE und TRAVEL mit eingeschränkten Entitätsargumenten und Hub-Speichen-Arc-Visualisierung.

annotation_schemes:
  - annotation_type: event_annotation
    name: events
    span_schema: entities
    event_types:
      - type: "ATTACK"
        trigger_labels: ["EVENT_TRIGGER"]
        arguments:
          - role: "attacker"
            entity_types: ["PERSON", "ORGANIZATION"]
            required: true

Mehr über Ereignisannotation →

Entitätsverknüpfung — Span-Annotationen mit externen Wissensdatenbanken verknüpfen (Wikidata, UMLS, benutzerdefinierte REST-APIs). Fügen Sie einem Span-Schema einen entity_linking:-Block hinzu, um KB-Suche und -Verknüpfung zu aktivieren.

Mehr über Entitätsverknüpfung →

Triage — Prodigy-ähnliche Akzeptieren/Ablehnen/Überspringen-Oberfläche für schnelles Daten-Screening. Anpassbare Beschriftungen, Tastaturkürzel und Auto-Advance für hochvolumige Annotation.

Mehr über Triage →

Paarweiser Vergleich — Zwei Elemente mit binärem (Klick auf bevorzugte Kachel) oder Skalenmodus (Schieberegler) vergleichen. Unterstützt items_key, allow_tie und einen scale:-Block mit konfigurierbarem Bereich.

Mehr über paarweisen Vergleich →

Gesprächsbäume — Hierarchische Gesprächsstrukturen mit knotenweisen Bewertungen, Pfadauswahl und Zweigvergleich annotieren.

Mehr über Gesprächsbäume →

Koreferenzketten — Koreferente Texterwähnungen mit visuellen Indikatoren in Ketten gruppieren. Unterstützt Entitätstypen, Singleton-Kontrolle und mehrere Hervorhebungsmodi.

Mehr über Koreferenzketten →

Segmentierungsmasken — Neue fill-, eraser- und brush-Werkzeuge für pixelgenaue Bildsegmentierung.

Begrenzungsrahmen für PDF/Dokumente — Boxen auf PDF-Seiten für Dokumentannotationsaufgaben zeichnen.

Diskontinuierliche Spans — allow_discontinuous: true ermöglicht die Auswahl nicht zusammenhängender Textsegmente als einzelnen Span.

Intelligente Annotation

MACE-Kompetenzschätzung — Variational-Bayes-EM-Algorithmus, der gemeinsam wahre Beschriftungen und Annotator-Kompetenz-Scores (0,0–1,0) schätzt. Funktioniert mit radio-, likert-, select- und multiselect-Schemata.

mace:
  enabled: true
  trigger_every_n: 10
  min_annotations_per_item: 3

Mehr über MACE →

Options-Hervorhebung — LLM-basierte Hervorhebung wahrscheinlich korrekter Optionen für diskrete Annotationsaufgaben. Hebt die Top-k-Optionen mit einem Stern-Indikator hervor und dimmt weniger wahrscheinliche Optionen.

ai_support:
  option_highlighting:
    enabled: true
    top_k: 3
    dim_opacity: 0.4

Mehr über Options-Hervorhebung →

Diversitätssortierung — Embedding-basiertes Clustering und Round-Robin-Sampling, um sicherzustellen, dass Annotatoren vielfältige Inhalte sehen und nicht ähnliche Elemente hintereinander.

assignment_strategy: diversity_clustering
diversity_ordering:
  enabled: true
  prefill_count: 100

Mehr über Diversitätssortierung →

Export-System

Eine neue modulare Export-CLI (python -m potato.export) konvertiert Annotationen in 6 branchenübliche Formate: COCO, YOLO, Pascal VOC, CoNLL-2003, CoNLL-U und Segmentierungsmasken.

python -m potato.export --config config.yaml --format coco --output ./export/

Mehr über Export-Formate →

Remote-Datenquellen

Annotationsdaten von URLs, S3, Google Drive, Dropbox, Hugging Face, Google Sheets und SQL-Datenbanken über den neuen data_sources:-Konfigurationsblock laden. Enthält partielles Laden, Caching und Verwaltung von Anmeldedaten.

Mehr über Remote-Datenquellen →

Survey-Instrumente

55 validierte Fragebögen in 8 Kategorien (Persönlichkeit, psychische Gesundheit, Affekt, Selbstkonzept, soziale Einstellungen, Antwortstil, Kurzform, Demografik). Verwendbar in Prestudy-/Poststudy-Phasen mit instrument: "tipi".

Mehr über Survey-Instrumente →

Weitere Verbesserungen

• Video-Objektverfolgung mit Keyframe-Interpolation
• Unterstützung externer KI-Konfigurationsdateien
• Verbesserungen des Formularlayout-Rasters
• Format-Handler für PDF, Word, Code und Tabellenkalkulationen

Potato 2.1.0

Veröffentlicht am 5. Februar 2026

Potato 2.1 führt das Instanzanzeigesystem, visuelle KI-Unterstützung, Span-Verknüpfung, Mehrf-Feld-Span-Annotation und Layout-Anpassung ein.

Instanzanzeigesystem

Ein neuer instance_display-Konfigurationsblock, der die Inhaltsanzeige von der Annotation trennt. Beliebige Kombinationen von Bildern, Videos, Audio, Text und Dialogen neben beliebigen Annotationsschemata anzeigen.

instance_display:
  fields:
    - key: image_url
      type: image
      display_options:
        max_width: 600
        zoomable: true
    - key: description
      type: text
 
annotation_schemes:
  - annotation_type: radio
    name: category
    labels: [nature, urban, people]

Unterstützt 11 Anzeigetypen, darunter text, html, image, video, audio, dialogue, pairwise, code, spreadsheet, document und pdf.

Mehr über Instanzanzeige →

Mehrfeld-Span-Annotation

Span-Annotationsschemata unterstützen jetzt eine target_field-Option zur Annotation mehrerer Textfelder in derselben Instanz.

annotation_schemes:
  - annotation_type: span
    name: source_entities
    target_field: "source_text"
    labels: [PERSON, ORGANIZATION]
 
  - annotation_type: span
    name: summary_entities
    target_field: "summary"
    labels: [PERSON, ORGANIZATION]

Mehr über Span-Annotation →

Span-Verknüpfung

Ein neuer span_link-Annotationstyp zum Erstellen typisierter Beziehungen zwischen annotierten Spans. Unterstützt gerichtete und ungerichtete Links, n-äre Beziehungen, visuelle Arc-Anzeige und Beschriftungseinschränkungen.

annotation_schemes:
  - annotation_type: span
    name: entities
    labels:
      - name: "PERSON"
        color: "#3b82f6"
      - name: "ORGANIZATION"
        color: "#22c55e"
 
  - annotation_type: span_link
    name: relations
    span_schema: entities
    link_types:
      - name: "WORKS_FOR"
        directed: true
        allowed_source_labels: ["PERSON"]
        allowed_target_labels: ["ORGANIZATION"]
        color: "#dc2626"

Mehr über Span-Verknüpfung →

Visuelle KI-Unterstützung

Vier neue Vision-Endpunkte für KI-gestützte Bild- und Videoannotation:

• YOLO — Schnelle lokale Objekterkennung
• Ollama Vision — Lokale Vision-Language-Modelle (LLaVA, Qwen-VL)
• OpenAI Vision — GPT-4o Cloud-Vision
• Anthropic Vision — Claude mit Vision

Funktionen umfassen Objekterkennung, Vor-Annotation, Klassifizierung, Hinweise, Szenenerkennung, Keyframe-Erkennung und Objektverfolgung.

Mehr über visuelle KI-Unterstützung →

Layout-Anpassung

Anspruchsvolle benutzerdefinierte visuelle Layouts mit HTML-Vorlagen und CSS erstellen. Potato generiert eine bearbeitbare Layout-Datei, oder Sie können eine vollständig benutzerdefinierte Vorlage mit Grid-Layouts, farbkodierten Optionen und Abschnittsgestaltung bereitstellen.

task_layout: layouts/custom_task_layout.html

Drei Beispiel-Layouts enthalten: Content-Moderation, Dialog-QA und medizinische Überprüfung.

Mehr über Layout-Anpassung →

Beschriftungsbegründungen

Eine vierte KI-Funktion, die ausgewogene Erklärungen dafür generiert, warum jede Beschriftung zutreffen könnte, und Annotatoren hilft, verschiedene Klassifizierungsperspektiven zu verstehen.

ai_support:
  features:
    rationales:
      enabled: true

Mehr über KI-Unterstützung →

Weitere Verbesserungen

• 50+ neue Tests für verbesserte Zuverlässigkeit
• Verbesserungen des responsiven Designs
• Verbesserte project-hub-Organisation mit Layout-Beispielen
• Fehlerbehebungen bei Annotationstypen

Vergleich v2.0 vs. v2.1

Potato 2.0

Potato 2.0 ist ein Hauptrelease, das leistungsstarke neue Funktionen für intelligente, skalierbare Annotation einführt. Dieser Abschnitt hebt die wichtigsten Ergänzungen und Verbesserungen hervor.

KI-Unterstützung

Integrieren Sie Large Language Models, um Annotatoren mit intelligenten Hinweisen, Schlüsselwort-Hervorhebung und Beschriftungsvorschlägen zu unterstützen.

Unterstützte Anbieter:

• OpenAI (GPT-4, GPT-3.5)
• Anthropic (Claude 3, Claude 3.5)
• Google (Gemini)
• Ollama (lokale Modelle)
• vLLM (selbst gehostet)

ai_support:
  enabled: true
  endpoint_type: openai
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
  features:
    hints:
      enabled: true
    label_suggestions:
      enabled: true

Mehr über KI-Unterstützung →

Audio-Annotation

Vollständige Audio-Annotation mit Wellenformvisualisierung powered by Peaks.js. Segmente erstellen, Zeitregionen beschriften und Sprache mit Tastaturkürzeln annotieren.

Hauptfunktionen:

• Wellenformvisualisierung
• Segmenterstellung und -beschriftung
• Annotationsfragen pro Segment
• 15+ Tastaturkürzel
• Serverseitiges Wellenform-Caching

annotation_schemes:
  - annotation_type: audio
    name: speakers
    mode: label
    labels:
      - Speaker A
      - Speaker B

Mehr über Audio-Annotation →

Aktives Lernen

Annotationsinstanzen automatisch basierend auf Modellungewissheit priorisieren. Klassifikatoren auf bestehenden Annotationen trainieren und Annotatoren auf die informativsten Beispiele fokussieren.

Funktionen:

• Mehrere Klassifikator-Optionen (LogisticRegression, RandomForest, SVC, MultinomialNB)
• Verschiedene Vektorisierer (TF-IDF, Count, Hashing)
• Modellpersistenz über Neustarts hinweg
• LLM-gestützte Auswahl
• Multi-Schema-Unterstützung

active_learning:
  enabled: true
  schema_names:
    - sentiment
  min_instances_for_training: 30
  update_frequency: 50
  classifier:
    type: LogisticRegression

Mehr über aktives Lernen →

Trainingsphase

Annotatoren mit Übungsfragen vor der Hauptaufgabe qualifizieren. Sofortiges Feedback geben und Qualität durch konfigurierbare Bestehungskriterien sicherstellen.

Funktionen:

• Übungsfragen mit bekannten Antworten
• Sofortiges Feedback und Erklärungen
• Konfigurierbare Bestehungskriterien
• Wiederholungsoptionen
• Fortschrittsverfolgung im Admin-Dashboard

phases:
  training:
    enabled: true
    data_file: "data/training.json"
    passing_criteria:
      min_correct: 8
      total_questions: 10

Mehr über die Trainingsphase →

Erweitertes Admin-Dashboard

Umfassende Überwachungs- und Verwaltungsoberfläche für Annotationsaufgaben.

Dashboard-Tabs:

• Übersicht: Übergeordnete Kennzahlen und Abschlussraten
• Annotatoren: Leistungsverfolgung, Zeitanalyse
• Instanzen: Daten mit Meinungsverschiedenheits-Scores durchsuchen
• Konfiguration: Einstellungen in Echtzeit anpassen

admin_api_key: ${ADMIN_API_KEY}

Mehr über das Admin-Dashboard →

Datenbank-Backend

MySQL-Unterstützung für groß angelegte Deployments mit Verbindungs-Pooling und Transaktionsunterstützung.

database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

Potato erstellt beim ersten Start automatisch die erforderlichen Tabellen.

Annotationsverlauf

Vollständige Verfolgung aller Annotationsänderungen mit Zeitstempeln, Benutzer-IDs und Aktionstypen. Ermöglicht Auditing und Verhaltensanalyse.

{
  "history": [
    {
      "timestamp": "2024-01-15T10:30:00Z",
      "user": "annotator_1",
      "action": "create",
      "schema": "sentiment",
      "value": "Positive"
    }
  ]
}

Mehrphasige Workflows

Komplexe Annotations-Workflows mit mehreren aufeinanderfolgenden Phasen aufbauen:

1. Einwilligung – Einholung der informierten Einwilligung
2. Vorstudie – Demografik und Screening
3. Anweisungen – Aufgabenrichtlinien
4. Training – Übungsfragen
5. Annotation – Hauptaufgabe
6. Nachstudie – Feedback-Umfragen

phases:
  consent:
    enabled: true
    data_file: "data/consent.json"
  prestudy:
    enabled: true
    data_file: "data/demographics.json"
  training:
    enabled: true
    data_file: "data/training.json"
  poststudy:
    enabled: true
    data_file: "data/feedback.json"

Mehr über mehrphasige Workflows →

v2.0-Konfigurationsänderungen

Neue Konfigurationsstruktur

Potato 2.0 verwendet ein übersichtlicheres Konfigurationsformat:

v1 (alt):

data_files:
  - data.json
id_key: id
text_key: text
output_file: annotations.json

v2 (neu):

data_files:
  - "data/data.json"
 
item_properties:
  id_key: id
  text_key: text
 
output_annotation_dir: "output/"
output_annotation_format: "json"

Sicherheitsanforderung

Konfigurationsdateien müssen sich jetzt innerhalb des task_dir befinden:

# Valid - config.yaml is in the project directory
task_dir: "."
 
# Valid - config in configs/ subdirectory
task_dir: "my_project/"

Schnellvergleich

Migrationsleitfaden

Konfiguration aktualisieren (v1 auf v2)

1. Datenkonfiguration

   yamlCopy

   # Old
   id_key: id
   text_key: text
    
   # New
   item_properties:
     id_key: id
     text_key: text

2. Ausgabekonfiguration

   yamlCopy

   # Old
   output_file: annotations.json
    
   # New
   output_annotation_dir: "output/"
   output_annotation_format: "json"

3. Speicherort der Konfigurationsdatei Stellen Sie sicher, dass sich Ihre Konfigurationsdatei im Projektverzeichnis befindet.

Server starten

# v2 command
python -m potato start config.yaml -p 8000
 
# Or shorthand
potato start config.yaml

Einstieg

Bereit, Potato auszuprobieren? Beginnen Sie mit der Schnellstart-Anleitung oder erkunden Sie spezifische Funktionen:

v2.3-Funktionen:

• Agentische Annotation – KI-Agenten mit 12 Konvertern und 3 Anzeigetypen bewerten
• Solo-Modus – Kollaborative Mensch-LLM-Beschriftung
• Best-Worst Scaling – Vergleichende Annotation mit Bewertung
• SSO & OAuth – Google-, GitHub- und OIDC-Authentifizierung
• Parquet-Export – Spaltenbasierter Datenexport

v2.2-Funktionen:

• Ereignisannotation – N-äre Ereignisstrukturen
• Entitätsverknüpfung – Wissensdatenbank-Verknüpfung
• Triage – Schnelles Daten-Screening
• Koreferenzketten – Entitäts-Koreferenz
• Gesprächsbäume – Hierarchische Dialog-Annotation
• MACE – Annotator-Kompetenzschätzung
• Options-Hervorhebung – KI-gestützte Optionsführung
• Diversitätssortierung – Embedding-basierte Element-Sortierung
• Export-Formate – Export-CLI mit 6 Formaten
• Remote-Datenquellen – Cloud-Datenladen
• Survey-Instrumente – 55 validierte Fragebögen

v2.1-Funktionen:

• Instanzanzeige – Multimodale Inhaltsanzeige
• Visuelle KI-Unterstützung – KI für Bild- und Videoannotation
• Span-Verknüpfung – Entitätsbeziehungs-Annotation

Kernfunktionen:

• KI-Unterstützung – Intelligente Annotations-Unterstützung
• Aktives Lernen – Intelligente Instanzpriorisierung
• Audio-Annotation – Wellenformbasierte Annotation
• Trainingsphase – Annotator-Qualifikation
• Admin-Dashboard – Überwachung und Verwaltung