Potato 2.0 ist in den System Demonstrations der ACL 2026 veröffentlicht. Das Paper beschreibt, wie Potato heute aussieht: 39 Annotationsaufgabentypen für Text, Audio, Bild und Video, Unterstützung für das Labeln der Ausgaben von KI-Agenten und einen AI-in-the-Loop-Workflow, bei dem eine annotierende Person zusammen mit einem LLM über iteratives Verfeinern von Prompts arbeitet. Wenn Sie Potato in Ihrer Forschung verwenden, ist dies das zu zitierende Paper.

Sie können es in der ACL Anthology lesen.

Was das Paper behandelt

Das erste Potato-Paper auf der EMNLP 2022 beschrieb ein konfigurationsbasiertes Werkzeug für Textannotation: Sie schreiben eine YAML-Datei, erhalten eine funktionierende Oberfläche und sparen sich den maßgeschneiderten Frontend-Code. Diese Idee gilt weiterhin, aber das Werkzeug ist seitdem weit über Text hinausgewachsen.

Potato 2.0 berichtet über das, was mit diesem Wachstum kam:

Die 39 Aufgabentypen decken nun Text, Audio, Bild und Video ab, sodass eine einzige Konfiguration eine Sentiment-Skala, eine Zeitleiste von Audio-Ereignissen, eine Bounding-Box-Aufgabe oder eine Video-Bewertung beschreiben kann.
Als Leute anfingen, LLMs und Agenten zu evaluieren, ergänzte Potato Ansichten für Agenten-Trajektorien, Tool-Aufrufe und mehrstufige Ausgaben, die annotierende Personen direkt labeln können.
Eine annotierende Person und ein LLM können dieselbe Aufgabe gemeinsam bearbeiten, wobei die Person die Prompts unterwegs verfeinert, statt jedes Element von Hand zu labeln.

Eine ausführlichere Fassung zu jedem dieser Punkte bietet die Funktionsdokumentation.

Potatos Publikationsverzeichnis

Potato ist mehrfach in der Forschungsliteratur aufgetaucht. Für die meisten Zwecke zitieren Sie das ACL-2026-Paper.

Potato 2.0: A Comprehensive Annotation Platform with AI-in-the-Loop Support. Jurgens, Chen und Iyer. ACL 2026, Band 3: System Demonstrations. ACL Anthology
Potato: The Portable Text Annotation Tool. Pei et al. EMNLP 2022: System Demonstrations. ACL Anthology · arXiv

Die Potato-Demo erhielt außerdem den Best Demo Award auf der HCOMP 2024.

Wie man Potato zitiert

bibtex

@inproceedings{jurgens-etal-2026-potato,
    title = "Potato 2.0: A Comprehensive Annotation Platform with {AI}-in-the-Loop Support",
    author = "Jurgens, David and Chen, Michael and Iyer, Lina",
    booktitle = "Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)",
    month = jul,
    year = "2026",
    address = "San Diego, California, United States",
    publisher = "Association for Computational Linguistics",
    pages = "374--386",
    url = "https://aclanthology.org/2026.acl-demo.37/",
}

Wenn Sie speziell die ursprüngliche Arbeit zur Textannotation zitieren, ist das EMNLP-2022-Paper weiterhin die richtige Referenz:

bibtex

@inproceedings{pei-etal-2022-potato,
    title = "{POTATO}: The Portable Text Annotation Tool",
    author = "Pei, Jiaxin and Ananthasubramaniam, Aparna and Wang, Xingyao and Zhou, Naitian and Dedeloudis, Apostolos and Sargent, Jackson and Jurgens, David",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, UAE",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.emnlp-demos.33/",
    pages = "327--337",
}

Danke an alle, die Potato genutzt, Issues gemeldet und uns Annotationsaufgaben geschickt haben, an die wir nicht gedacht hätten. Wenn Sie etwas damit bauen, würden wir gern auf GitHub davon hören.