Skip to content
Announcements3 min read

Potato auf der EMNLP 2022

Unser Paper zu Potato wurde auf der EMNLP 2022 angenommen. Hier steht, welche Forschung hinter dem Werkzeug steckt und wie du es in deiner Arbeit zitierst.

Potato Team

Hinweis: Dieser Beitrag beschreibt das ursprüngliche Potato-System, wie es auf der EMNLP 2022 vorgestellt wurde. Seither ist Potato um KI-gestützte Annotation, Multimedia-Unterstützung und mehr als 50 Annotationstypen gewachsen. Der aktuelle Stand steht in der aktuellen Dokumentation.

Unser Paper, das Potato vorstellt, wurde auf der EMNLP 2022 angenommen. Dahinter stecken einige Jahre Arbeit an der Frage, wie sich Datenannotation für Forschende erträglicher machen lässt, und wir freuen uns, es im Programm zu sehen.

Das Paper

"Potato: The Portable Text Annotation Tool" beschreibt Entwurf, Architektur und Fähigkeiten von Potato. Das Argument ist schlicht: Wenn sich eine Annotationsoberfläche in einer Konfigurationsdatei festlegen lässt, muss niemand Code schreiben, um eine gute zu bekommen.

Zentrale Beiträge

  1. Konfiguration zuerst: Auch aufwendige Annotationsoberflächen lassen sich vollständig in YAML festlegen, sodass die meisten Projekte ohne eigenen Code auskommen.

  2. Flexible Annotationsschemata: Potato unterstützt Radio-Buttons, Checkboxen, Spans, Likert-Skalen und weitere Formen, die sich für anspruchsvollere Aufgaben kombinieren lassen.

  3. Eingebaute Qualitätskontrolle: Das Paper beschreibt, wie wir die Qualität der Annotierenden über Trainingsphasen, Aufmerksamkeitstests und die Beobachtung der Inter-Annotator-Übereinstimmung im Blick behalten.

  4. Anbindung an Crowdsourcing: Potato lässt sich für große Studien mit Prolific und Amazon Mechanical Turk verbinden.

Potato zitieren

Wenn du Potato in deiner Forschung einsetzt, zitier bitte unser Paper:

bibtex
@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Warum wir Potato gebaut haben

Potato ist aus unserem eigenen Ärger als NLP-Forschende entstanden. Bei jedem neuen Annotationsprojekt blieben nur schlechte Möglichkeiten: sich in eine schwergewichtige Plattform voller ungenutzter Funktionen einarbeiten, eine Oberfläche von Grund auf bauen oder eine schlechtere Annotationserfahrung hinnehmen, weil das Werkzeug das Gewünschte nicht konnte.

Also haben wir etwas gebaut, das schnell startklar ist (Minuten, nicht Tage), das mit jeder Aufgabe zurechtkommt, die wir ihm vorgesetzt haben, das sich ohne viel Infrastruktur betreiben lässt und das auf akademische Arbeitsabläufe und Reproduzierbarkeit zugeschnitten ist.

Wirkung und Verbreitung

Forschungsgruppen haben Potato unter anderem für Arbeiten zu Sentiment und Emotion eingesetzt, für Eigennamenerkennung und Relationsextraktion, für Inhaltsmoderation und Toxizitätserkennung, für Argument Mining und Stance Detection sowie für klinisches und biomedizinisches Text Mining.

Ausblick

Das EMNLP-Paper war der Anfang. Seither sind Bild- und Audioannotation, KI-gestützte Annotationshilfe, Active Learning und bessere Funktionen für die Zusammenarbeit dazugekommen.

Wir entwickeln weiter an dem, wonach gefragt wird. Wenn du dir eine Funktion wünschst oder eine Idee hast, eröffne ein Issue in unserem GitHub-Repository.

Dank

Dank an die Annotierenden, Betatestenden und frühen Nutzerinnen und Nutzer, die Potato geprägt haben, an die University of Michigan für die Unterstützung der Forschung und an die Gutachtenden der EMNLP für ihre Rückmeldungen.

Das vollständige Paper steht in der ACL Anthology.