Potato 2.0 est publié dans les System Demonstrations d'ACL 2026. L'article décrit ce qu'est Potato aujourd'hui : 39 types de tâches d'annotation pour le texte, l'audio, l'image et la vidéo, la prise en charge de l'étiquetage des sorties d'agents d'IA, et un flux de travail avec IA dans la boucle où une personne annotatrice travaille aux côtés d'un LLM par affinage itératif des prompts. Si vous utilisez Potato dans vos recherches, c'est l'article à citer.

Vous pouvez le lire sur l'ACL Anthology.

Ce que contient l'article

Le premier article sur Potato, à EMNLP 2022, décrivait un outil fondé sur la configuration pour annoter du texte : vous écrivez un fichier YAML, vous obtenez une interface fonctionnelle et vous évitez le code front-end sur mesure. Cette idée tient toujours, mais l'outil a depuis largement dépassé le texte.

Potato 2.0 rend compte de ce qui est arrivé avec cette évolution :

Les 39 types de tâches couvrent désormais le texte, l'audio, l'image et la vidéo, si bien qu'une seule configuration peut décrire une échelle de sentiment, une chronologie d'événements audio, une tâche de boîtes englobantes ou une notation de vidéo.
Lorsque les gens ont commencé à évaluer des LLM et des agents, Potato a ajouté des affichages pour les trajectoires d'agents, les appels d'outils et les sorties en plusieurs étapes que les personnes annotatrices peuvent étiqueter directement.
Une personne annotatrice et un LLM peuvent travailler ensemble sur la même tâche, la personne affinant les prompts au fil de l'eau plutôt que d'étiqueter chaque élément à la main.

Pour une version plus détaillée de l'un ou l'autre de ces points, la documentation des fonctionnalités entre dans le détail.

L'historique des publications de Potato

Potato est apparu plusieurs fois dans la littérature. Pour la plupart des usages, citez l'article d'ACL 2026.

Potato 2.0: A Comprehensive Annotation Platform with AI-in-the-Loop Support. Jurgens, Chen et Iyer. ACL 2026, Volume 3 : System Demonstrations. ACL Anthology
Potato: The Portable Text Annotation Tool. Pei et al. EMNLP 2022 : System Demonstrations. ACL Anthology · arXiv

La démo de Potato a également reçu le prix de la meilleure démo à HCOMP 2024.

Comment citer Potato

bibtex

@inproceedings{jurgens-etal-2026-potato,
    title = "Potato 2.0: A Comprehensive Annotation Platform with {AI}-in-the-Loop Support",
    author = "Jurgens, David and Chen, Michael and Iyer, Lina",
    booktitle = "Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 3: System Demonstrations)",
    month = jul,
    year = "2026",
    address = "San Diego, California, United States",
    publisher = "Association for Computational Linguistics",
    pages = "374--386",
    url = "https://aclanthology.org/2026.acl-demo.37/",
}

Si vous citez spécifiquement le travail initial sur l'annotation de texte, l'article d'EMNLP 2022 reste la bonne référence :

bibtex

@inproceedings{pei-etal-2022-potato,
    title = "{POTATO}: The Portable Text Annotation Tool",
    author = "Pei, Jiaxin and Ananthasubramaniam, Aparna and Wang, Xingyao and Zhou, Naitian and Dedeloudis, Apostolos and Sargent, Jackson and Jurgens, David",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, UAE",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2022.emnlp-demos.33/",
    pages = "327--337",
}

Merci à toutes les personnes qui ont utilisé Potato, signalé des problèmes et proposé des tâches d'annotation auxquelles nous n'avions pas pensé. Si vous créez quelque chose avec, nous serions ravis d'en entendre parler sur GitHub.