Potato présenté à EMNLP 2022

Nous sommes fiers d'annoncer que notre article présentant Potato a été accepté à EMNLP 2022, l'une des principales conférences en traitement automatique du langage naturel. Cette étape représente des années de recherche et de développement visant à rendre l'annotation de données plus accessible à la communauté de recherche.

L'article

"Potato: The Portable Text Annotation Tool" présente la philosophie de conception, l'architecture et les capacités de Potato. L'article démontre comment une approche centrée sur la configuration peut considérablement réduire la barrière à l'entrée pour créer des interfaces d'annotation de haute qualité.

Contributions clés

1. Conception centrée sur la configuration : Nous montrons comment des interfaces d'annotation complexes peuvent être spécifiées entièrement par configuration YAML, éliminant le besoin de code personnalisé dans la plupart des cas d'utilisation.

2. Schémas d'annotation flexibles : Potato supporte une large gamme de types d'annotation (boutons radio, cases à cocher, spans, échelles de Likert et plus) qui peuvent être combinés pour créer des tâches d'annotation sophistiquées.

3. Contrôle qualité intégré : L'article décrit notre approche de la gestion de la qualité des annotateurs à travers des phases de formation, des vérifications d'attention et le suivi de l'accord inter-annotateurs.

4. Intégration du crowdsourcing : Nous démontrons une intégration transparente avec des plateformes comme Prolific et Amazon Mechanical Turk pour des études d'annotation à grande échelle.

Citer Potato

Si vous utilisez Potato dans votre recherche, veuillez citer notre article :

@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Pourquoi nous avons créé Potato

La motivation pour Potato est venue de nos propres frustrations en tant que chercheurs en NLP. Chaque nouveau projet d'annotation semblait nécessiter soit :

1. L'apprentissage d'une plateforme d'annotation complexe avec des fonctionnalités dont nous n'avions pas besoin
2. La construction d'interfaces personnalisées à partir de zéro
3. Des compromis sur l'expérience d'annotation en raison des limitations des outils

Nous voulions un outil qui soit :

• Simple : démarrer en quelques minutes, pas en quelques jours
• Flexible : supporter toute tâche d'annotation imaginable
• Portable : fonctionner partout sans infrastructure complexe
• Adapté à la recherche : conçu pour les flux de travail académiques et la reproductibilité

Impact et adoption

Depuis sa publication, Potato a été adopté par des groupes de recherche dans le monde entier pour des projets incluant :

• Analyse de sentiment et détection d'émotions
• Reconnaissance d'entités nommées et extraction de relations
• Modération de contenu et détection de toxicité
• Argumentation et détection de posture
• NLP clinique et fouille de textes biomédicaux

Perspectives

La publication à EMNLP n'était que le début. Depuis, nous avons ajouté :

• Le support de l'annotation d'images et d'audio
• L'assistance à l'annotation par IA
• L'intégration de l'apprentissage actif
• Des fonctionnalités de collaboration améliorées

Nous nous engageons à poursuivre le développement en fonction des retours de la communauté. Si vous avez des demandes de fonctionnalités ou des idées, veuillez ouvrir un ticket sur notre dépôt GitHub.

Remerciements

Nous remercions les annotateurs, les bêta-testeurs et les premiers utilisateurs qui ont contribué à façonner Potato. Un remerciement spécial à l'Université du Michigan pour le soutien de cette recherche et aux relecteurs d'EMNLP pour leurs précieux commentaires.

Lisez l'article complet sur ACL Anthology ou regardez notre vidéo de démonstration.