Skip to content
Announcements3 min read

Potato presentato a EMNLP 2022

Il nostro articolo su Potato è stato accettato a EMNLP 2022. Ecco la ricerca dietro lo strumento e come citarlo nei tuoi lavori.

Potato Team

Nota: questo post descrive il sistema Potato originale presentato a EMNLP 2022. Da allora Potato è cresciuto e comprende l'annotazione assistita dall'AI, il supporto multimediale e oltre 50 tipi di annotazione. Per informazioni aggiornate vedi la documentazione attuale.

L'articolo con cui presentiamo Potato è stato accettato a EMNLP 2022. È il risultato di qualche anno di lavoro per rendere l'annotazione dei dati meno faticosa per chi fa ricerca, e ci fa piacere vederlo nel programma.

L'articolo

"Potato: The Portable Text Annotation Tool" descrive il design, l'architettura e le capacità di Potato. La tesi è semplice: se puoi specificare un'interfaccia di annotazione in un file di configurazione, non devi scrivere codice per averne una buona.

Contributi principali

  1. Progettazione basata sulla configurazione: interfacce di annotazione anche complesse si specificano interamente in YAML, quindi la maggior parte dei progetti non ha bisogno di codice su misura.

  2. Schemi di annotazione flessibili: Potato supporta radio button, checkbox, span, scale Likert e altro, e li puoi combinare per i task più articolati.

  3. Controllo di qualità integrato: l'articolo spiega come gestiamo la qualità degli annotatori con le fasi di training, i controlli di attenzione e il monitoraggio dell'accordo tra annotatori.

  4. Integrazione con il crowdsourcing: Potato si collega a Prolific e ad Amazon Mechanical Turk per gli studi su larga scala.

Come citare Potato

Se usi Potato nella tua ricerca, cita il nostro articolo:

bibtex
@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Perché abbiamo costruito Potato

Potato nasce dalla nostra frustrazione di ricercatori in NLP. A ogni nuovo progetto di annotazione ci trovavamo davanti a scelte scomode: imparare una piattaforma pesante piena di funzionalità che non ci servivano, costruire un'interfaccia da zero, oppure accontentarci di un'esperienza di annotazione peggiore perché lo strumento non faceva quello che volevamo.

Così abbiamo costruito qualcosa che si avvia in fretta (minuti, non giorni), abbastanza flessibile per qualsiasi task gli abbiamo dato in pasto, facile da far girare senza troppa infrastruttura e pensato attorno ai flussi di lavoro accademici e alla riproducibilità.

Diffusione e utilizzi

Diversi gruppi di ricerca hanno usato Potato per lavori su sentiment ed emozioni, riconoscimento di entità nominate ed estrazione di relazioni, moderazione dei contenuti e rilevamento della tossicità, argument mining e rilevamento della posizione, text mining clinico e biomedico, tra gli altri.

Cosa arriva dopo

L'articolo di EMNLP era il punto di partenza. Da allora abbiamo aggiunto l'annotazione di immagini e audio, l'assistenza all'annotazione basata sull'AI, l'active learning e funzionalità di collaborazione migliori.

Continuiamo a sviluppare in base a quello che ci viene chiesto. Se hai una richiesta o un'idea, apri una issue sul nostro repository GitHub.

Ringraziamenti

Grazie agli annotatori, ai beta tester e a chi ha adottato Potato per primo dando forma allo strumento, all'Università del Michigan per aver sostenuto la ricerca e ai revisori di EMNLP per i loro commenti.

Leggi l'articolo completo su ACL Anthology.