Note: This post describes the original Potato system presented at EMNLP 2022. Potato has since evolved significantly with AI-powered annotation, multimedia support, and 30+ annotation types. See the current documentation for up-to-date information.

Nosso artigo que apresenta o Potato foi aceito na EMNLP 2022. Ele é resultado de alguns anos de trabalho tentando tornar a anotação de dados menos penosa para pesquisadores, e ficamos felizes em vê-lo na programação.

O Artigo

"Potato: The Portable Text Annotation Tool" descreve o design, a arquitetura e os recursos do Potato. O argumento é simples: se você consegue especificar uma interface de anotação em um arquivo de configuração, não precisa escrever código para ter uma boa interface.

Principais Contribuições

Design Centrado em Configuração: Interfaces de anotação complexas podem ser especificadas inteiramente por meio de YAML, de modo que a maioria dos projetos dispensa código personalizado.
Esquemas de Anotação Flexíveis: O Potato oferece suporte a botões de rádio, caixas de seleção, spans, escalas Likert e muito mais, e você pode combiná-los para tarefas mais elaboradas.
Controle de Qualidade Integrado: O artigo aborda como gerenciamos a qualidade dos anotadores por meio de fases de treinamento, verificações de atenção e monitoramento de concordância entre anotadores.
Integração com Crowdsourcing: O Potato se conecta ao Prolific e ao Amazon Mechanical Turk para estudos em larga escala.

Como Citar o Potato

Se você usar o Potato em sua pesquisa, cite nosso artigo:

bibtex

@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Por Que Criamos o Potato

O Potato surgiu da nossa própria frustração como pesquisadores de PLN. Todo novo projeto de anotação parecia nos deixar com opções ruins: aprender uma plataforma pesada cheia de recursos de que não precisávamos, construir uma interface do zero ou nos contentar com uma experiência de anotação pior porque a ferramenta não fazia o que queríamos.

Então criamos algo simples para começar (minutos, não dias), flexível o suficiente para qualquer tarefa que lhe propuséssemos, fácil de executar sem muita infraestrutura e construído em torno de fluxos de trabalho acadêmicos e da reprodutibilidade.

Impacto e Adoção

Grupos de pesquisa usaram o Potato para trabalhos de sentimento e emoção, reconhecimento de entidades nomeadas e extração de relações, moderação de conteúdo e detecção de toxicidade, mineração de argumentos e detecção de posicionamento, e mineração de texto clínico e biomédico, entre outros.

Olhando Para o Futuro

O artigo da EMNLP foi o ponto de partida. Desde então, adicionamos anotação de imagem e áudio, assistência de anotação com IA, aprendizado ativo e melhores recursos de colaboração.

Continuamos desenvolvendo com base no que as pessoas pedem. Se você tiver uma solicitação de recurso ou uma ideia, abra uma issue em nosso repositório no GitHub.

Agradecimentos

Agradecemos aos anotadores, testadores beta e primeiros usuários que moldaram o Potato, à Universidade de Michigan por apoiar a pesquisa e aos revisores da EMNLP por seu retorno.

Leia o artigo completo na ACL Anthology ou assista ao nosso vídeo de demonstração.