Potato Presentado en EMNLP 2022

Nos enorgullece anunciar que nuestro artículo presentando Potato fue aceptado en EMNLP 2022, una de las conferencias más prestigiosas en Procesamiento del Lenguaje Natural. Este hito representa años de investigación y desarrollo orientados a hacer la anotación de datos más accesible para la comunidad investigadora.

El Artículo

"Potato: The Portable Text Annotation Tool" presenta la filosofía de diseño, la arquitectura y las capacidades de Potato. El artículo demuestra cómo un enfoque basado en configuración puede reducir drásticamente la barrera de entrada para crear interfaces de anotación de alta calidad.

Contribuciones Clave

1. Diseño Basado en Configuración: Mostramos cómo interfaces de anotación complejas pueden especificarse completamente a través de configuración YAML, eliminando la necesidad de código personalizado en la mayoría de los casos de uso.

2. Esquemas de Anotación Flexibles: Potato soporta una amplia gama de tipos de anotación (botones de radio, casillas de verificación, spans, escalas Likert y más) que pueden combinarse para crear tareas de anotación sofisticadas.

3. Control de Calidad Integrado: El artículo describe nuestro enfoque para gestionar la calidad del anotador a través de fases de entrenamiento, verificaciones de atención y monitoreo de acuerdo entre anotadores.

4. Integración con Crowdsourcing: Demostramos integración fluida con plataformas como Prolific y Amazon Mechanical Turk para estudios de anotación a gran escala.

Citar Potato

Si usas Potato en tu investigación, por favor cita nuestro artículo:

@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Por Qué Construimos Potato

La motivación para Potato surgió de nuestras propias frustraciones como investigadores de NLP. Cada nuevo proyecto de anotación parecía requerir:

1. Aprender una plataforma de anotación compleja con funciones que no necesitábamos
2. Construir interfaces personalizadas desde cero
3. Comprometer la experiencia de anotación debido a las limitaciones de las herramientas

Queríamos una herramienta que fuera:

• Simple: Comenzar en minutos, no en días
• Flexible: Soportar cualquier tarea de anotación que pudiéramos imaginar
• Portable: Ejecutarse en cualquier lugar sin infraestructura compleja
• Amigable para la investigación: Diseñada para flujos de trabajo académicos y reproducibilidad

Impacto y Adopción

Desde su lanzamiento, Potato ha sido adoptado por grupos de investigación en todo el mundo para proyectos que incluyen:

• Análisis de sentimiento y detección de emociones
• Reconocimiento de entidades nombradas y extracción de relaciones
• Moderación de contenido y detección de toxicidad
• Minería de argumentos y detección de postura
• NLP clínico y minería de texto biomédico

Mirando Hacia Adelante

La publicación en EMNLP fue solo el comienzo. Desde entonces, hemos añadido:

• Soporte de anotación de imágenes y audio
• Asistencia de anotación impulsada por IA
• Integración de aprendizaje activo
• Funciones de colaboración mejoradas

Estamos comprometidos con continuar el desarrollo basado en la retroalimentación de la comunidad. Si tienes solicitudes de funciones o ideas, por favor abre un issue en nuestro repositorio de GitHub.

Agradecimientos

Agradecemos a los anotadores, beta testers y primeros adoptantes que ayudaron a dar forma a Potato. Un agradecimiento especial a la Universidad de Michigan por apoyar esta investigación y a los revisores de EMNLP por sus valiosos comentarios.

Lee el artículo completo en ACL Anthology o mira nuestro video de demostración.