Note: This post describes the original Potato system presented at EMNLP 2022. Potato has since evolved significantly with AI-powered annotation, multimedia support, and 30+ annotation types. See the current documentation for up-to-date information.

Potato를 소개하는 논문이 EMNLP 2022에 채택되었습니다. 이 논문은 연구자들에게 데이터 어노테이션을 덜 고통스럽게 만들기 위해 몇 년간 노력한 결과이며, 프로그램에 포함된 것을 기쁘게 생각합니다.

논문

**"Potato: The Portable Text Annotation Tool"**은 Potato의 설계, 아키텍처, 기능을 설명합니다. 주장은 단순합니다. 어노테이션 인터페이스를 설정 파일로 지정할 수 있다면, 좋은 인터페이스를 얻기 위해 코드를 작성할 필요가 없다는 것입니다.

주요 기여

설정 우선 설계: 복잡한 어노테이션 인터페이스를 전적으로 YAML로 지정할 수 있어, 대부분의 프로젝트에서 사용자 정의 코드가 필요하지 않습니다.
유연한 어노테이션 스킴: Potato는 라디오 버튼, 체크박스, 스팬, 리커트 척도 등을 지원하며, 더 복잡한 작업을 위해 이를 조합할 수 있습니다.
내장 품질 관리: 이 논문은 학습 단계, 주의 점검, 어노테이터 간 일치도 모니터링을 통해 어노테이터의 품질을 관리하는 방법을 다룹니다.
크라우드소싱 통합: Potato는 대규모 연구를 위해 Prolific 및 Amazon Mechanical Turk와 연동됩니다.

Potato 인용하기

연구에서 Potato를 사용하신다면, 다음 논문을 인용해 주십시오:

bibtex

@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Potato를 만든 이유

Potato는 NLP 연구자로서 겪은 우리 자신의 답답함에서 비롯되었습니다. 새로운 어노테이션 프로젝트를 시작할 때마다 좋지 않은 선택지만 남는 것 같았습니다. 필요하지도 않은 기능으로 가득 찬 무거운 플랫폼을 배우거나, 인터페이스를 처음부터 구축하거나, 도구가 원하는 것을 하지 못해 더 나쁜 어노테이션 경험으로 만족해야 했습니다.

그래서 우리는 시작이 간단하고(며칠이 아니라 몇 분), 어떤 작업을 던져도 충분히 유연하며, 많은 인프라 없이도 쉽게 실행할 수 있고, 학술 워크플로와 재현성을 중심으로 만들어진 무언가를 구축했습니다.

영향과 도입

연구 그룹들은 감정 및 정서 작업, 개체명 인식 및 관계 추출, 콘텐츠 검열 및 유해성 탐지, 논증 마이닝 및 입장 탐지, 임상 및 생의학 텍스트 마이닝 등에 Potato를 사용해 왔습니다.

앞으로의 전망

EMNLP 논문은 출발점이었습니다. 그 이후로 우리는 이미지 및 오디오 어노테이션, AI 기반 어노테이션 지원, 능동 학습, 그리고 향상된 협업 기능을 추가했습니다.

우리는 사람들이 요청하는 바에 따라 계속 개발하고 있습니다. 기능 요청이나 아이디어가 있다면, GitHub 저장소에 이슈를 열어 주십시오.

감사의 말

Potato를 형성해 준 어노테이터, 베타 테스터, 초기 사용자 여러분, 연구를 지원해 준 미시간 대학교, 그리고 피드백을 준 EMNLP 심사위원 여러분께 감사드립니다.

전체 논문은 ACL Anthology에서 읽거나 데모 영상을 시청하십시오.