Skip to content
Announcements1 min read

Potato 亮相 EMNLP 2022

我們關於 Potato 的論文被 EMNLP 2022 收錄。瞭解該工具背後的研究以及如何在您的工作中引用它。

Potato Team

**注意：**本文描述的是 EMNLP 2022 上發表的最初那版 Potato。此後 Potato 已經加入了 AI 輔助標註、多媒體支援和 50 多種標註類型。最新資訊見當前文件。

我們很自豪地宣佈，我們介紹 Potato 的論文已被 EMNLP 2022 接收，這是自然語言處理領域的頂級會議之一。這一里程碑代表了多年來旨在讓研究社群更方便地進行資料標註的研究和開發成果。

論文

"Potato: The Portable Text Annotation Tool" 介紹了 Potato 的設計理念、架構和功能。論文展示了配置優先的方法如何大幅降低建立高品質標註介面的門檻。

主要貢獻

  1. 配置優先設計：我們展示瞭如何完全通過 YAML 配置來定義複雜的標註介面，在大多數使用場景中無需編寫自定義程式碼。

  2. 靈活的標註方案：Potato 支援多種標註類型（單選按鈕、核取方塊、跨度標註、Likert 量表等），可以組合建立複雜的標註任務。

  3. 內建品質控制：論文描述了我們通過培訓階段、注意力檢查和標註者間一致性監控來管理標註者品質的方法。

  4. 眾包整合：我們展示了與 Prolific 和 Amazon Mechanical Turk 等平臺的無縫整合，用於大規模標註研究。

引用 Potato

如果您在研究中使用了 Potato，請引用我們的論文：

bibtex
@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

我們為什麼開發 Potato

開發 Potato 的動機來自我們作為 NLP 研究人員的切身困擾。每個新的標註項目似乎都需要：

  1. 學習一個包含我們不需要的功能的複雜標註平臺
  2. 從頭開始構建自定義介面
  3. 由於工具限制而在標註體驗上做出妥協

我們想要一個：

  • 簡單的工具：幾分鐘內就能上手，而不是幾天
  • 靈活的工具：支援我們能想到的任何標註任務
  • 便攜的工具：無需複雜基礎設施即可在任何地方執行
  • 研究友好的工具：為學術工作流和可復現性而設計

影響力和採用

自發布以來，Potato 已被全球研究團隊用於以下項目：

  • 情感分析和情緒檢測
  • 命名實體識別和關係抽取
  • 內容稽核和毒性檢測
  • 論證挖掘和立場檢測
  • 臨床 NLP 和生物醫學文本挖掘

展望未來

EMNLP 發表只是一個開始。此後，我們已經添加了：

  • 影像和音訊標註支援
  • AI 驅動的標註輔助
  • 主動學習整合
  • 增強的協作功能

我們致力於根據社群反饋持續開發。如果您有功能需求或想法，請在我們的 GitHub 倉庫上提交 issue。

致謝

感謝幫助塑造 Potato 的標註者、測試者和早期採用者。特別感謝密西根大學對這項研究的支援，以及 EMNLP 審稿人提供的寶貴反饋。

在 ACL Anthology 上閱讀完整論文。