PotatoがEMNLP 2022で発表されました

Potatoを紹介する論文が、自然言語処理分野のトップカンファレンスの一つであるEMNLP 2022に採択されたことを誇りに思います。このマイルストーンは、研究コミュニティにとってデータアノテーションをより身近にすることを目指した数年間の研究開発の成果です。

論文について

**「Potato: The Portable Text Annotation Tool」**は、Potatoの設計哲学、アーキテクチャ、機能を紹介しています。本論文では、設定優先のアプローチによって高品質なアノテーションインターフェースの作成障壁をいかに大幅に低減できるかを示しています。

主な貢献

設定優先の設計: 複雑なアノテーションインターフェースを完全にYAML設定で指定でき、ほとんどのユースケースでカスタムコードが不要であることを示しました。
柔軟なアノテーションスキーム: Potatoはラジオボタン、チェックボックス、スパン、リッカートスケールなど、幅広いアノテーションタイプをサポートし、それらを組み合わせて洗練されたアノテーションタスクを作成できます。
組み込みの品質管理: トレーニングフェーズ、アテンションチェック、アノテーター間一致度の監視を通じてアノテーターの品質を管理するアプローチを説明しています。
クラウドソーシング統合: 大規模なアノテーション研究のためのProlificやAmazon Mechanical Turkなどのプラットフォームとのシームレスな統合を実証しています。

Potatoの引用

研究でPotatoを使用する場合は、以下の論文を引用してください：

bibtex

@inproceedings{pei2022potato,
  title={Potato: The Portable Text Annotation Tool},
  author={Pei, Jiaxin and Anber, Aparna and Jurgens, David},
  booktitle={Proceedings of the 2022 Conference on Empirical Methods
             in Natural Language Processing: System Demonstrations},
  pages={327--337},
  year={2022}
}

Potatoを開発した理由

Potatoの動機は、NLP研究者としての自身のフラストレーションから生まれました。新しいアノテーションプロジェクトのたびに、以下のいずれかが必要でした：

不要な機能を持つ複雑なアノテーションプラットフォームの学習
カスタムインターフェースのゼロからの構築
ツールの制限によるアノテーション体験の妥協

私たちが望んだツールは：

シンプル: 数日ではなく数分で開始できる
柔軟: 想像できるあらゆるアノテーションタスクに対応
ポータブル: 複雑なインフラなしにどこでも実行可能
研究フレンドリー: 学術ワークフローと再現性のために設計

影響と採用

リリース以来、Potatoは世界中の研究グループに以下のプロジェクトで採用されています：

感情分析と感情検出
固有表現認識と関係抽出
コンテンツモデレーションと有害性検出
議論マイニングとスタンス検出
臨床NLPとバイオメディカルテキストマイニング

今後の展望

EMNLPでの発表は始まりに過ぎません。それ以来、以下を追加しました：

画像とオーディオのアノテーションサポート
AI搭載のアノテーション支援
アクティブラーニング統合
強化されたコラボレーション機能

コミュニティのフィードバックに基づいた開発を継続していきます。機能リクエストやアイデアがある場合は、GitHubリポジトリでイシューを開いてください。

謝辞

Potatoの形成に貢献してくださったアノテーター、ベータテスター、初期採用者の皆様に感謝します。この研究を支援してくださったミシガン大学と、貴重なフィードバックをいただいたEMNLPの査読者の皆様に特に感謝申し上げます。

論文全文はACL Anthologyで、デモ動画もご覧いただけます。