Prolific と MTurk で調査を実施する

Prolific や Amazon Mechanical Turk といったクラウドソーシングのプラットフォームを使えば、必要なときに多くのアノテーターを集められます。Potato は両方と連携できます。参加者はプラットフォームからクリックして移動し、タスクをこなし、完了コードを持って戻ってきます。 難しいのは仕組みの接続ではなく、品質管理とワーカーへの公正な扱いです。

背景についてはクラウドソーシングとAmazon Mechanical Turkを参照してください。連携のリファレンスはMTurk 連携を参照し、Prolific 連携はデプロイのドキュメントにあります。

全体の流れ

1. Potato のタスクを公開 URL にデプロイします。
2. プラットフォームが各参加者を、ID をリンクに含めてその URL へ送ります。
3. Potato はその ID に紐づけてアノテーションを記録します。
4. 終了すると、Potato は完了コードを表示し、ワーカーはそれをプラットフォームに送り返して報酬を受け取ります。

Potato は URL から参加者 ID を取得するので、アノテーションは自動的に正しいワーカーに結びつきます。

品質管理は交渉の余地がない

オープンなクラウドソーシングには、手抜きや自動生成の回答が一定数集まります。最初から防御策を組み込んでおきましょう。

• **注意力チェック**で、ちゃんと読んでいないワーカーを見つけます。
• **ゴールドスタンダード**で、既知の正解と照らして正確さを採点します。
• **トレーニング／資格認定フェーズ**を設け、合格したワーカーだけが本番タスクに進めるようにします。
• **重複**を持たせて、一致度を測定し集約できるようにします。

ワーカーを公正に扱う

これは倫理の問題であると同時に実務上の問題でもあります。きちんと報酬を受け、十分な説明を受けたワーカーは、より質の高いデータを生み出します。

• 少なくとも公正な時給を支払いましょう。 パイロットで時間を計り、タスクが実際にどれくらいかかるかを見積もったうえで、それに応じて報酬を設定します。
• 明確な指示と、短い同意文／導入文を書きましょう。アノテーションガイドラインの書き方を参照してください。
• 質問に応答し、速やかに報酬を支払いましょう。評判は、今後どんなワーカーがタスクを引き受けてくれるかに影響します。

さらに読む

• MTurk 連携リファレンス
• アノテーションサーバーのデプロイ
• ゴールドスタンダードと注意力チェック