Prolificでのアノテーション研究の実施

Prolificは、研究調査のための多様で事前審査済みの参加者プールへのアクセスを提供します。本ガイドでは、Prolificでアノテーションタスクを実行するためのセットアップから支払いまですべてを網羅します。

なぜProlificなのか？

研究向け: 学術研究のために設計されている
高品質な参加者: 事前審査済みで注意力の高いワーカー
公正な報酬: 最低賃金要件がある
多様な人口統計: 多くの基準でフィルタリング可能
IRBフレンドリー: 同意管理が組み込まれている

前提条件

Prolific研究者アカウント
Potatoがインストール済みで、パブリックURLからアクセス可能
基本設定が準備済み

基本的な統合

Potatoの設定

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Prolific研究のセットアップ

Prolificで新しい研究を作成する
研究URL: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
完了URL: タスク完了後にPotatoから取得する

完全な統合設定

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

Prolificでの研究セットアップ

ステップ1：研究の作成

Prolificダッシュボード → 新しい研究に移動
研究の詳細を入力：
- タイトル: 明確で説明的な名前
- 説明: 参加者が何をするか
- 推定時間: 正確に（報酬率の表示に影響）

ステップ2：研究URLの設定

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

ステップ3：完了コードの設定

Potato設定でユニークな完了コードを設定
Prolificではリダイレクト完了URLを使用：
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

ステップ4：参加者要件

以下で参加者をフィルタリング：

人口統計: 年齢、性別、国籍
言語: 母語、流暢さ
承認率: 過去の最低承認率
カスタム: 過去の研究参加歴

ステップ5：支払い

公正な報酬を設定する（Prolificは最低賃金を要求）
計算：（推定時間（分）/ 60）× 時給
品質に対するボーナスの追加を検討

参加者フローの管理

Potatoのsurveyflowを使用して研究のフローを定義します：

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

クラウドソーシングの品質管理

アテンションチェック

既知の正解を持つゴールドスタンダードアイテムをデータファイルに含めることができます。goldフィールドを持つアイテムをデータに含めてアテンションチェックを設定します：

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

品質の監視

Potatoの管理ダッシュボードを通じてアノテーターの品質を監視します。完了率やアノテーション統計が表示されます。また、出力アノテーションファイルを確認して、単一ラベルバイアスや異常に速い完了時間などのパターンをチェックできます。

却下の処理

品質管理の失敗はquality_controlセクションで処理できます。アテンションチェックに失敗した参加者は適切にリダイレクトされます。

支払いとボーナス

ボーナスはProlificのインターフェースを通じて管理されます。研究完了後、アノテーションデータをエクスポートして基準に基づいてボーナスを計算し、Prolificにアップロードします。

研究の監視

以下を通じて研究を監視します：

Potatoの組み込み管理ダッシュボード
Prolificの研究監視インターフェース
アノテーション出力ファイル

出力フォーマット

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Prolific研究のコツ

まずパイロットを実施: 5〜10人の参加者でテストする
公正な報酬: Prolificの参加者は研究レベルの報酬を期待している
明確な指示: 混乱と却下を減らす
モバイル対応: 一部の参加者はスマートフォンを使用する
迅速な承認: 提出を速やかに承認する

次のステップ

比較のためにMTurkデプロイについて学ぶ
品質管理を詳細に設定する
アノテーター間一致度を計算する

クラウドソーシングの完全なドキュメントは/docs/deployment/crowdsourcingをご覧ください。