Skip to content
Guides2 min read

在 Prolific 上執行標註研究

將 Potato 與 Prolific 整合進行眾包標註的完整指南，包括付款和品質控制。

Potato Team

Prolific 為研究項目提供了一個多元化、經過預先稽核的參與者池。本指南涵蓋了在 Prolific 上執行標註任務的方方面面，從設定到付款。

為什麼選擇 Prolific？

  • 面向研究：專為學術研究設計
  • 高品質參與者：經過預篩選、注意力集中的工作者
  • 公平薪酬：有最低工資要求
  • 多元化人口統計：可按多種標準篩選
  • IRB 友好：內建知情同意管理

前提條件

  1. Prolific 研究者賬戶
  2. 已安裝 Potato 並可通過公共 URL 訪問
  3. 基本配置已準備就緒

基本整合

Potato 配置

yaml
annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Prolific 研究設定

  1. 在 Prolific 上建立新研究
  2. 研究 URL：https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
  3. 完成 URL：在任務完成後從 Potato 獲取

完整整合配置

yaml
annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    label_requirement:
      required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
 
  prestudy:
 
instances_per_annotator: 50

在 Prolific 上設定研究

第 1 步：建立研究

  1. 進入 Prolific 面板 → 新研究
  2. 填寫研究詳情：
    • 標題：清晰、描述性的名稱
    • 描述：參與者將要做什麼
    • 預計時間：要準確（影響顯示的薪酬率）

第 2 步：配置研究 URL

text
https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

第 3 步：設定完成碼

  1. 在 Potato 配置中設定唯一的完成碼
  2. 在 Prolific 中使用重定向完成 URL：
    text
    https://app.prolific.co/submissions/complete?cc=YOUR_CODE

第 4 步：參與者要求

按以下條件篩選參與者：

  • 人口統計：年齡、性別、國籍
  • 語言：母語、流利程度
  • 通過率：歷史最低通過百分比
  • 自定義：之前的研究參與情況

第 5 步：付款

  • 設定公平的薪酬（Prolific 要求達到最低工資標準）
  • 計算方式：（預計時間分鐘數 / 60）× 時薪
  • 考慮為高品質工作新增獎金

處理參與者流程

使用 Potato 的 surveyflow 來定義研究流程：

yaml
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

眾包品質控制

注意力檢查

您可以在資料檔案中包含具有已知正確答案的黃金標準項目。通過在資料中包含帶有 gold 欄位的項目來配置注意力檢查：

json
{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

品質監控

通過 Potato 的管理儀表盤監控標註者品質，該儀表盤顯示完成率和標註統計資料。您還可以檢視輸出標註檔案，以檢查單一標籤偏差或異常快速完成時間等模式。

處理拒絕

品質控制失敗可以通過 quality_control 部分處理。未通過注意力檢查的參與者可以被適當重定向。

付款和獎金

獎金通過 Prolific 的介面管理。研究完成後，匯出標註資料並根據您的標準計算獎金，然後上傳到 Prolific。

監控研究

通過以下方式監控您的研究：

  • Potato 內建的管理儀表盤
  • Prolific 的研究監控介面
  • 您的標註輸出檔案

輸出格式

json
{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Prolific 研究技巧

  1. 先試點：用 5-10 名參與者進行測試
  2. 公平薪酬：Prolific 參與者期望研究級別的報酬
  3. 清晰的指導：減少困惑和拒絕
  4. 移動端友好：部分參與者使用手機
  5. 及時審批：儘快批准提交

下一步

完整眾包文件請見 眾包整合。