Skip to content
Guides2 min read

在 Prolific 上运行标注研究

将 Potato 与 Prolific 集成进行众包标注的完整指南，包括付款和质量控制。

Potato Team·

在 Prolific 上运行标注研究

Prolific 为研究项目提供了一个多元化、经过预先审核的参与者池。本指南涵盖了在 Prolific 上运行标注任务的方方面面，从设置到付款。

为什么选择 Prolific？

  • 面向研究：专为学术研究设计
  • 高质量参与者：经过预筛选、注意力集中的工作者
  • 公平薪酬：有最低工资要求
  • 多元化人口统计：可按多种标准筛选
  • IRB 友好：内置知情同意管理

前提条件

  1. Prolific 研究者账户
  2. 已安装 Potato 并可通过公共 URL 访问
  3. 基本配置已准备就绪

基本集成

Potato 配置

yaml
annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Prolific 研究设置

  1. 在 Prolific 上创建新研究
  2. 研究 URL：https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
  3. 完成 URL：在任务完成后从 Potato 获取

完整集成配置

yaml
annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

在 Prolific 上设置研究

第 1 步：创建研究

  1. 进入 Prolific 面板 → 新研究
  2. 填写研究详情：
    • 标题：清晰、描述性的名称
    • 描述：参与者将要做什么
    • 预计时间：要准确（影响显示的薪酬率）

第 2 步：配置研究 URL

text
https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

第 3 步：设置完成码

  1. 在 Potato 配置中设置唯一的完成码
  2. 在 Prolific 中使用重定向完成 URL：
    text
    https://app.prolific.co/submissions/complete?cc=YOUR_CODE

第 4 步：参与者要求

按以下条件筛选参与者：

  • 人口统计：年龄、性别、国籍
  • 语言：母语、流利程度
  • 通过率：历史最低通过百分比
  • 自定义：之前的研究参与情况

第 5 步：付款

  • 设置公平的薪酬（Prolific 要求达到最低工资标准）
  • 计算方式：（预计时间分钟数 / 60）× 时薪
  • 考虑为高质量工作添加奖金

处理参与者流程

使用 Potato 的 surveyflow 来定义研究流程：

yaml
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

众包质量控制

注意力检查

您可以在数据文件中包含具有已知正确答案的黄金标准项目。通过在数据中包含带有 gold 字段的项目来配置注意力检查：

json
{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

质量监控

通过 Potato 的管理仪表盘监控标注者质量，该仪表盘显示完成率和标注统计数据。您还可以查看输出标注文件，以检查单一标签偏差或异常快速完成时间等模式。

处理拒绝

质量控制失败可以通过 quality_control 部分处理。未通过注意力检查的参与者可以被适当重定向。

付款和奖金

奖金通过 Prolific 的界面管理。研究完成后，导出标注数据并根据您的标准计算奖金，然后上传到 Prolific。

监控研究

通过以下方式监控您的研究：

  • Potato 内置的管理仪表盘
  • Prolific 的研究监控界面
  • 您的标注输出文件

输出格式

json
{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Prolific 研究技巧

  1. 先试点：用 5-10 名参与者进行测试
  2. 公平薪酬：Prolific 参与者期望研究级别的报酬
  3. 清晰的指导：减少困惑和拒绝
  4. 移动端友好：部分参与者使用手机
  5. 及时审批：尽快批准提交

下一步

完整众包文档请见 /docs/deployment/crowdsourcing。