Prolific은 연구 목적으로 만들어진 사전 검증된 참가자 풀을 제공합니다. 이 가이드에서는 Prolific에서 어노테이션 작업을 설정하고 비용을 지불하는 과정을 설명합니다.

왜 Prolific인가?

Prolific은 학술 연구를 대상으로 하므로 참가자가 사전에 검증되어 있고 작업을 끝까지 수행하는 경향이 있습니다. 최저 임금 지급을 강제하고, 다양한 인구통계학적 기준으로 필터링할 수 있으며, 동의 관리가 기본으로 내장되어 있어 IRB 서류 작업이 한결 수월해집니다.

사전 준비 사항

Prolific 연구자 계정
공개 URL로 접근 가능하도록 설치된 Potato
준비된 기본 구성

기본 통합

Potato 구성

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Prolific 연구 설정

Prolific에서 새 연구를 생성합니다
연구 URL: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
완료 URL: 작업 완료 후 Potato에서 가져옵니다

전체 통합 구성

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

Prolific에서 연구 설정하기

1단계: 연구 생성

Prolific 대시보드 → New Study로 이동합니다
연구 세부 정보를 입력합니다:
- 제목: 명확하고 설명적인 이름
- 설명: 참가자가 수행할 작업
- 예상 소요 시간: 정확하게 입력합니다(지급률 표시에 영향을 줍니다)

2단계: 연구 URL 구성

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

3단계: 완료 코드 설정

Potato 구성에서 고유한 완료 코드를 설정합니다
Prolific에서는 리디렉션 완료 URL을 사용합니다:
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

4단계: 참가자 요건

다음 기준으로 참가자를 필터링합니다:

인구통계: 연령, 성별, 국적
언어: 모국어, 유창성
승인률: 최소 과거 승인 비율(%)
사용자 지정: 이전 연구 참여 여부

5단계: 결제

공정한 보상을 책정합니다(Prolific은 최저 임금을 요구합니다)
계산: (estimated_time_minutes / 60) × hourly_rate
품질에 대한 보너스 추가를 고려합니다

참가자 흐름 다루기

Potato의 surveyflow를 사용하여 연구의 흐름을 정의합니다:

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

크라우드소싱을 위한 품질 관리

주의력 검사

정답이 알려진 골드 스탠더드 항목을 데이터 파일에 포함할 수 있습니다. 데이터에 gold 필드가 있는 항목을 포함하여 주의력 검사를 구성합니다:

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

품질 모니터링

Potato의 관리자 대시보드는 완료율과 어노테이션 통계를 보여줍니다. 출력 파일을 직접 열어 단일 레이블 편향이나 의심스러울 정도로 빠른 완료 시간 같은 패턴을 찾아볼 수도 있습니다.

거부 처리

quality_control 섹션을 통해 품질 실패를 처리합니다. 주의력 검사에 실패한 참가자를 리디렉션할 수 있습니다.

결제 및 보너스

보너스는 Prolific의 인터페이스를 통해 지급됩니다. 연구가 끝나면 어노테이션 데이터를 내보내고, 기준에 따라 보너스를 산출한 다음 Prolific에 업로드합니다.

연구 모니터링

진행 중인 연구를 살펴보는 세 가지 방법이 있습니다. Potato의 관리자 대시보드, Prolific의 연구 모니터링 인터페이스, 그리고 직접 보유한 어노테이션 출력 파일입니다.

출력 형식

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Prolific 연구를 위한 팁

전체 연구를 시작하기 전에 참가자 5~10명으로 파일럿을 진행하십시오. 연구 수준의 보수를 지급하십시오. Prolific 참가자는 이를 기대하며, 보수가 낮으면 직접 알려줍니다. 명확한 지침을 작성하십시오. 대부분의 혼란과 거부는 모호한 지침에서 비롯됩니다. 일부 참가자는 휴대폰을 사용할 것이므로 인터페이스가 휴대폰에서도 쓸 만하도록 유지하십시오. 그리고 제출물을 신속하게 승인하십시오. 이는 예의이기도 하고 연구 평판을 유지하는 데도 도움이 됩니다.

다음 단계

MTurk 배포와 비교해 보십시오
품질 관리를 자세히 설정하십시오
어노테이터 간 일치도를 계산하십시오

크라우드소싱에 대한 전체 참고 자료는 사이트 문서 /docs/deployment/crowdsourcing 또는 원본 문서를 참조하십시오.