Name: Potato
Author: Potato

Prolific mette a disposizione un bacino di partecipanti già selezionati e pensato per gli studi di ricerca. Questa guida percorre l'impostazione di un task di annotazione su Prolific e il pagamento di chi ci lavora.

Perché Prolific

Prolific è rivolto agli studi accademici, quindi i partecipanti sono preselezionati e tendono a portare a termine il task. Impone un compenso non inferiore al salario minimo, permette di filtrare su parecchi criteri demografici e ha una gestione del consenso integrata, che semplifica le pratiche con il comitato etico.

Prerequisiti

Un account ricercatore su Prolific
Potato installato e raggiungibile da un URL pubblico
Una configurazione di base pronta

Integrazione di base

Configurazione di Potato

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Impostazione dello studio su Prolific

Crea un nuovo studio su Prolific
URL dello studio: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
URL di completamento: lo ottieni da Potato al termine del task

Configurazione completa dell'integrazione

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    label_requirement:
      required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
 
  prestudy:
 
instances_per_annotator: 50

Come impostare lo studio su Prolific

Passo 1: creare lo studio

Vai su Prolific Dashboard → New Study
Compila i dettagli dello studio:
- Titolo: un nome chiaro e descrittivo
- Descrizione: cosa faranno i partecipanti
- Tempo stimato: sii preciso (incide sulla tariffa oraria mostrata)

Passo 2: configurare l'URL dello studio

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Passo 3: impostare il codice di completamento

Nella configurazione di Potato, imposta un codice di completamento univoco
Su Prolific, usa l'URL di completamento con redirect:
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

Passo 4: requisiti dei partecipanti

Filtra i partecipanti per:

Dati demografici: età, genere, nazionalità
Lingua: madrelingua, livello di padronanza
Tasso di approvazione: % minima di approvazioni passate
Personalizzati: partecipazione a studi precedenti

Passo 5: compenso

Stabilisci un compenso equo (Prolific richiede almeno il salario minimo)
Calcolo: (minuti_stimati / 60) × tariffa_oraria
Valuta un bonus legato alla qualità

Gestire il percorso del partecipante

Usa il surveyflow di Potato per definire il percorso del tuo studio:

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Controllo di qualità nel crowdsourcing

Controlli di attenzione

Puoi inserire nel file di dati degli elementi gold standard con la risposta corretta nota. I controlli di attenzione si configurano includendo nei dati elementi con il campo gold:

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

Tenere d'occhio la qualità

La dashboard di amministrazione di Potato mostra i tassi di completamento e le statistiche di annotazione. Puoi anche aprire direttamente i file di output per notare pattern come una preferenza per una sola etichetta o tempi di completamento sospettosamente rapidi.

Gestire i rifiuti

I casi che non superano i controlli di qualità si gestiscono dalla sezione quality_control. Puoi reindirizzare i partecipanti che falliscono i controlli di attenzione.

Pagamenti e bonus

I bonus passano dall'interfaccia di Prolific. Quando lo studio è finito, esporta i dati di annotazione, calcola i bonus secondo i tuoi criteri e caricali su Prolific.

Seguire l'andamento dello studio

Su uno studio in corso hai tre punti di osservazione: la dashboard di amministrazione di Potato, l'interfaccia di monitoraggio di Prolific e i tuoi file di output delle annotazioni.

Formato di output

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Consigli per gli studi su Prolific

Fai un pilota con 5-10 partecipanti prima di lanciare lo studio vero. Paga tariffe da ricerca: i partecipanti di Prolific se le aspettano e ti fanno sapere quando sono basse. Scrivi istruzioni chiare, perché quasi tutta la confusione e i rifiuti nascono da istruzioni vaghe. Tieni l'interfaccia usabile da telefono, perché qualcuno lavorerà da lì. E approva gli invii in tempi rapidi, per correttezza e per tenere alta la reputazione del tuo studio.

Passi successivi

Confronta con il deployment su MTurk
Approfondisci l'impostazione del controllo di qualità
Calcola l'accordo tra annotatori

Per il riferimento completo sul crowdsourcing, vedi la documentazione del sito su Integrazione Crowdsourcing o la documentazione sorgente.