Lancer des études d'annotation sur Prolific

Prolific donne accès à un pool de participants diversifié et pré-vérifié pour les études de recherche. Ce guide couvre tout, de la configuration au paiement, pour exécuter des tâches d'annotation sur Prolific.

Pourquoi Prolific ?

Orienté recherche : conçu pour les études académiques
Participants de qualité : travailleurs pré-sélectionnés et attentifs
Rémunération équitable : exigences de salaire minimum
Démographie diversifiée : filtrage selon de nombreux critères
Compatible IRB : gestion du consentement intégrée

Prérequis

Compte chercheur Prolific
Potato installé et accessible via une URL publique
Configuration de base prête

Intégration basique

Configuration Potato

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Configuration de l'étude Prolific

Créer une nouvelle étude sur Prolific
URL de l'étude : https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
URL de complétion : obtenue depuis Potato après la fin de la tâche

Configuration d'intégration complète

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

Configurer l'étude sur Prolific

Étape 1 : Créer l'étude

Allez dans le tableau de bord Prolific → Nouvelle étude
Remplissez les détails de l'étude :
- Titre : nom clair et descriptif
- Description : ce que les participants feront
- Temps estimé : soyez précis (affecte le taux de rémunération affiché)

Étape 2 : Configurer l'URL de l'étude

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Étape 3 : Définir le code de complétion

Dans la configuration Potato, définissez un code de complétion unique
Dans Prolific, utilisez l'URL de complétion par redirection :
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

Étape 4 : Critères des participants

Filtrez les participants par :

Démographie : âge, genre, nationalité
Langue : langue maternelle, maîtrise
Taux d'approbation : pourcentage minimum d'approbation passé
Personnalisé : participation à des études précédentes

Étape 5 : Paiement

Définissez une rémunération équitable (Prolific exige le salaire minimum)
Calculez : (temps_estimé_minutes / 60) × taux_horaire
Envisagez d'ajouter un bonus pour la qualité

Gérer le flux des participants

Utilisez le surveyflow de Potato pour définir le déroulement de votre étude :

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Contrôle qualité pour le crowdsourcing

Vérifications d'attention

Vous pouvez inclure des items de référence dans votre fichier de données avec des réponses correctes connues. Configurez les vérifications d'attention en incluant des items avec le champ gold dans vos données :

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

Suivi de la qualité

Surveillez la qualité des annotateurs via le tableau de bord d'administration de Potato, qui affiche les taux de complétion et les statistiques d'annotation. Vous pouvez également examiner les fichiers d'annotations de sortie pour vérifier des schémas comme le biais de label unique ou des temps de complétion anormalement rapides.

Gestion des rejets

Les échecs de contrôle qualité peuvent être gérés via la section quality_control. Les participants qui échouent aux vérifications d'attention peuvent être redirigés de manière appropriée.

Paiement et bonus

Les bonus sont gérés via l'interface de Prolific. Après la fin de votre étude, exportez vos données d'annotation et calculez les bonus selon vos critères, puis téléchargez-les sur Prolific.

Suivi de votre étude

Suivez votre étude via :

Le tableau de bord d'administration intégré de Potato
L'interface de suivi d'étude de Prolific
Vos fichiers d'annotations de sortie

Format de sortie

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Conseils pour les études Prolific

Pilote d'abord : lancez avec 5-10 participants pour tester
Rémunération équitable : les participants Prolific attendent des tarifs de niveau recherche
Instructions claires : réduisez la confusion et les rejets
Compatible mobile : certains participants utilisent leur téléphone
Approbation rapide : approuvez les soumissions rapidement

Prochaines étapes

Apprenez-en plus sur le déploiement MTurk pour comparaison
Configurez le contrôle qualité en détail
Calculez l'accord inter-annotateurs

Documentation complète du crowdsourcing sur /docs/deployment/crowdsourcing.