Mener une étude sur Prolific et MTurk
Comment mener une étude d'annotation par crowdsourcing avec Potato sur Prolific ou Amazon Mechanical Turk : relier les participants, contrôle qualité et rémunération équitable.
Les plateformes de crowdsourcing comme Prolific et Amazon Mechanical Turk vous donnent accès à de nombreux annotateurs à la demande. Potato s'intègre aux deux : les participants arrivent depuis la plateforme, réalisent la tâche et reviennent avec un code de validation. Le plus difficile n'est pas le raccordement technique, mais le contrôle qualité et le traitement équitable des travailleurs.
Pour le contexte, voir crowdsourcing et Amazon Mechanical Turk. Pour la référence d'intégration, voir Intégration MTurk ; l'intégration Prolific se trouve dans la documentation de déploiement.
Comment fonctionne le parcours
- Vous déployez une tâche Potato sur une URL publique.
- La plateforme envoie chaque participant vers cette URL avec son identifiant dans le lien.
- Potato enregistre les annotations rattachées à cet identifiant.
- À la fin, Potato affiche un code de validation que le travailleur renvoie à la plateforme pour être payé.
Potato récupère l'identifiant du participant depuis l'URL, si bien que les annotations sont automatiquement rattachées au bon travailleur.
Le contrôle qualité n'est pas négociable
Le crowdsourcing ouvert attire certaines réponses bâclées ou automatisées. Mettez en place des défenses dès le départ :
- Contrôles d'attention pour repérer les travailleurs qui ne lisent pas.
- Étalons de référence pour évaluer l'exactitude face à des réponses connues.
- Une phase de formation/qualification pour que seuls les travailleurs qui la réussissent accèdent à la vraie tâche.
- Recoupement pour pouvoir mesurer l'accord et agréger.
Traitez les travailleurs équitablement
C'est à la fois éthique et pratique : des travailleurs bien payés et bien informés produisent de meilleures données :
- Payez au moins un tarif horaire équitable. Chronométrez votre étude pilote pour estimer le temps que prend réellement la tâche, puis fixez la rémunération en conséquence.
- Rédigez des consignes claires et un bref consentement/une courte introduction. Voir Rédiger des consignes d'annotation.
- Répondez aux questions et payez rapidement ; la réputation détermine qui acceptera vos prochaines tâches.