Condurre uno studio su Prolific e MTurk
Come condurre uno studio di annotazione in crowdsourcing con Potato su Prolific o Amazon Mechanical Turk: collegamento dei partecipanti, controllo qualità e compensi equi.
Le piattaforme di crowdsourcing come Prolific e Amazon Mechanical Turk ti danno accesso a molti annotatori su richiesta. Potato si integra con entrambe: i partecipanti arrivano dalla piattaforma con un clic, svolgono il task e tornano indietro con un codice di completamento. La parte difficile non è il collegamento tecnico, è il controllo qualità e il trattamento equo dei worker.
Per il contesto, vedi crowdsourcing e Amazon Mechanical Turk. Per il riferimento dell'integrazione, vedi Integrazione con MTurk e l'integrazione con Prolific nella documentazione di deployment.
Come funziona il flusso
- Metti online un task di Potato su un URL pubblico.
- La piattaforma manda ogni partecipante a quell'URL con il proprio ID nel link.
- Potato registra le annotazioni associandole a quell'ID.
- Alla fine Potato mostra un codice di completamento che il worker riporta alla piattaforma per farsi pagare.
Potato legge l'ID del partecipante dall'URL, così le annotazioni risalgono al worker giusto senza altri passaggi.
Il controllo qualità non è opzionale
Il crowdsourcing aperto attira una parte di risposte fatte alla svelta o generate automaticamente. Prepara le difese fin dall'inizio:
- Controlli di attenzione per individuare chi non sta leggendo.
- Gold standard per misurare l'accuratezza rispetto a risposte note.
- Una fase di training o qualificazione in modo che al task vero arrivino solo i worker che la superano.
- Sovrapposizione così puoi misurare l'accordo e aggregare.
Tratta i worker con equità
È una questione etica ma anche pratica: worker pagati bene e istruiti bene producono dati migliori.
- Paga almeno una tariffa oraria equa. Cronometra il pilota per stimare quanto dura davvero il task, poi calibra il compenso di conseguenza.
- Scrivi istruzioni chiare e una breve introduzione con il consenso. Vedi Scrivere le linee guida di annotazione.
- Rispondi alle domande e paga in tempi rapidi; la reputazione influisce su chi accetterà i tuoi task futuri.