Conduzindo um Estudo no Prolific e no MTurk
Como conduzir um estudo de anotação por crowdsourcing com o Potato no Prolific ou no Amazon Mechanical Turk, vinculando participantes, controle de qualidade e remuneração justa.
Plataformas de crowdsourcing como Prolific e Amazon Mechanical Turk dão acesso a muitos anotadores sob demanda. O Potato integra com ambas: os participantes clicam para entrar a partir da plataforma, fazem a tarefa e voltam com um código de conclusão. A parte difícil não é a ligação técnica, é o controle de qualidade e o tratamento justo dos trabalhadores.
Veja crowdsourcing e Amazon Mechanical Turk para contexto. Para a referência da integração, veja Integração com o MTurk e a integração com o Prolific na documentação de implantação.
Como o fluxo funciona
- Você implanta uma tarefa do Potato em uma URL pública.
- A plataforma envia cada participante para essa URL com o ID dele no link.
- O Potato registra as anotações associadas a esse ID.
- Ao terminar, o Potato mostra um código de conclusão que o trabalhador envia de volta à plataforma para ser pago.
O Potato captura o ID do participante a partir da URL, de modo que as anotações se vinculam automaticamente ao trabalhador certo.
Controle de qualidade é inegociável
O crowdsourcing aberto atrai algumas respostas de baixo esforço e automatizadas. Construa defesas desde o início:
- Verificações de atenção para pegar trabalhadores que não estão lendo.
- Padrões-ouro para pontuar a precisão contra respostas conhecidas.
- Uma fase de treinamento/qualificação para que só os trabalhadores aprovados cheguem à tarefa real.
- Sobreposição para que você possa medir a concordância e agregar.
Trate os trabalhadores com justiça
Isso é ético e prático ao mesmo tempo: trabalhadores bem pagos e bem orientados produzem dados melhores:
- Pague pelo menos uma taxa horária justa. Cronometre seu piloto para estimar quanto a tarefa realmente leva e, então, defina a recompensa de acordo.
- Escreva instruções claras e um breve consentimento/introdução. Veja Escrevendo Diretrizes de Anotação.
- Responda às dúvidas e pague prontamente; a reputação afeta quem aceitará suas tarefas futuras.