O Prolific oferece um grupo de participantes pré-selecionados, criado para estudos de pesquisa. Este guia explica como configurar uma tarefa de anotação no Prolific e como pagar por ela.

Por que o Prolific?

O Prolific é voltado para estudos acadêmicos, então seus participantes são pré-selecionados e tendem a concluir a tarefa. Ele garante o pagamento de pelo menos um salário mínimo, permite filtrar por uma ampla variedade de critérios demográficos e tem gestão de consentimento embutida, o que facilita a papelada do comitê de ética.

Pré-requisitos

Conta de pesquisador no Prolific
Potato instalado e acessível por uma URL pública
Configuração básica pronta

Integração Básica

Configuração do Potato

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Configuração do Estudo no Prolific

Crie um novo estudo no Prolific
URL do estudo: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
URL de conclusão: Obtenha do Potato após a conclusão da tarefa

Configuração Completa de Integração

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

Configurando o Estudo no Prolific

Passo 1: Criar o Estudo

Acesse o Painel do Prolific → New Study
Preencha os detalhes do estudo:
- Título: Nome claro e descritivo
- Descrição: O que os participantes vão fazer
- Tempo estimado: Seja preciso (afeta a exibição da taxa de pagamento)

Passo 2: Configurar a URL do Estudo

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Passo 3: Definir o Código de Conclusão

Na configuração do Potato, defina um código de conclusão único
No Prolific, use a URL de conclusão de redirecionamento:
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

Passo 4: Requisitos dos Participantes

Filtre os participantes por:

Demografia: Idade, gênero, nacionalidade
Idioma: Língua materna, fluência
Taxa de aprovação: % mínima de aprovações anteriores
Personalizado: Participação em estudos anteriores

Passo 5: Pagamento

Defina uma compensação justa (o Prolific exige salário mínimo)
Calcule: (estimated_time_minutes / 60) × hourly_rate
Considere adicionar um bônus por qualidade

Gerenciando o Fluxo dos Participantes

Use o surveyflow do Potato para definir o fluxo do seu estudo:

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Controle de Qualidade para Crowdsourcing

Verificações de Atenção

Você pode incluir itens padrão-ouro no seu arquivo de dados com respostas corretas conhecidas. Configure as verificações de atenção incluindo itens com o campo gold nos seus dados:

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

Monitorando a Qualidade

O painel de administração do Potato mostra taxas de conclusão e estatísticas de anotação. Você também pode abrir os arquivos de saída diretamente para identificar padrões como viés de um único rótulo ou tempos de conclusão suspeitosamente rápidos.

Gerenciando Rejeições

Trate as falhas de qualidade pela seção quality_control. Você pode redirecionar os participantes que falham nas verificações de atenção.

Pagamento e Bônus

Os bônus passam pela interface do Prolific. Quando o estudo terminar, exporte seus dados de anotação, calcule os bônus de acordo com seus critérios e envie-os ao Prolific.

Monitorando seu Estudo

Você tem três visões de um estudo em andamento: o painel de administração do Potato, a interface de monitoramento de estudos do Prolific e seus próprios arquivos de saída de anotação.

Formato de Saída

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Dicas para Estudos no Prolific

Faça um piloto com 5 a 10 participantes antes de lançar o estudo completo. Pague taxas de nível de pesquisa; os participantes do Prolific esperam isso e vão avisar se estiverem baixas. Escreva instruções claras, já que a maior parte da confusão e das rejeições vem de instruções vagas. Mantenha a interface utilizável no celular, porque alguns participantes vão usá-lo. E aprove as submissões rapidamente, tanto por cortesia quanto para manter a reputação do seu estudo.

Próximos Passos

Compare com a implantação no MTurk
Configure o controle de qualidade em detalhes
Calcule a concordância entre anotadores

Para a referência completa sobre crowdsourcing, consulte a documentação do site em /docs/deployment/crowdsourcing ou a documentação de origem.