Integração com Crowdsourcing

Integre o Potato com o Prolific e o Amazon MTurk para anotação por crowdsourcing. Abrange URLs de conclusão, rastreamento de IDs de participantes, verificações de atenção e configuração de pagamento.

O Potato se integra perfeitamente com plataformas de crowdsourcing como o Prolific e o Amazon Mechanical Turk para tarefas de anotação em larga escala.

Integração com o Prolific

Configuração Básica

yaml

crowdsourcing:
  platform: prolific
  enabled: true
  completion_code: "POTATO2024"  # Code shown on completion

Parâmetros de URL

O Prolific passa as informações dos participantes por meio de parâmetros de URL:

yaml

crowdsourcing:
  platform: prolific
  url_params:
    - PROLIFIC_PID    # Participant ID
    - STUDY_ID        # Study ID
    - SESSION_ID      # Session ID

Os trabalhadores acessam por:

text

https://your-server.com/?PROLIFIC_PID=xxx&STUDY_ID=xxx&SESSION_ID=xxx

Configuração do Prolific

Nas configurações do seu estudo no Prolific:

Defina a URL do Estudo como o seu servidor Potato
Adicione os parâmetros de URL: ?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
Defina o Código de conclusão para corresponder à sua configuração

Validação

Verifique os participantes do Prolific:

yaml

crowdsourcing:
  platform: prolific
  validate_participant: true
  completion_code: "POTATO2024"

Integração com o Amazon MTurk

Configuração Básica

yaml

crowdsourcing:
  platform: mturk
  enabled: true

Configuração de HIT

Crie um HIT do tipo External Question apontando para o seu servidor:

xml

<?xml version="1.0" encoding="UTF-8"?>
<ExternalQuestion xmlns="http://mechanicalturk.amazonaws.com/AWSMechanicalTurkDataSchemas/2006-07-14/ExternalQuestion.xsd">
  <ExternalURL>https://your-server.com/?workerId=${workerId}&amp;assignmentId=${assignmentId}&amp;hitId=${hitId}</ExternalURL>
  <FrameHeight>800</FrameHeight>
</ExternalQuestion>

Parâmetros de URL

yaml

crowdsourcing:
  platform: mturk
  url_params:
    - workerId
    - assignmentId
    - hitId

Testes no Sandbox

Primeiro teste com o Sandbox do MTurk:

yaml

crowdsourcing:
  platform: mturk
  sandbox: true  # Use sandbox environment

Gerenciamento de Trabalhadores

Rastrear Trabalhadores

yaml

crowdsourcing:
  track_workers: true
  worker_id_field: worker_id

Limitar Instâncias por Trabalhador

yaml

instances_per_annotator: 50

Bloquear Trabalhadores Reincidentes

Impeça que os trabalhadores refaçam a tarefa:

yaml

crowdsourcing:
  prevent_retakes: true

Controle de Qualidade

Verificações de Atenção

Insira perguntas de teste:

yaml

attention_checks:
  enabled: true
  frequency: 10  # Every 10 instances
  fail_threshold: 2
  action: warn  # or 'block'

Perguntas de Padrão Ouro

json

{
  "id": "gold_1",
  "text": "The sky is typically blue during a clear day.",
  "gold_label": "True",
  "is_gold": true
}

yaml

quality_control:
  gold_questions: true
  gold_percentage: 10  # 10% of instances
  min_gold_accuracy: 70

Limites de Tempo

yaml

crowdsourcing:
  min_time_per_instance: 5  # seconds
  max_time_total: 3600  # 1 hour

Rejeitar Trabalho de Baixa Qualidade

yaml

quality_control:
  auto_reject:
    enabled: true
    conditions:
      - gold_accuracy_below: 50
      - completion_time_under: 300  # seconds

Tratamento da Conclusão

Exibir Código de Conclusão

yaml

completion:
  show_code: true
  code: "POTATO2024"
  message: "Thank you! Your completion code is: {code}"

Redirecionar na Conclusão

yaml

completion:
  redirect: true
  redirect_url: "https://prolific.co/submissions/complete?cc={code}"

Página de Conclusão Personalizada

yaml

completion:
  custom_template: templates/completion.html

Níveis de Pagamento

Com Base na Qualidade

yaml

payment:
  tiers:
    - name: bonus
      condition:
        gold_accuracy_above: 90
      amount: 0.50
    - name: standard
      condition:
        gold_accuracy_above: 70
      amount: 0.00
    - name: reject
      condition:
        gold_accuracy_below: 50

Exemplo Completo: Estudo no Prolific

yaml

task_name: "Sentiment Analysis Study"
 
# Crowdsourcing settings
crowdsourcing:
  platform: prolific
  enabled: true
  completion_code: "SENT2024"
  url_params:
    - PROLIFIC_PID
    - STUDY_ID
    - SESSION_ID
  prevent_retakes: true
 
# Open access for crowdworkers
allow_all_users: true
 
# Task assignment
instances_per_annotator: 50
annotation_per_instance: 3
 
# Quality control
attention_checks:
  enabled: true
  frequency: 10
  fail_threshold: 2
 
quality_control:
  gold_questions: true
  gold_percentage: 5
  min_gold_accuracy: 70
 
# Data
data_files:
  - path: data/main.json
    text_field: text
 
# Annotation scheme
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: "What is the sentiment?"
    labels:
      - Positive
      - Negative
      - Neutral
    keyboard_shortcuts:
      Positive: "1"
      Negative: "2"
      Neutral: "3"
 
# Completion
completion:
  show_code: true
  code: "SENT2024"
  message: |
    ## Thank you for participating!
 
    Your completion code is: **{code}**
 
    Please return to Prolific and enter this code to receive payment.

Exemplo Completo: HIT do MTurk

yaml

task_name: "Image Classification HIT"
 
crowdsourcing:
  platform: mturk
  enabled: true
  url_params:
    - workerId
    - assignmentId
    - hitId
 
allow_all_users: true
instances_per_annotator: 20
 
# Time constraints
crowdsourcing:
  min_time_per_instance: 3
  max_time_total: 1800
 
# MTurk form submission
completion:
  mturk_submit: true
  submit_url: "https://www.mturk.com/mturk/externalSubmit"
 
annotation_schemes:
  - annotation_type: radio
    name: category
    description: "What is shown in this image?"
    labels:
      - Cat
      - Dog
      - Bird
      - Other

Monitoramento de Trabalhadores

Painel Administrativo

yaml

admin_users:
  - researcher@university.edu
 
admin_dashboard:
  enabled: true
  show_worker_stats: true

Visualize em /admin para ver:

Taxas de conclusão dos trabalhadores
Tempo médio por instância
Pontuações de precisão no padrão ouro
Resultados das verificações de atenção

Exportar Dados dos Trabalhadores

bash

potato export-workers config.yaml --output workers.csv

Boas Práticas

Teste minuciosamente - Faça um piloto com um grupo pequeno primeiro
Defina pagamento justo - Calcule o tempo estimado e pague de forma justa
Instruções claras - Inclua exemplos e casos extremos
Use verificações de atenção - Detecte cliques aleatórios
Inclua perguntas de padrão ouro - Verifique a compreensão
Monitore em tempo real - Fique atento a problemas desde cedo
Planeje para a rejeição - Defina critérios de qualidade claros desde o início
Comunique problemas - Entre em contato com os trabalhadores sobre problemas
Itere com base no feedback - Melhore com base nos comentários dos trabalhadores
Exporte os dados regularmente - Não espere até o final

Leitura Adicional

Integração com MTurk - Guia detalhado de configuração do MTurk
Login sem Senha - Autenticação baseada em URL
Controle de Qualidade - Verificações de atenção e padrões ouro

Para detalhes de implementação, consulte a documentação de origem.