Ejecución de Estudios de Anotación en Prolific

Prolific proporciona acceso a un pool diverso y pre-evaluado de participantes para estudios de investigación. Esta guía cubre todo, desde la configuración hasta el pago, para ejecutar tareas de anotación en Prolific.

¿Por Qué Prolific?

Enfocado en investigación: Diseñado para estudios académicos
Participantes de calidad: Trabajadores pre-seleccionados y atentos
Pago justo: Requisitos de salario mínimo
Demografía diversa: Filtrado por muchos criterios
Compatible con IRB: Gestión de consentimiento integrada

Requisitos Previos

Cuenta de investigador en Prolific
Potato instalado y accesible vía URL pública
Configuración básica lista

Integración Básica

Configuración de Potato

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Configuración del Estudio en Prolific

Crear nuevo estudio en Prolific
URL del estudio: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
URL de completación: Obtenerla de Potato después de la completación de la tarea

Configuración Completa de Integración

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
instances_per_annotator: 50

Configuración del Estudio en Prolific

Paso 1: Crear Estudio

Ve al Dashboard de Prolific → Nuevo Estudio
Completa los detalles del estudio:
- Título: Nombre claro y descriptivo
- Descripción: Qué harán los participantes
- Tiempo estimado: Sé preciso (afecta la visualización de la tarifa de pago)

Paso 2: Configurar URL del Estudio

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Paso 3: Establecer Código de Completación

En la configuración de Potato, establece un código de completación único
En Prolific, usa la URL de redirección de completación:
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

Paso 4: Requisitos de Participantes

Filtra participantes por:

Demografía: Edad, género, nacionalidad
Idioma: Lengua materna, fluidez
Tasa de aprobación: Porcentaje mínimo de aprobación pasada
Personalizado: Participación en estudios anteriores

Paso 5: Pago

Establece una compensación justa (Prolific requiere salario mínimo)
Calcula: (tiempo_estimado_minutos / 60) x tarifa_horaria
Considera añadir bonificación por calidad

Manejo del Flujo de Participantes

Usa el surveyflow de Potato para definir el flujo de tu estudio:

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Control de Calidad para Crowdsourcing

Verificaciones de Atención

Puedes incluir elementos de referencia en tu archivo de datos con respuestas correctas conocidas. Configura verificaciones de atención incluyendo elementos con el campo gold en tus datos:

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

Monitoreo de Calidad

Monitorea la calidad de los anotadores a través del panel de administración de Potato, que muestra tasas de completación y estadísticas de anotación. También puedes revisar los archivos de salida de anotación para verificar patrones como sesgo de etiqueta única o tiempos de completación inusualmente rápidos.

Manejo de Rechazos

Los fallos de control de calidad pueden manejarse a través de la sección quality_control. Los participantes que fallen las verificaciones de atención pueden ser redirigidos apropiadamente.

Pagos y Bonificaciones

Las bonificaciones se gestionan a través de la interfaz de Prolific. Después de que tu estudio se complete, exporta tus datos de anotación y calcula las bonificaciones según tus criterios, luego súbelas a Prolific.

Monitoreo de Tu Estudio

Monitorea tu estudio a través de:

El panel de administración integrado de Potato
La interfaz de monitoreo de estudios de Prolific
Tus archivos de salida de anotación

Formato de Salida

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Consejos para Estudios en Prolific

Pilotea primero: Ejecuta con 5-10 participantes para probar
Pago justo: Los participantes de Prolific esperan tarifas de nivel de investigación
Instrucciones claras: Reduce confusión y rechazos
Compatible con móviles: Algunos participantes usan teléfonos
Aprobación rápida: Aprueba los envíos prontamente

Próximos Pasos

Aprende sobre despliegue en MTurk para comparar
Configura control de calidad en detalle
Calcula acuerdo entre anotadores

Documentación completa de crowdsourcing en /docs/deployment/crowdsourcing.