Name: Potato
Author: Potato

Prolific bietet einen vorab geprüften Teilnehmendenpool, der für Forschungsstudien gedacht ist. Dieser Leitfaden geht durch, wie du dort eine Annotationsaufgabe aufsetzt und bezahlst.

Warum Prolific?

Prolific ist auf akademische Studien ausgerichtet, entsprechend sind die Teilnehmenden vorab gefiltert und bleiben eher bei einer Aufgabe. Die Plattform setzt eine Mindestvergütung durch, erlaubt die Auswahl nach vielen demografischen Kriterien und bringt eine Einwilligungsverwaltung mit, was den Papierkram für die Ethikkommission erleichtert.

Voraussetzungen

Forschungskonto bei Prolific
Potato installiert und über eine öffentliche URL erreichbar
Eine fertige Grundkonfiguration

Grundlegende Anbindung

Potato-Konfiguration

yaml

annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Die Studie bei Prolific anlegen

Neue Studie anlegen bei Prolific
Studien-URL: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
Abschluss-URL: kommt von Potato, nachdem die Aufgabe fertig ist

Vollständige Konfiguration für die Anbindung

yaml

annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    label_requirement:
      required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
 
  prestudy:
 
instances_per_annotator: 50

Die Studie bei Prolific einrichten

Schritt 1: Studie anlegen

Im Prolific-Dashboard auf New Study gehen
Angaben zur Studie ausfüllen:
- Titel: klar und aussagekräftig
- Beschreibung: was die Teilnehmenden tun werden
- Geschätzte Dauer: realistisch angeben (davon hängt der angezeigte Stundensatz ab)

Schritt 2: Studien-URL eintragen

text

https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

Schritt 3: Abschlusscode festlegen

In der Potato-Konfiguration einen eindeutigen Abschlusscode setzen
Bei Prolific die weiterleitende Abschluss-URL eintragen:
text
```
https://app.prolific.co/submissions/complete?cc=YOUR_CODE
```

Schritt 4: Anforderungen an die Teilnehmenden

Auswahl nach:

Demografie: Alter, Geschlecht, Nationalität
Sprache: Erstsprache, Sprachniveau
Annahmequote: Mindestanteil angenommener früherer Einreichungen
Eigene Kriterien: Teilnahme an früheren Studien

Schritt 5: Bezahlung

Setz eine faire Vergütung an (Prolific verlangt mindestens den Mindestlohn)
Rechnung: (geschätzte_Dauer_in_Minuten / 60) × Stundensatz
Überleg dir einen Bonus für gute Arbeit

Den Ablauf für die Teilnehmenden steuern

Mit surveyflow legst du in Potato den Ablauf deiner Studie fest:

yaml

surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Qualitätskontrolle beim Crowdsourcing

Aufmerksamkeitstests

Du kannst Goldstandard-Elemente mit bekannter richtiger Antwort in deine Datendatei aufnehmen. Aufmerksamkeitstests richtest du ein, indem du Elemente mit dem Feld gold in die Daten legst:

json

{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

Qualität im Blick behalten

Das Admin-Dashboard von Potato zeigt Abschlussquoten und Annotationsstatistiken. Du kannst außerdem die Ausgabedateien direkt öffnen, um Muster zu erkennen, etwa eine Schlagseite zu einem einzelnen Label oder auffällig kurze Bearbeitungszeiten.

Umgang mit Ablehnungen

Qualitätsmängel behandelst du über den Abschnitt quality_control. Teilnehmende, die Aufmerksamkeitstests nicht bestehen, kannst du weiterleiten.

Bezahlung und Boni

Boni laufen über die Oberfläche von Prolific. Ist die Studie abgeschlossen, exportierst du die Annotationsdaten, berechnest die Boni nach deinen Kriterien und lädst sie bei Prolific hoch.

Die laufende Studie beobachten

Auf eine laufende Studie hast du drei Blicke: das Admin-Dashboard von Potato, die Studienüberwachung bei Prolific und deine eigenen Ausgabedateien.

Ausgabeformat

json

{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Hinweise zu Studien auf Prolific

Mach einen Pilotlauf mit 5-10 Teilnehmenden, bevor du die vollständige Studie startest. Zahl Sätze auf Forschungsniveau; die Arbeitenden bei Prolific erwarten das und sagen dir, wenn die Vergütung zu niedrig ist. Schreib klare Anweisungen, denn Verwirrung und Ablehnungen gehen meistens auf vage Formulierungen zurück. Halte die Oberfläche auf dem Handy bedienbar, weil ein Teil der Leute damit arbeitet. Und nimm Einreichungen zügig an, aus Höflichkeit und damit der Ruf deiner Studie stimmt.

Nächste Schritte

Zieh den Vergleich zum Einsatz auf MTurk
Richte Qualitätskontrolle im Detail ein
Berechne die Inter-Annotator-Übereinstimmung

Die vollständige Referenz zum Crowdsourcing steht in der Dokumentation unter Crowdsourcing-Integration sowie in der Quelldokumentation.