Eine Studie auf Prolific und MTurk durchführen
Wie du mit Potato eine Crowdsourcing-Annotationsstudie auf Prolific oder Amazon Mechanical Turk durchführst: Teilnehmende verknüpfen, Qualitätskontrolle und faire Bezahlung.
Crowdsourcing-Plattformen wie Prolific und Amazon Mechanical Turk verschaffen dir kurzfristig Zugang zu vielen Annotierenden. Potato lässt sich in beide einbinden: Teilnehmende klicken sich von der Plattform aus durch, bearbeiten die Aufgabe und kehren mit einem Abschlusscode zurück. Schwierig ist dabei nicht die technische Anbindung, sondern die Qualitätskontrolle und der faire Umgang mit den Arbeitenden.
Hintergrund dazu unter Crowdsourcing und Amazon Mechanical Turk. Die Referenz zur Anbindung steht unter MTurk-Integration, die Prolific-Anbindung in der Deployment-Dokumentation.
Wie der Ablauf funktioniert
- Du stellst eine Potato-Aufgabe unter einer öffentlichen URL bereit.
- Die Plattform schickt alle Teilnehmenden mit ihrer ID im Link an diese URL.
- Potato speichert die Annotationen unter dieser ID.
- Am Ende zeigt Potato einen Abschlusscode an, den die arbeitende Person zur Bezahlung bei der Plattform einreicht.
Potato liest die Teilnehmenden-ID aus der URL, sodass Annotationen automatisch der richtigen Person zugeordnet bleiben.
An der Qualitätskontrolle führt kein Weg vorbei
Offenes Crowdsourcing zieht auch flüchtige und automatisierte Antworten an. Bau die Absicherungen von Anfang an ein:
- Aufmerksamkeitstests, um zu erkennen, wer nicht liest.
- Goldstandards, um die Genauigkeit gegen bekannte Antworten zu messen.
- Eine Trainings- bzw. Qualifikationsphase, damit nur wer besteht zur eigentlichen Aufgabe kommt.
- Überlappung, damit du Übereinstimmung messen und aggregieren kannst.
Behandle die Arbeitenden fair
Das ist ethisch geboten und praktisch klug, denn gut bezahlte und gut eingewiesene Arbeitende liefern bessere Daten:
- Zahle mindestens einen fairen Stundensatz. Miss im Pilotlauf, wie lange die Aufgabe wirklich dauert, und setze die Vergütung entsprechend an.
- Schreib klare Anweisungen und eine kurze Einwilligungs- bzw. Einführungsseite. Siehe Annotationsrichtlinien schreiben.
- Beantworte Rückfragen und zahle zügig; dein Ruf entscheidet mit, wer deine künftigen Aufgaben annimmt.