在 Prolific 和 MTurk 上開展研究
如何使用 Potato 在 Prolific 或 Amazon Mechanical Turk 上開展眾包標註研究，包括關聯參與者、品質控制與公平報酬。
Prolific 和 Amazon Mechanical Turk 這類眾包平臺讓你能夠按需獲取大量標註者。Potato 與兩者都能整合：參與者從平臺點選進入，完成任務，再帶著完成碼返回。 真正困難的不是技術對接，而是品質控制和對工人的公平對待。
關於背景資訊，參見眾包和Amazon Mechanical Turk。整合方面的參考資料，參見MTurk 整合，Prolific 整合也可在部署文件中找到。
流程是如何運作的
- 你在一個公開的 URL 上部署 Potato 任務。
- 平臺把每位參與者帶到該 URL，並在連結中附帶其 ID。
- Potato 將標註記錄到該 ID 之下。
- 完成後，Potato 顯示一個完成碼，工人把它提交回平臺以獲得報酬。
Potato 會從 URL 中捕獲參與者 ID，因此標註會自動關聯到正確的工人。
品質控制沒有商量餘地
開放式眾包會招來一些敷衍了事和自動生成的回答。從一開始就建立起防禦機制：
公平對待工人
這既是道德問題也是實際問題：報酬合理、說明清楚的工人產出更好的資料：
- 至少按公平的時薪付費。 在試點中給任務計時，估算它真正需要多長時間，然後據此定價報酬。
- 寫清楚的說明以及一段簡短的知情同意/介紹。參見撰寫標註指南。
- 及時回應問題並支付報酬；聲譽會影響日後誰願意接你的任務。