Skip to content

在 Prolific 和 SONA 上開展眾包研究

如何用 Potato 在 Prolific、SONA、CloudResearch Connect 和其他樣本平臺上開展眾包標註研究，以及 MTurk 關閉後有哪些變化。

眾包標註研究在 Prolific 這樣的平臺上招募參與者，把每位參與者連同連結裡的參與者 ID 一起送到你的 Potato 伺服器，並在他們完成後帶著完成碼或學分把他們送回平臺。Potato 為 Prolific、SONA 被試池、CloudResearch Connect、Clickworker 和 Microworkers 提供了專門的提供方，另有一個通用提供方，適用於任何在 URL 中傳遞 ID 的其他樣本平臺。 Amazon Mechanical Turk 已於 2026 年 9 月 30 日關閉，所以原先在那裡執行的研究現在需要換用上述平臺之一。

這裡的眾包指的是從開放的人群中招募標註者，而不是從你自己的團隊中招募。SONA 這樣的被試池服務於某一所大學的學生，參與者通常以此換取課程學分。完成碼是參與者交回平臺的一串字元，平臺據此向他們付款或發放學分。眾包整合給出了每個平臺的配置。

眾包研究的流程

在 Potato 支援的每個平臺上，流程都是一樣的，不同平臺之間只有 URL 參數的名稱和完成方式有所變化。

  1. 你在一個公開的 URL 上部署 Potato 任務。部署標註伺服器介紹了可選方案。
  2. 平臺把每位參與者帶到該 URL，並在連結中附帶其 ID，例如 Prolific 上的 PROLIFIC_PID 或 SONA 上的 sona_code。
  3. Potato 以該 ID 為參與者登入，無需密碼，因此每條標註都能對應到平臺將要付款或發放學分的那個人。
  4. 參與者完成後，Potato 會顯示完成碼、把參與者重定向回平臺，或者在 SONA 上自行發放學分。

對於 Prolific 研究，登入配置讀取 ID，提供方塊指定完成碼：

yaml
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
crowdsourcing:
  provider: prolific
  prolific:
    completion:
      code: "C1ABCDEF"        # the code from your Prolific study's settings
      failed_code: "C1FAILED" # optional, for blocked or screened-out participants

被注意力檢查攔下的參與者，或者沒通過培訓階段的參與者，拿到的是失敗碼，所以你在 Prolific 裡稽核時，能把他們的提交與已完成的提交區分開。

選擇平臺

各平臺的主要區別在於參與者是誰。

  • Prolific 招募一般的研究人群，與 Potato 的整合最深入。有了 API 令牌，Potato 會跟蹤提交情況，並釋放中途退出或超時的參與者所佔的條目；開啟 workload_checker 後，當活躍參與者超過 max_concurrent_sessions 時，Potato 會暫停研究。
  • SONA 服務於你所在機構自己的被試池。參與者大多是學生，Potato 通過 SONA 的伺服器端學分介面為他們發放學分。
  • CloudResearch Connect 通過帶有 participantId 的 Project Links 招募一般的研究人群。
  • Clickworker 和 Microworkers 是開放的微任務眾包人群。它們適合大批次任務，也需要這幾個平臺中最嚴格的品質控制。
  • 其他任何樣本平臺，只要在 URL 中傳遞 ID，並接受完成碼或跳轉，都可以使用 generic 提供方。

Mechanical Turk 之後

Amazon Mechanical Turk 已於 2026 年 9 月 30 日永久關閉。Potato 仍能載入 MTurk 配置，所以歸檔研究的伺服器還能啟動，但不會有任何工作者訪問到它。遷移研究的做法是：把 login.url_argument 從 workerId 改為新平臺的 ID 參數，用該平臺的 crowdsourcing 塊替換 mturk 塊，並在新平臺上把 HIT 重新建立為一項研究。標註方案、培訓、注意力檢查和黃金標準都保持不變。眾包整合中的“把研究遷出 MTurk”一節列出了這五個步驟。

新舊人群的結果不經檢驗就不能互換，因為參與的人不同。如果研究要與 MTurk 資料作比較，請在新平臺上運行同樣的黃金標準條目，先比較準確率，再把兩者合併。

品質控制

開放的眾包人群會招來一些敷衍或自動生成的回答，防禦措施要在研究開放之前就部署好：

  • 注意力檢查：找出沒有認真閱讀的參與者，最短作答時間則能找出一路亂點的參與者。
  • 黃金標準：對照已知答案為準確率打分。
  • 培訓階段：只讓通過的參與者進入正式任務。
  • 標註者之間的重疊：讓你能夠衡量一致性並聚合標籤。

公平對待參與者

報酬合理、說明清楚的參與者產出的資料更好，而且 Prolific 自己就強制執行最低時薪。

  • 至少按公平的時薪付費。 通過試點給任務計時，測出所需時長，再據此確定報酬。
  • 寫清楚的說明和一頁簡短的知情同意書。參見撰寫有效的標註指南。
  • 及時回答問題並支付報酬，因為釋出者的聲譽會影響誰來參加他的下一項研究。

標註成本與時間計算器根據條目數、每個條目的標註者人數和每個條目的用時估算研究預算。

延伸閱讀