Skip to content

在 Prolific 和 MTurk 上开展研究

如何使用 Potato 在 Prolific 或 Amazon Mechanical Turk 上开展众包标注研究，包括关联参与者、质量控制与公平报酬。

Prolific 和 Amazon Mechanical Turk 这类众包平台让你能够按需获取大量标注者。Potato 与两者都能集成：参与者从平台点击进入，完成任务，再带着完成码返回。 真正困难的不是技术对接，而是质量控制和对工人的公平对待。

关于背景信息，参见众包和Amazon Mechanical Turk。集成方面的参考资料，参见MTurk 集成，Prolific 集成也可在部署文档中找到。

流程是如何运作的

  1. 你在一个公开的 URL 上部署 Potato 任务。
  2. 平台把每位参与者带到该 URL，并在链接中附带其 ID。
  3. Potato 将标注记录到该 ID 之下。
  4. 完成后，Potato 显示一个完成码，工人把它提交回平台以获得报酬。

Potato 会从 URL 中捕获参与者 ID，因此标注会自动关联到正确的工人。

质量控制没有商量余地

开放式众包会招来一些敷衍了事和自动生成的回答。从一开始就建立起防御机制：

公平对待工人

这既是道德问题也是实际问题：报酬合理、说明清楚的工人产出更好的数据：

  • 至少按公平的时薪付费。 在试点中给任务计时，估算它真正需要多长时间，然后据此定价报酬。
  • 写清楚的说明以及一段简短的知情同意/介绍。参见撰写标注指南。
  • 及时回应问题并支付报酬；声誉会影响日后谁愿意接你的任务。

延伸阅读