Skip to content
ガイド5分で読めます

Mechanical Turkは終了しました：Potatoのスタディを別のプラットフォームに移す

Amazon Mechanical Turkは2026年9月30日に終了しました。MTurkで実施していたPotatoのスタディをProlific、SONA、CloudResearch Connectに移す方法と、変わらない部分を説明します。

Potato Team

Amazon Mechanical Turkは2026年9月30日に完全に終了したため、そこで参加者を募集していたPotatoのスタディには別のプラットフォームが必要になりました。移行で変わるのは設定のうちログインと完了の2か所で、アノテーションタスク、トレーニング、注意力チェック、ゴールドスタンダードはそのまま残ります。

この記事は以前、PotatoのタスクをMTurkにデプロイする方法を説明していました。Amazonは2026年7月30日にMTurkへの新規リクエスターの受け付けを終え、9月30日にサービスを停止しました。mturk.comには現在、マーケットプレイスが完全に閉鎖されたと表示されています。リクエスター用サイトとリクエスター用サンドボックスはどちらも、MTurkの作業単位であるHITの作成とタスクの完了がもう利用できないと表示しています。

PotatoでのMTurkの設定

PotatoがHITを作成したり管理したりしたことはありません。MTurkがワーカーを募集して割り当てを追跡し、PotatoはExternalQuestion HITの向こう側にあるアノテーションインターフェースでした。両者をつないでいたのはログイン設定ひとつで、MTurkがURLに入れるworkerIdパラメータから各ワーカーの身元を取るようPotatoに指示していました：

yaml
login:
  type: url_direct
  url_argument: workerId

Potatoは今もこの設定を読み込めます。サーバーは起動し、<output_annotation_dir>/<workerId>/に保存されたアノテーションは読み取れ、エクスポートコマンドも動きます。つまり、どのワーカーもサーバーにたどり着けなくなっても、終了したスタディのデータは失われていません。

スタディを別のプラットフォームに移す

Potatoが対応するプラットフォームはどれも、MTurkと同じパターンで動きます。プラットフォームが各参加者をURLにIDを付けてサーバーに送り、PotatoがそのIDで参加者をログインさせ、参加者は完了コード、リダイレクト、またはSONAの場合はクレジットを受け取って去ります。したがってスタディの移行とは、login.url_argumentをworkerIdから新しいプラットフォームのIDパラメータに向け直し、設定にmturkブロックがあれば削除し、新しいプラットフォームのcrowdsourcingブロックを追加することです。Prolificの場合は次のようになります：

yaml
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
crowdsourcing:
  provider: prolific
  prolific:
    completion:
      code: "C1ABCDEF"   # the code from your Prolific study's settings

どのプラットフォームを選ぶかは、誰に参加してほしいかで決まります。

  • Prolificは一般的な研究参加者を募集します。APIトークンがあれば、Potatoは提出状況を追跡し、タスクを返却した参加者やタイムアウトした参加者のアイテムを解放します。完全なセットアップはProlificでのアノテーション研究の実施で順を追って説明しています。
  • SONAは自分の大学の参加者プールに対応します。PotatoはSONAのサーバー側クレジット付与APIを呼び出して、各参加者にクレジットを付与します。
  • CloudResearch Connectは、participantIdを付けたProject Linkを通じて一般的な研究参加者を募集します。
  • ClickworkerとMicroworkersは誰でも参加できるマイクロタスクのクラウドで、MTurkのモデルに最も近く、この中で最も厳しい品質管理が必要です。

クラウドソーシング統合には、それぞれのブロックとスタディURLに加えて、URLでIDを渡す他のパネル向けのgenericプロバイダーも載っています。

新しいプールを過去のMTurkデータと照らし合わせる

注意力チェック、ゴールドスタンダード、トレーニングフェーズ、アノテーターごとの上限は、どのプラットフォームでも同じように動くので、変更せずに残してください。これらを同じに保つことは、新旧のデータを比較できるようにするためでもあります。新しいプラットフォームにいる人々はMTurkのワーカーではないからです。MTurkで集めたデータセットの続きとしてスタディを行うなら、新しいプラットフォームで同じゴールドアイテムを実施し、ラベルを統合する前に正解率を比べてください。クラウドソーシングによるアノテーションの品質管理で紹介しているチェックはPotatoの中で動くため、どのプラットフォームでも同じ根拠が得られます。

報酬も設定し直す必要があります。新しいプラットフォームの手数料と最低額はMTurkとは異なるからです。アノテーションのコストと時間の計算ツールは、アイテム数、アイテムあたりのアノテーター数、アイテムあたりの時間から、Prolificの手数料でも他のプラットフォームの手数料でもスタディの費用を見積もります。

次に読むもの