Skip to content
Guide4 min di lettura

Mechanical Turk ha chiuso: spostare uno studio Potato su un'altra piattaforma

Amazon Mechanical Turk ha chiuso il 30 settembre 2026. Come uno studio Potato che girava su MTurk passa a Prolific, SONA o CloudResearch Connect, e cosa resta invariato.

Potato Team

Amazon Mechanical Turk ha chiuso definitivamente il 30 settembre 2026, quindi uno studio Potato che reclutava lì ora ha bisogno di un'altra piattaforma. Il trasferimento cambia due parti della configurazione, l'accesso e il completamento, e lascia com'erano il task di annotazione, l'addestramento, le verifiche dell'attenzione e gli standard gold.

Questo articolo spiegava come mettere online un task Potato su MTurk. Amazon ha chiuso MTurk ai nuovi requester il 30 luglio 2026 e ha spento il servizio il 30 settembre, e mturk.com ora dice che il marketplace è chiuso per sempre. Il sito per i requester e la sandbox per i requester segnalano entrambi che creare HIT, l'unità di lavoro su MTurk, e completare task non è più possibile.

La configurazione di MTurk in Potato

Potato non ha mai creato né gestito HIT. MTurk reclutava i worker e teneva traccia dei loro assignment, e Potato era l'interfaccia di annotazione all'altro capo di un HIT di tipo ExternalQuestion. Il collegamento era una sola impostazione di accesso, che diceva a Potato di prendere l'identità di ogni worker dal parametro workerId che MTurk metteva nell'URL:

yaml
login:
  type: url_direct
  url_argument: workerId

Potato carica ancora quella configurazione. Il server si avvia, le annotazioni salvate in <output_annotation_dir>/<workerId>/ restano leggibili e i comandi di esportazione funzionano, quindi i dati di uno studio concluso sono intatti anche se nessun worker può raggiungere il server.

Spostare lo studio su un'altra piattaforma

Ogni piattaforma supportata da Potato segue lo stesso schema che seguiva MTurk. La piattaforma manda ogni partecipante al tuo server con un ID nell'URL, Potato lo fa accedere con quell'ID, e il partecipante esce con un codice di completamento, un reindirizzamento o, su SONA, il credito. Spostare uno studio significa quindi far puntare login.url_argument al parametro ID della nuova piattaforma invece che a workerId, eliminare il blocco mturk se la configurazione ne ha uno e aggiungere il blocco crowdsourcing della nuova piattaforma. Per Prolific il risultato è:

yaml
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
crowdsourcing:
  provider: prolific
  prolific:
    completion:
      code: "C1ABCDEF"   # the code from your Prolific study's settings

La scelta della piattaforma dipende da chi deve partecipare.

  • Prolific recluta una popolazione di ricerca generale e, con un token API, Potato tiene traccia delle submission e libera gli item dei partecipanti che restituiscono il task o vanno in timeout. Condurre studi di annotazione su Prolific illustra una configurazione completa.
  • SONA serve il pool di partecipanti della tua università. Potato assegna il credito di ogni partecipante tramite la chiamata di accredito lato server di SONA.
  • CloudResearch Connect recluta una popolazione di ricerca generale tramite Project Link che portano un participantId.
  • Clickworker e Microworkers sono folle aperte di micro-task, le più vicine al modello di MTurk, e sono quelle del gruppo che richiedono il controllo qualità più rigoroso.

Integrazione con il crowdsourcing riporta il blocco e l'URL dello studio per ciascuna, oltre al provider generic per qualsiasi altro panel che passi un ID nell'URL.

Confrontare il nuovo pool con i vecchi dati MTurk

Verifiche dell'attenzione, standard gold, fase di addestramento e quote per annotatore funzionano allo stesso modo su ogni piattaforma, quindi lasciali invariati. Mantenerli identici è anche ciò che rende confrontabili i dati vecchi e quelli nuovi, perché le persone sulla nuova piattaforma non sono i worker di MTurk. Se lo studio prosegue un dataset raccolto su MTurk, fai girare gli stessi item gold sulla nuova piattaforma e confronta l'accuratezza prima di unire le etichette. I controlli descritti in Controllo qualità per l'annotazione in crowdsourcing girano dentro Potato, quindi forniscono la stessa evidenza su qualsiasi piattaforma.

Anche il compenso va ricalcolato, perché la commissione e il minimo della nuova piattaforma sono diversi da quelli di MTurk. Il calcolatore di costi e tempi di annotazione stima il prezzo di uno studio a partire dagli item, dagli annotatori per item e dal tempo per item, con la commissione di Prolific o di qualsiasi altra piattaforma.

Dove andare ora