Skip to content

Как провести краудсорсинговое исследование на Prolific и SONA

Как провести краудсорсинговое исследование разметки в Potato на Prolific, SONA, CloudResearch Connect и других панелях и что изменилось после закрытия MTurk.

Краудсорсинговое исследование разметки набирает участников на платформе вроде Prolific, отправляет каждого на ваш сервер Potato с его идентификатором участника в ссылке и возвращает обратно с кодом завершения или зачётом, когда он закончит. В Potato есть провайдеры для Prolific, пулов участников SONA, CloudResearch Connect, Clickworker и Microworkers, а также универсальный провайдер для любой другой панели, которая передаёт идентификатор в URL. Amazon Mechanical Turk закрылся 30 сентября 2026 года, поэтому исследованиям, которые шли там, теперь нужна одна из этих платформ.

Краудсорсинг здесь означает набор разметчиков из открытого пула, а не из собственной команды. Пул участников вроде SONA обслуживает студентов одного университета, обычно за зачёт по учебному курсу. Код завершения — это строка, которую участник возвращает на платформу, чтобы та могла заплатить ему или выставить зачёт. Настройка для каждой платформы описана в разделе Интеграция с краудсорсингом.

Как устроено краудсорсинговое исследование

Порядок одинаков на всех платформах, которые поддерживает Potato: от платформы к платформе меняются только имя параметра URL и форма завершения.

  1. Вы разворачиваете задачу Potato по публичному URL. Варианты описаны в разделе Развёртывание сервера разметки.
  2. Платформа отправляет каждого участника по этому URL с его идентификатором в ссылке, например PROLIFIC_PID на Prolific или sona_code на SONA.
  3. Potato впускает участника под этим идентификатором без пароля, так что каждая разметка привязана к человеку, которому платформа заплатит или выставит зачёт.
  4. Когда участник заканчивает, Potato показывает код завершения, перенаправляет его обратно на платформу или, в случае SONA, сам выставляет зачёт.

В исследовании на Prolific вход считывает идентификатор, а блок провайдера задаёт коды завершения:

yaml
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
crowdsourcing:
  provider: prolific
  prolific:
    completion:
      code: "C1ABCDEF"        # the code from your Prolific study's settings
      failed_code: "C1FAILED" # optional, for blocked or screened-out participants

Участник, которого заблокировали проверки внимательности или который не прошёл этап обучения, вместо этого получает код неудачи, поэтому при проверке в Prolific его отправку можно отличить от завершённой.

Выбор платформы

Платформы различаются прежде всего тем, кто на них участники.

  • Prolific набирает участников из общей исследовательской аудитории и интегрирован с Potato глубже всех. С токеном API Potato отслеживает отправки и освобождает объекты участников, которые вернули задание или не уложились во время, а при включённом workload_checker приостанавливает исследование, когда число активных участников превышает max_concurrent_sessions.
  • SONA обслуживает пул вашего собственного учреждения. Участники в основном студенты, и Potato выставляет им зачёт через серверный вызов начисления зачёта в SONA.
  • CloudResearch Connect набирает участников из общей исследовательской аудитории через Project Links, которые передают participantId.
  • Clickworker и Microworkers — открытые краудплатформы микрозадач. Они подходят для задач большого объёма и требуют самого строгого контроля качества из всех.
  • Любая другая панель, которая передаёт идентификатор в URL и принимает код завершения или перенаправление, работает с провайдером generic.

После Mechanical Turk

Amazon Mechanical Turk закрылся навсегда 30 сентября 2026 года. Potato по-прежнему загружает конфигурацию MTurk, поэтому сервер архивного исследования запускается, но ни один исполнитель до него не доберётся. Чтобы перенести исследование, направьте login.url_argument на параметр идентификатора новой платформы вместо workerId, замените блок mturk блоком crowdsourcing этой платформы и заново создайте там HIT как исследование. Схемы разметки, обучение, проверки внимательности и эталонные примеры остаются прежними. Пять шагов перечислены в подразделе «Перенос исследования с MTurk» раздела Интеграция с краудсорсингом.

Результаты старого и нового пула нельзя считать взаимозаменяемыми без проверки, потому что люди в них разные. Если исследование сравнивается с данными MTurk, прогоните те же эталонные объекты на новой платформе и сравните точность, прежде чем объединять оба набора.

Контроль качества

Открытые краудплатформы привлекают часть небрежных и автоматических ответов, и защиту нужно поставить до открытия исследования:

  • Проверки внимательности выявляют участников, которые не читают, а минимальное время ответа выявляет тех, кто просто прокликивает задания.
  • Эталонные примеры оценивают точность по известным ответам.
  • Этап обучения допускает к настоящей задаче только тех участников, кто его прошёл.
  • Пересечение между разметчиками позволяет измерить согласованность и агрегировать метки.

Честное отношение к участникам

Участники, которым хорошо платят и всё понятно объясняют, дают более качественные данные, а Prolific сам требует минимальную почасовую ставку.

  • Платите как минимум справедливую почасовую ставку. Засеките в пилотном запуске, сколько длится задача, и назначьте вознаграждение исходя из этой продолжительности.
  • Пишите понятные инструкции и короткую страницу информированного согласия. См. Как писать руководство по разметке.
  • Отвечайте на вопросы и платите без задержек, потому что репутация заказчика влияет на то, кто возьмётся за его следующее исследование.

Калькулятор стоимости и времени разметки оценивает бюджет исследования по числу объектов, числу разметчиков на объект и времени на объект.

Что почитать дальше