Prolific과 MTurk에서 연구 진행하기

Prolific과 Amazon Mechanical Turk 같은 크라우드소싱 플랫폼을 사용하면 필요할 때 많은 어노테이터를 확보할 수 있습니다. Potato는 두 플랫폼 모두와 연동됩니다. 참가자는 플랫폼에서 클릭해 이동하고, 작업을 수행한 뒤, 완료 코드를 가지고 돌아옵니다. 어려운 부분은 연결 작업이 아니라 품질 관리와 작업자에 대한 공정한 대우입니다.

배경은 크라우드소싱과 Amazon Mechanical Turk를 참고하십시오. 연동 레퍼런스는 MTurk 연동을 참고하고, Prolific 연동은 배포 문서에 있습니다.

흐름이 작동하는 방식

1. 공개 URL에 Potato 작업을 배포합니다.
2. 플랫폼이 각 참가자를 링크에 ID를 담아 그 URL로 보냅니다.
3. Potato는 해당 ID에 연결하여 어노테이션을 기록합니다.
4. 작업이 끝나면 Potato가 완료 코드를 표시하고, 작업자는 이를 플랫폼에 다시 제출하여 보수를 받습니다.

Potato는 URL에서 참가자 ID를 가져오므로 어노테이션이 자동으로 올바른 작업자에 연결됩니다.

품질 관리는 타협할 수 없습니다

개방형 크라우드소싱에는 성의 없는 응답과 자동화된 응답이 일부 모입니다. 처음부터 방어 장치를 마련하십시오.

• **주의력 점검**으로 제대로 읽지 않는 작업자를 가려냅니다.
• **골드 스탠다드**로 알려진 정답과 비교해 정확도를 채점합니다.
• **교육/자격 단계**를 두어 통과한 작업자만 실제 작업에 도달하도록 합니다.
• **중복**을 두어 일치도를 측정하고 집계할 수 있도록 합니다.

작업자를 공정하게 대우하십시오

이는 윤리적인 동시에 실용적인 문제입니다. 보수를 제대로 받고 충분히 안내받은 작업자가 더 나은 데이터를 만들어 냅니다.

• 최소한 공정한 시급을 지급하십시오. 파일럿으로 시간을 측정해 작업이 실제로 얼마나 걸리는지 추정한 뒤, 그에 맞게 보상을 책정하십시오.
• 명확한 지침과 짧은 동의/소개문을 작성하십시오. 어노테이션 가이드라인 작성하기를 참고하십시오.
• 질문에 응답하고 신속하게 보수를 지급하십시오. 평판은 앞으로 누가 당신의 작업을 맡을지에 영향을 줍니다.

더 읽어보기

• MTurk 연동 레퍼런스
• 어노테이션 서버 배포하기
• 골드 스탠다드와 주의력 점검