إجراء دراسة على Prolific و MTurk
كيفية إجراء دراسة تعليق جماعية بالاستعانة بالجمهور باستخدام Potato على Prolific أو Amazon Mechanical Turk، بما يشمل ربط المشاركين وضبط الجودة والأجر العادل.
تمنحك منصات الاستعانة بالجمهور مثل Prolific و Amazon Mechanical Turk وصولاً إلى عدد كبير من المُعلّقين عند الطلب. ويتكامل Potato مع كلتيهما: ينتقل المشاركون بالنقر من المنصة، وينجزون المهمة، ويعودون برمز إتمام. الجزء الصعب ليس الربط التقني، بل ضبط الجودة والمعاملة العادلة للعاملين.
للاطلاع على الخلفية، انظر الاستعانة بالجمهور وAmazon Mechanical Turk. وللمرجع الخاص بالتكامل، انظر التكامل مع MTurk، وتجد التكامل مع Prolific في وثائق النشر.
كيف يسير التدفّق
- تنشر مهمة Potato على عنوان URL عمومي.
- ترسل المنصة كل مشارك إلى ذلك العنوان مع تضمين مُعرّفه في الرابط.
- يسجّل Potato التعليقات منسوبةً إلى ذلك المُعرّف.
- عند الانتهاء، يعرض Potato رمز إتمام يقدّمه العامل إلى المنصة كي يتقاضى أجره.
يلتقط Potato مُعرّف المشارك من عنوان URL، فترتبط التعليقات تلقائيًا بالعامل الصحيح.
ضبط الجودة غير قابل للتفاوض
تجتذب الاستعانة بالجمهور المفتوحة بعض الإجابات المتدنية الجهد والإجابات الآلية. ابْنِ الدفاعات منذ البداية:
- فحوص الانتباه لكشف العاملين الذين لا يقرؤون.
- المعايير الذهبية لتقييم الدقة مقابل إجابات معلومة.
- مرحلة تدريب/تأهيل بحيث لا يصل إلى المهمة الحقيقية سوى من اجتازها من العاملين.
- التداخل كي تتمكّن من قياس الاتفاق والتجميع.
عامِل العاملين بإنصاف
هذا أمر أخلاقي وعملي في آنٍ واحد: العاملون الذين يتقاضون أجرًا جيدًا ويُحاطون بإحاطة جيدة يُنتجون بيانات أفضل:
- ادفع أجرًا بالساعة عادلًا على الأقل. وقِّت تجربتك الاسترشادية لتقدير المدة التي تستغرقها المهمة فعلاً، ثم حدّد المكافأة بناءً على ذلك.
- اكتب تعليمات واضحة وموافقة/مقدمة قصيرة. انظر كتابة إرشادات التعليق.
- استجب للأسئلة وادفع بسرعة، فالسمعة تؤثّر في من سيقبل مهامك المستقبلية.