Prolific और MTurk पर अध्ययन चलाना
Potato के साथ Prolific या Amazon Mechanical Turk पर crowdsource किया गया एनोटेशन अध्ययन कैसे चलाएँ, प्रतिभागियों को जोड़ना, गुणवत्ता नियंत्रण, और उचित भुगतान।
Prolific और Amazon Mechanical Turk जैसे crowdsourcing प्लेटफ़ॉर्म से आपको ज़रूरत पड़ने पर बहुत सारे एनोटेटर मिल जाते हैं। Potato दोनों के साथ जुड़ता है: प्रतिभागी प्लेटफ़ॉर्म से क्लिक करके आते हैं, कार्य करते हैं, और एक completion code लेकर लौटते हैं। मुश्किल हिस्सा यह जोड़-तोड़ नहीं, बल्कि गुणवत्ता नियंत्रण और workers के साथ सही बर्ताव है।
पृष्ठभूमि के लिए क्राउडसोर्सिंग और Amazon Mechanical Turk देखें। इंटीग्रेशन संदर्भ के लिए MTurk एकीकरण और deployment दस्तावेज़ों में Prolific इंटीग्रेशन देखें।
प्रवाह कैसे चलता है
- आप Potato का कार्य किसी सार्वजनिक URL पर तैनात करते हैं।
- प्लेटफ़ॉर्म हर प्रतिभागी को उस URL पर भेजता है, लिंक में उसकी ID के साथ।
- Potato एनोटेशन उसी ID के नाम दर्ज करता है।
- ख़त्म होने पर Potato एक completion code दिखाता है, जिसे worker प्लेटफ़ॉर्म पर जमा करके भुगतान पाता है।
Potato प्रतिभागी की ID URL से ले लेता है, इसलिए एनोटेशन अपने आप सही worker से जुड़ जाते हैं।
गुणवत्ता नियंत्रण पर समझौता नहीं
खुले crowdsourcing में कुछ लापरवाह और स्वचालित जवाब आते ही हैं। बचाव शुरुआत से ही बना लें:
- Attention check, ताकि जो workers पढ़ ही नहीं रहे वे पकड़े जाएँ।
- Gold standard, ताकि जाने-पहचाने जवाबों के मुक़ाबले सटीकता आँकी जा सके।
- एक प्रशिक्षण/योग्यता चरण, ताकि असली कार्य तक सिर्फ़ पास होने वाले workers पहुँचें।
- Overlap, ताकि आप सहमति माप सकें और नतीजे मिला सकें।
Workers के साथ उचित बर्ताव करें
यह नैतिक भी है और व्यावहारिक भी, अच्छा भुगतान और अच्छी जानकारी पाने वाले workers बेहतर डेटा देते हैं:
- कम से कम एक उचित प्रति घंटा दर दें। अपने pilot का समय नापकर अंदाज़ा लगाएँ कि कार्य में असल में कितना वक़्त लगता है, फिर उसी हिसाब से इनाम तय करें।
- साफ़ निर्देश लिखें और एक छोटा सहमति/परिचय पन्ना दें। देखें एनोटेशन दिशानिर्देश लिखना।
- सवालों का जवाब दें और भुगतान समय पर करें; आपकी साख तय करती है कि आगे आपके कार्य कौन लेगा।