Skip to content
Guides5 min read

Prolific पर एनोटेशन अध्ययन चलाना

Crowdsource किए गए एनोटेशन के लिए Potato को Prolific से जोड़िए: completion URL का सेटअप, प्रतिभागी की ID दर्ज करना, attention check, भुगतान की व्यवस्था, और गुणवत्ता के आधार पर छँटाई।

Potato Team

Prolific से आपको प्रतिभागियों का एक पहले से जाँचा हुआ समूह मिलता है, जो शोध अध्ययनों के लिए ही बना है। यह गाइड Prolific पर एनोटेशन कार्य लगाने और उसका भुगतान करने का तरीक़ा बताती है।

Prolific क्यों

Prolific का निशाना अकादमिक अध्ययन हैं, इसलिए इसके प्रतिभागी पहले से छाँटे हुए होते हैं और आमतौर पर कार्य बीच में नहीं छोड़ते। यह न्यूनतम मज़दूरी लागू करवाता है, जनसांख्यिकी के कई पैमानों पर छँटाई करने देता है, और सहमति लेने की व्यवस्था इसमें पहले से है, जिससे IRB की काग़ज़ी कार्रवाई आसान हो जाती है।

पहले से क्या चाहिए

  1. Prolific पर शोधकर्ता का खाता
  2. Potato इंस्टॉल हो और किसी सार्वजनिक URL पर पहुँच में हो
  3. बुनियादी कॉन्फ़िगरेशन तैयार हो

बुनियादी जोड़

Potato का कॉन्फ़िगरेशन

yaml
annotation_task_name: "Research Annotation Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion redirect
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=XXXXXX"

Prolific पर अध्ययन का सेटअप

  1. Prolific पर नया अध्ययन बनाइए
  2. अध्ययन का URL: https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
  3. Completion URL: कार्य पूरा होने पर Potato से लीजिए

पूरा कॉन्फ़िगरेशन

yaml
annotation_task_name: "Sentiment Analysis - Prolific Study"
 
# Prolific integration via URL-based login
login:
  type: url_direct
  url_argument: PROLIFIC_PID
 
# Completion handling
finish:
  redirect_url: "https://app.prolific.co/submissions/complete?cc=C1A2B3C4"
  thank_you_message: "Thank you for participating! Your completion code is shown below."
 
# Data and task settings
"data_files": ["data/texts.json"]
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels: [Positive, Negative, Neutral]
    label_requirement:
      required: true
 
# Multi-phase workflow using surveyflow
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
 
  prestudy:
 
instances_per_annotator: 50

Prolific पर अध्ययन खड़ा करना

क़दम 1: अध्ययन बनाइए

  1. Prolific Dashboard → New Study पर जाइए
  2. अध्ययन का ब्योरा भरिए:
    • शीर्षक: साफ़ और बताने वाला नाम
    • विवरण: प्रतिभागी करेंगे क्या
    • अनुमानित समय: सही-सही लिखिए (इसी से दिखने वाली भुगतान दर बनती है)

क़दम 2: अध्ययन का URL सेट कीजिए

text
https://your-server.com/annotate?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}

क़दम 3: Completion code तय कीजिए

  1. Potato के config में एक अलग completion code रखिए
  2. Prolific में redirect वाला completion URL इस्तेमाल कीजिए:
    text
    https://app.prolific.co/submissions/complete?cc=YOUR_CODE

क़दम 4: प्रतिभागियों की शर्तें

प्रतिभागियों को इन पर छाँटिए:

  • जनसांख्यिकी: उम्र, लिंग, राष्ट्रीयता
  • भाषा: पहली भाषा, प्रवाह
  • स्वीकृति दर: पिछले कामों की न्यूनतम स्वीकृति %
  • अपनी शर्तें: पहले किन अध्ययनों में भाग लिया

क़दम 5: भुगतान

  • उचित भुगतान तय कीजिए (Prolific न्यूनतम मज़दूरी माँगता है)
  • हिसाब: (अनुमानित_समय_मिनट / 60) × प्रति घंटा दर
  • गुणवत्ता के लिए बोनस देने पर भी सोचिए

प्रतिभागी का रास्ता सँभालना

अपने अध्ययन का रास्ता तय करने के लिए Potato का surveyflow इस्तेमाल कीजिए:

yaml
surveyflow:
  on: true
  order:
    - consent
    - prestudy
    - annotation
    - poststudy
 
  consent:
    data_file: "data/consent.json"
 
  prestudy:
    data_file: "data/instructions.json"
 
  poststudy:
    data_file: "data/feedback.json"

Crowdsourcing में गुणवत्ता नियंत्रण

Attention check

आप अपनी डेटा फ़ाइल में gold standard आइटम रख सकते हैं, जिनका सही जवाब पहले से पता हो। attention check के लिए डेटा में gold फ़ील्ड वाले आइटम शामिल कीजिए:

json
{
  "id": "attention_1",
  "text": "Please select 'Positive' for this item.",
  "gold": {"sentiment": "Positive"}
}

गुणवत्ता पर नज़र

Potato का admin डैशबोर्ड कार्य पूरा होने की दर और एनोटेशन के आँकड़े दिखाता है। आप आउटपुट फ़ाइलें सीधे खोलकर भी पैटर्न पकड़ सकते हैं, जैसे हर जगह एक ही लेबल लगना या शक़ पैदा करने वाली तेज़ रफ़्तार।

जवाब ख़ारिज करना

गुणवत्ता से जुड़ी गड़बड़ियाँ quality_control सेक्शन से सँभालिए। जो प्रतिभागी attention check में फ़ेल हों, उन्हें कहीं और भेजा जा सकता है।

भुगतान और बोनस

बोनस Prolific के इंटरफ़ेस से जाते हैं। अध्ययन ख़त्म होने पर अपना एनोटेशन डेटा निर्यात कीजिए, अपने पैमानों पर बोनस का हिसाब लगाइए, और उन्हें Prolific पर चढ़ा दीजिए।

अध्ययन पर नज़र रखना

चल रहे अध्ययन को देखने के तीन रास्ते हैं: Potato का admin डैशबोर्ड, Prolific का अध्ययन देखने वाला इंटरफ़ेस, और आपकी अपनी एनोटेशन आउटपुट फ़ाइलें।

आउटपुट प्रारूप

json
{
  "participant_id": "PROLIFIC_PID_XXXXX",
  "study_id": "STUDY_ID_XXXXX",
  "session_id": "SESSION_ID_XXXXX",
  "annotations": [...],
  "metadata": {
    "start_time": "2026-01-20T10:00:00Z",
    "end_time": "2026-01-20T10:25:00Z",
    "duration_minutes": 25,
    "items_completed": 50,
    "attention_checks_passed": 5,
    "attention_checks_failed": 0
  },
  "quality_metrics": {
    "avg_time_per_item": 28.5,
    "consistency_score": 0.92
  }
}

Prolific अध्ययनों के लिए सुझाव

पूरा अध्ययन शुरू करने से पहले 5-10 प्रतिभागियों के साथ एक pilot चलाइए। शोध के स्तर की दर पर भुगतान कीजिए; Prolific के प्रतिभागी यही उम्मीद रखते हैं और दर कम हो तो कह भी देते हैं। निर्देश साफ़ लिखिए, क्योंकि ज़्यादातर उलझन और ख़ारिज होना गोल-मोल निर्देशों से ही आता है। इंटरफ़ेस फ़ोन पर भी चलने लायक़ रखिए, क्योंकि कुछ प्रतिभागी फ़ोन पर ही होंगे। और जमा किए गए काम जल्दी स्वीकार कीजिए, शिष्टाचार के नाते भी और अपने अध्ययन की साख बनाए रखने के लिए भी।

अगले क़दम

Crowdsourcing का पूरा संदर्भ वेबसाइट के दस्तावेज़ों में क्राउडसोर्सिंग एकीकरण पर है, या स्रोत दस्तावेज़ देखिए।