Skip to content
このページはまだお使いの言語に翻訳されていません。英語版を表示しています。

क्राउडसोर्सिंग एकीकरण

Prolific, MTurk और अन्य क्राउडसोर्सिंग प्लेटफॉर्म के साथ एकीकरण करें।

क्राउडसोर्सिंग एकीकरण

Potato, Prolific और Amazon Mechanical Turk जैसे क्राउडसोर्सिंग प्लेटफॉर्म के साथ बड़े पैमाने पर एनोटेशन कार्यों के लिए सहजता से एकीकृत होता है।

Prolific एकीकरण

बुनियादी सेटअप

yaml
crowdsourcing:
  platform: prolific
  enabled: true
  completion_code: "POTATO2024"  # Code shown on completion

URL पैरामीटर

Prolific URL पैरामीटर के माध्यम से प्रतिभागी जानकारी पास करता है:

yaml
crowdsourcing:
  platform: prolific
  url_params:
    - PROLIFIC_PID    # Participant ID
    - STUDY_ID        # Study ID
    - SESSION_ID      # Session ID

वर्कर्स इस तरह पहुँचते हैं:

text
https://your-server.com/?PROLIFIC_PID=xxx&STUDY_ID=xxx&SESSION_ID=xxx

Prolific कॉन्फ़िगरेशन

अपनी Prolific स्टडी सेटिंग्स में:

  1. Study URL को अपने Potato सर्वर पर सेट करें
  2. URL पैरामीटर जोड़ें: ?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}}
  3. Completion code को अपने कॉन्फ़िग से मिलान करने के लिए सेट करें

सत्यापन

Prolific प्रतिभागियों को सत्यापित करें:

yaml
crowdsourcing:
  platform: prolific
  validate_participant: true
  completion_code: "POTATO2024"

Amazon MTurk एकीकरण

बुनियादी सेटअप

yaml
crowdsourcing:
  platform: mturk
  enabled: true

HIT कॉन्फ़िगरेशन

अपने सर्वर की ओर इशारा करते हुए एक External Question HIT बनाएं:

xml
<?xml version="1.0" encoding="UTF-8"?>
<ExternalQuestion xmlns="http://mechanicalturk.amazonaws.com/AWSMechanicalTurkDataSchemas/2006-07-14/ExternalQuestion.xsd">
  <ExternalURL>https://your-server.com/?workerId=${workerId}&amp;assignmentId=${assignmentId}&amp;hitId=${hitId}</ExternalURL>
  <FrameHeight>800</FrameHeight>
</ExternalQuestion>

URL पैरामीटर

yaml
crowdsourcing:
  platform: mturk
  url_params:
    - workerId
    - assignmentId
    - hitId

सैंडबॉक्स परीक्षण

पहले MTurk Sandbox से परीक्षण करें:

yaml
crowdsourcing:
  platform: mturk
  sandbox: true  # Use sandbox environment

वर्कर प्रबंधन

वर्कर्स को ट्रैक करें

yaml
crowdsourcing:
  track_workers: true
  worker_id_field: worker_id

प्रति वर्कर इंस्टेंस सीमित करें

yaml
instances_per_annotator: 50

वापस लौटने वाले वर्कर्स को ब्लॉक करें

वर्कर्स को कार्य दोबारा लेने से रोकें:

yaml
crowdsourcing:
  prevent_retakes: true

गुणवत्ता नियंत्रण

ध्यान जांच

परीक्षण प्रश्न डालें:

yaml
attention_checks:
  enabled: true
  frequency: 10  # Every 10 instances
  fail_threshold: 2
  action: warn  # or 'block'

गोल्ड स्टैंडर्ड प्रश्न

json
{
  "id": "gold_1",
  "text": "The sky is typically blue during a clear day.",
  "gold_label": "True",
  "is_gold": true
}
yaml
quality_control:
  gold_questions: true
  gold_percentage: 10  # 10% of instances
  min_gold_accuracy: 70

समय सीमाएं

yaml
crowdsourcing:
  min_time_per_instance: 5  # seconds
  max_time_total: 3600  # 1 hour

निम्न-गुणवत्ता कार्य अस्वीकार करें

yaml
quality_control:
  auto_reject:
    enabled: true
    conditions:
      - gold_accuracy_below: 50
      - completion_time_under: 300  # seconds

समापन प्रबंधन

समापन कोड दिखाएं

yaml
completion:
  show_code: true
  code: "POTATO2024"
  message: "Thank you! Your completion code is: {code}"

समापन पर रीडायरेक्ट करें

yaml
completion:
  redirect: true
  redirect_url: "https://prolific.co/submissions/complete?cc={code}"

कस्टम समापन पृष्ठ

yaml
completion:
  custom_template: templates/completion.html

भुगतान स्तर

गुणवत्ता के आधार पर

yaml
payment:
  tiers:
    - name: bonus
      condition:
        gold_accuracy_above: 90
      amount: 0.50
    - name: standard
      condition:
        gold_accuracy_above: 70
      amount: 0.00
    - name: reject
      condition:
        gold_accuracy_below: 50

पूर्ण उदाहरण: Prolific स्टडी

yaml
task_name: "Sentiment Analysis Study"
 
# Crowdsourcing settings
crowdsourcing:
  platform: prolific
  enabled: true
  completion_code: "SENT2024"
  url_params:
    - PROLIFIC_PID
    - STUDY_ID
    - SESSION_ID
  prevent_retakes: true
 
# Open access for crowdworkers
allow_all_users: true
 
# Task assignment
instances_per_annotator: 50
annotation_per_instance: 3
 
# Quality control
attention_checks:
  enabled: true
  frequency: 10
  fail_threshold: 2
 
quality_control:
  gold_questions: true
  gold_percentage: 5
  min_gold_accuracy: 70
 
# Data
data_files:
  - path: data/main.json
    text_field: text
 
# Annotation scheme
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: "What is the sentiment?"
    labels:
      - Positive
      - Negative
      - Neutral
    keyboard_shortcuts:
      Positive: "1"
      Negative: "2"
      Neutral: "3"
 
# Completion
completion:
  show_code: true
  code: "SENT2024"
  message: |
    ## Thank you for participating!
 
    Your completion code is: **{code}**
 
    Please return to Prolific and enter this code to receive payment.

पूर्ण उदाहरण: MTurk HIT

yaml
task_name: "Image Classification HIT"
 
crowdsourcing:
  platform: mturk
  enabled: true
  url_params:
    - workerId
    - assignmentId
    - hitId
 
allow_all_users: true
instances_per_annotator: 20
 
# Time constraints
crowdsourcing:
  min_time_per_instance: 3
  max_time_total: 1800
 
# MTurk form submission
completion:
  mturk_submit: true
  submit_url: "https://www.mturk.com/mturk/externalSubmit"
 
annotation_schemes:
  - annotation_type: radio
    name: category
    description: "What is shown in this image?"
    labels:
      - Cat
      - Dog
      - Bird
      - Other

वर्कर्स की निगरानी

एडमिन डैशबोर्ड

yaml
admin_users:
  - researcher@university.edu
 
admin_dashboard:
  enabled: true
  show_worker_stats: true

/admin पर जाएं और देखें:

  • वर्कर पूर्णता दर
  • प्रति इंस्टेंस औसत समय
  • गोल्ड सटीकता स्कोर
  • ध्यान जांच परिणाम

वर्कर डेटा निर्यात करें

bash
potato export-workers config.yaml --output workers.csv

सर्वोत्तम अभ्यास

  1. अच्छी तरह परीक्षण करें - पहले छोटे समूह के साथ पायलट चलाएं
  2. उचित भुगतान निर्धारित करें - अनुमानित समय की गणना करें और उचित भुगतान करें
  3. स्पष्ट निर्देश - उदाहरण और सीमावर्ती मामले शामिल करें
  4. ध्यान जांच का उपयोग करें - यादृच्छिक क्लिकिंग पकड़ें
  5. गोल्ड प्रश्न शामिल करें - समझ सत्यापित करें
  6. वास्तविक समय में निगरानी करें - जल्दी समस्याओं पर नज़र रखें
  7. अस्वीकृति की योजना बनाएं - शुरू से ही स्पष्ट गुणवत्ता मानदंड निर्धारित करें
  8. समस्याओं के बारे में संवाद करें - वर्कर्स को समस्याओं के बारे में संपर्क करें
  9. फीडबैक पर पुनरावृत्ति करें - वर्कर टिप्पणियों के आधार पर सुधार करें
  10. नियमित रूप से डेटा निर्यात करें - अंत तक प्रतीक्षा न करें

आगे पढ़ें

कार्यान्वयन विवरण के लिए, स्रोत दस्तावेज़ीकरण देखें।