このページはまだお使いの言語に翻訳されていません。英語版を表示しています。
क्राउडसोर्सिंग एकीकरण
Prolific, MTurk और अन्य क्राउडसोर्सिंग प्लेटफॉर्म के साथ एकीकरण करें।
क्राउडसोर्सिंग एकीकरण
Potato, Prolific और Amazon Mechanical Turk जैसे क्राउडसोर्सिंग प्लेटफॉर्म के साथ बड़े पैमाने पर एनोटेशन कार्यों के लिए सहजता से एकीकृत होता है।
Prolific एकीकरण
बुनियादी सेटअप
yaml
crowdsourcing:
platform: prolific
enabled: true
completion_code: "POTATO2024" # Code shown on completionURL पैरामीटर
Prolific URL पैरामीटर के माध्यम से प्रतिभागी जानकारी पास करता है:
yaml
crowdsourcing:
platform: prolific
url_params:
- PROLIFIC_PID # Participant ID
- STUDY_ID # Study ID
- SESSION_ID # Session IDवर्कर्स इस तरह पहुँचते हैं:
text
https://your-server.com/?PROLIFIC_PID=xxx&STUDY_ID=xxx&SESSION_ID=xxx
Prolific कॉन्फ़िगरेशन
अपनी Prolific स्टडी सेटिंग्स में:
- Study URL को अपने Potato सर्वर पर सेट करें
- URL पैरामीटर जोड़ें:
?PROLIFIC_PID={{%PROLIFIC_PID%}}&STUDY_ID={{%STUDY_ID%}}&SESSION_ID={{%SESSION_ID%}} - Completion code को अपने कॉन्फ़िग से मिलान करने के लिए सेट करें
सत्यापन
Prolific प्रतिभागियों को सत्यापित करें:
yaml
crowdsourcing:
platform: prolific
validate_participant: true
completion_code: "POTATO2024"Amazon MTurk एकीकरण
बुनियादी सेटअप
yaml
crowdsourcing:
platform: mturk
enabled: trueHIT कॉन्फ़िगरेशन
अपने सर्वर की ओर इशारा करते हुए एक External Question HIT बनाएं:
xml
<?xml version="1.0" encoding="UTF-8"?>
<ExternalQuestion xmlns="http://mechanicalturk.amazonaws.com/AWSMechanicalTurkDataSchemas/2006-07-14/ExternalQuestion.xsd">
<ExternalURL>https://your-server.com/?workerId=${workerId}&assignmentId=${assignmentId}&hitId=${hitId}</ExternalURL>
<FrameHeight>800</FrameHeight>
</ExternalQuestion>URL पैरामीटर
yaml
crowdsourcing:
platform: mturk
url_params:
- workerId
- assignmentId
- hitIdसैंडबॉक्स परीक्षण
पहले MTurk Sandbox से परीक्षण करें:
yaml
crowdsourcing:
platform: mturk
sandbox: true # Use sandbox environmentवर्कर प्रबंधन
वर्कर्स को ट्रैक करें
yaml
crowdsourcing:
track_workers: true
worker_id_field: worker_idप्रति वर्कर इंस्टेंस सीमित करें
yaml
instances_per_annotator: 50वापस लौटने वाले वर्कर्स को ब्लॉक करें
वर्कर्स को कार्य दोबारा लेने से रोकें:
yaml
crowdsourcing:
prevent_retakes: trueगुणवत्ता नियंत्रण
ध्यान जांच
परीक्षण प्रश्न डालें:
yaml
attention_checks:
enabled: true
frequency: 10 # Every 10 instances
fail_threshold: 2
action: warn # or 'block'गोल्ड स्टैंडर्ड प्रश्न
json
{
"id": "gold_1",
"text": "The sky is typically blue during a clear day.",
"gold_label": "True",
"is_gold": true
}yaml
quality_control:
gold_questions: true
gold_percentage: 10 # 10% of instances
min_gold_accuracy: 70समय सीमाएं
yaml
crowdsourcing:
min_time_per_instance: 5 # seconds
max_time_total: 3600 # 1 hourनिम्न-गुणवत्ता कार्य अस्वीकार करें
yaml
quality_control:
auto_reject:
enabled: true
conditions:
- gold_accuracy_below: 50
- completion_time_under: 300 # secondsसमापन प्रबंधन
समापन कोड दिखाएं
yaml
completion:
show_code: true
code: "POTATO2024"
message: "Thank you! Your completion code is: {code}"समापन पर रीडायरेक्ट करें
yaml
completion:
redirect: true
redirect_url: "https://prolific.co/submissions/complete?cc={code}"कस्टम समापन पृष्ठ
yaml
completion:
custom_template: templates/completion.htmlभुगतान स्तर
गुणवत्ता के आधार पर
yaml
payment:
tiers:
- name: bonus
condition:
gold_accuracy_above: 90
amount: 0.50
- name: standard
condition:
gold_accuracy_above: 70
amount: 0.00
- name: reject
condition:
gold_accuracy_below: 50पूर्ण उदाहरण: Prolific स्टडी
yaml
task_name: "Sentiment Analysis Study"
# Crowdsourcing settings
crowdsourcing:
platform: prolific
enabled: true
completion_code: "SENT2024"
url_params:
- PROLIFIC_PID
- STUDY_ID
- SESSION_ID
prevent_retakes: true
# Open access for crowdworkers
allow_all_users: true
# Task assignment
instances_per_annotator: 50
annotation_per_instance: 3
# Quality control
attention_checks:
enabled: true
frequency: 10
fail_threshold: 2
quality_control:
gold_questions: true
gold_percentage: 5
min_gold_accuracy: 70
# Data
data_files:
- path: data/main.json
text_field: text
# Annotation scheme
annotation_schemes:
- annotation_type: radio
name: sentiment
description: "What is the sentiment?"
labels:
- Positive
- Negative
- Neutral
keyboard_shortcuts:
Positive: "1"
Negative: "2"
Neutral: "3"
# Completion
completion:
show_code: true
code: "SENT2024"
message: |
## Thank you for participating!
Your completion code is: **{code}**
Please return to Prolific and enter this code to receive payment.पूर्ण उदाहरण: MTurk HIT
yaml
task_name: "Image Classification HIT"
crowdsourcing:
platform: mturk
enabled: true
url_params:
- workerId
- assignmentId
- hitId
allow_all_users: true
instances_per_annotator: 20
# Time constraints
crowdsourcing:
min_time_per_instance: 3
max_time_total: 1800
# MTurk form submission
completion:
mturk_submit: true
submit_url: "https://www.mturk.com/mturk/externalSubmit"
annotation_schemes:
- annotation_type: radio
name: category
description: "What is shown in this image?"
labels:
- Cat
- Dog
- Bird
- Otherवर्कर्स की निगरानी
एडमिन डैशबोर्ड
yaml
admin_users:
- researcher@university.edu
admin_dashboard:
enabled: true
show_worker_stats: true/admin पर जाएं और देखें:
- वर्कर पूर्णता दर
- प्रति इंस्टेंस औसत समय
- गोल्ड सटीकता स्कोर
- ध्यान जांच परिणाम
वर्कर डेटा निर्यात करें
bash
potato export-workers config.yaml --output workers.csvसर्वोत्तम अभ्यास
- अच्छी तरह परीक्षण करें - पहले छोटे समूह के साथ पायलट चलाएं
- उचित भुगतान निर्धारित करें - अनुमानित समय की गणना करें और उचित भुगतान करें
- स्पष्ट निर्देश - उदाहरण और सीमावर्ती मामले शामिल करें
- ध्यान जांच का उपयोग करें - यादृच्छिक क्लिकिंग पकड़ें
- गोल्ड प्रश्न शामिल करें - समझ सत्यापित करें
- वास्तविक समय में निगरानी करें - जल्दी समस्याओं पर नज़र रखें
- अस्वीकृति की योजना बनाएं - शुरू से ही स्पष्ट गुणवत्ता मानदंड निर्धारित करें
- समस्याओं के बारे में संवाद करें - वर्कर्स को समस्याओं के बारे में संपर्क करें
- फीडबैक पर पुनरावृत्ति करें - वर्कर टिप्पणियों के आधार पर सुधार करें
- नियमित रूप से डेटा निर्यात करें - अंत तक प्रतीक्षा न करें
आगे पढ़ें
- MTurk Integration - विस्तृत MTurk सेटअप गाइड
- Passwordless Login - URL-आधारित प्रमाणीकरण
- Quality Control - ध्यान जांच और गोल्ड मानक
कार्यान्वयन विवरण के लिए, स्रोत दस्तावेज़ीकरण देखें।