Task Assignment

Potato annotation instances को annotators में वितरित करने के तरीके को नियंत्रित करने के लिए flexible task assignment strategies प्रदान करता है।

अवलोकन

Task assignment नियंत्रित करता है:

• कौन से items प्रत्येक annotator देखता है
• कितने items प्रत्येक annotator पूरा करता है
• कितने annotations प्रत्येक item प्राप्त करता है
• क्रम जिसमें items प्रस्तुत किए जाते हैं

प्रमुख Configuration Options

Assignment Strategies

Random Assignment

Annotators को यादृच्छिक रूप से items assign करता है, unbiased distribution सुनिश्चित करता है।

assignment_strategy: random
max_annotations_per_item: 3

सर्वश्रेष्ठ: सामान्य annotation tasks के लिए जहाँ order मायने नहीं रखता।

Fixed Order Assignment

Dataset में items के दिखाई देने के क्रम में items assign करता है।

assignment_strategy: fixed_order
max_annotations_per_item: 2

सर्वश्रेष्ठ: Tasks के लिए जहाँ annotators को items को एक specific sequence में देखना चाहिए।

Least-Annotated Assignment

सबसे कम existing annotations वाले items को प्राथमिकता देता है, even distribution सुनिश्चित करता है।

assignment_strategy: least_annotated
max_annotations_per_item: 5

सर्वश्रेष्ठ: यह सुनिश्चित करने के लिए कि किसी भी item को अत्यधिक annotations मिलने से पहले सभी items को पर्याप्त coverage मिले।

Max-Diversity Assignment

Existing annotations में सबसे अधिक disagreement वाले items को प्राथमिकता देता है।

assignment_strategy: max_diversity
max_annotations_per_item: 4

सर्वश्रेष्ठ: Quality control और ambiguous items resolve करने के लिए।

Active Learning Assignment

Uncertain instances को प्राथमिकता देने के लिए machine learning का उपयोग करता है।

assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10

पूर्ण कॉन्फ़िगरेशन के लिए Active Learning देखें।

कॉन्फ़िगरेशन

Modern Configuration (अनुशंसित)

# Strategy selection
assignment_strategy: random
 
# Limits
max_annotations_per_user: 10    # -1 for unlimited
max_annotations_per_item: 3     # -1 for unlimited
 
# Optional: nested configuration
assignment:
  strategy: random
  max_annotations_per_item: 3
  random_seed: 1234

Legacy Configuration

पुराना automatic_assignment configuration अभी भी समर्थित है:

automatic_assignment:
  on: true
  output_filename: task_assignment.json
  sampling_strategy: random    # 'random' or 'ordered'
  labels_per_instance: 3       # Annotations per item
  instance_per_annotator: 5    # Items per annotator
  test_question_per_annotator: 0

Test Questions

Annotation queue में attention check questions insert करें:

Test Questions परिभाषित करना

अपनी data file में instance ID में _testing जोड़ें:

text,id
"This is test question 1",0_testing
"Regular item",dkjfd

या JSON में:

[
  {"id": "0_testing", "text": "This is a test question"},
  {"id": "regular_001", "text": "Normal annotation item"}
]

कॉन्फ़िगरेशन

automatic_assignment:
  on: true
  test_question_per_annotator: 2  # Insert 2 test questions per annotator

उदाहरण कॉन्फ़िगरेशन

बुनियादी Random Assignment

annotation_task_name: "Sentiment Analysis"
assignment_strategy: random
max_annotations_per_user: 20
max_annotations_per_item: 3

Quality-Focused Assignment

annotation_task_name: "Quality Annotation"
assignment_strategy: max_diversity
max_annotations_per_item: 5
max_annotations_per_user: 50

Crowdsourcing Setup

annotation_task_name: "Crowdsourced Task"
assignment_strategy: random
max_annotations_per_user: 10
max_annotations_per_item: 3
 
# Crowdsourcing settings
hide_navbar: true
jumping_to_id_disabled: true
 
login:
  type: url_direct
  url_argument: workerId

Active Learning Setup

assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment", "topic"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10
  classifier_name: "sklearn.linear_model.LogisticRegression"
  vectorizer_name: "sklearn.feature_extraction.text.TfidfVectorizer"

Admin Dashboard एकीकरण

Admin Dashboard के माध्यम से assignment settings की निगरानी और समायोजन करें:

1. /admin पर navigate करें
2. Configuration tab पर जाएँ
3. Modify करें:
   • प्रति User अधिकतम Annotations
   • प्रति Item अधिकतम Annotations
   • Assignment Strategy

Server restart के बिना परिवर्तन तुरंत प्रभावी होते हैं।

आगे पढ़ें

• Active Learning - ML-based assignment prioritization
• Quality Control - Attention checks और gold standards
• Category Assignment - Annotator expertise द्वारा items route करें
• Crowdsourcing Integration - MTurk और Prolific integration

कार्यान्वयन विवरण के लिए, source documentation देखें।