Skip to content
このページはまだお使いの言語に翻訳されていません。英語版を表示しています。

Quality Control

Attention checks, gold standards, और inter-annotator agreement metrics।

Quality Control

Potato उच्च-गुणवत्ता वाले annotations सुनिश्चित करने के लिए व्यापक quality control features प्रदान करता है। इसमें attention checks, gold standards, pre-annotation support, और real-time agreement metrics शामिल हैं।

अवलोकन

Potato में Quality control चार प्रमुख features से मिलकर बनती है:

  1. Attention Checks - ज्ञात-उत्तर वाले items के साथ annotator engagement सत्यापित करें
  2. Gold Standards - Expert-labeled items के विरुद्ध accuracy ट्रैक करें
  3. Pre-annotation Support - Model predictions के साथ forms pre-fill करें
  4. Agreement Metrics - Real-time में inter-annotator agreement calculate करें

Attention Checks

Attention checks ज्ञात सही उत्तरों वाले items हैं जो verify करते हैं कि annotators ध्यान दे रहे हैं और यादृच्छिक रूप से click नहीं कर रहे।

कॉन्फ़िगरेशन

yaml
attention_checks:
  enabled: true
  items_file: "attention_checks.json"
 
  # How often to inject attention checks
  frequency: 10              # Insert one every 10 items
  # OR
  probability: 0.1           # 10% chance per item
 
  # Optional: flag suspiciously fast responses
  min_response_time: 3.0     # Flag if answered in < 3 seconds
 
  # Failure handling
  failure_handling:
    warn_threshold: 2        # Show warning after 2 failures
    warn_message: "Please read items carefully before answering."
    block_threshold: 5       # Block user after 5 failures
    block_message: "You have been blocked due to too many incorrect responses."

Attention Check Items File

json
[
  {
    "id": "attn_001",
    "text": "Please select 'Positive' for this item to verify you are reading carefully.",
    "expected_answer": {
      "sentiment": "positive"
    }
  }
]

Gold Standards

Gold standards expert-labeled items हैं जिनका उपयोग annotator accuracy मापने के लिए किया जाता है। Default रूप से, gold standards silent होते हैं - results admin review के लिए दर्ज किए जाते हैं, लेकिन annotators को feedback नहीं दिखाया जाता।

कॉन्फ़िगरेशन

yaml
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
 
  # How to use gold standards
  mode: "mixed"              # Options: training, mixed, separate
  frequency: 20              # Insert one every 20 items
 
  # Accuracy requirements
  accuracy:
    min_threshold: 0.7       # Minimum required accuracy (70%)
    evaluation_count: 10     # Evaluate after this many gold items
 
  # Feedback settings (disabled by default)
  feedback:
    show_correct_answer: false
    show_explanation: false
 
  # Auto-promotion from high-agreement items
  auto_promote:
    enabled: true
    min_annotators: 3
    agreement_threshold: 1.0   # 1.0 = unanimous

Gold Standard Items File

json
[
  {
    "id": "gold_001",
    "text": "The service was absolutely terrible and I will never return.",
    "gold_label": {
      "sentiment": "negative"
    },
    "explanation": "Strong negative language clearly indicates negative sentiment.",
    "difficulty": "easy"
  }
]

Auto-Promotion

जब कई annotators सहमत होते हैं तो items स्वचालित रूप से gold standards बन सकते हैं:

yaml
gold_standards:
  auto_promote:
    enabled: true
    min_annotators: 3          # Wait for at least 3 annotators
    agreement_threshold: 1.0   # 100% must agree (unanimous)

Pre-annotation Support

Pre-annotation आपको annotation forms को model predictions के साथ pre-fill करने की अनुमति देता है, active learning और correction workflows के लिए उपयोगी।

कॉन्फ़िगरेशन

yaml
pre_annotation:
  enabled: true
  field: "predictions"        # Field in data containing predictions
  allow_modification: true    # Can annotators change pre-filled values?
  show_confidence: true
  highlight_low_confidence: 0.7

Data Format

अपने data items में predictions शामिल करें:

json
{
  "id": "item_001",
  "text": "I love this product!",
  "predictions": {
    "sentiment": "positive",
    "confidence": 0.92
  }
}

Agreement Metrics

Krippendorff's alpha का उपयोग करके real-time inter-annotator agreement metrics admin dashboard में उपलब्ध हैं।

कॉन्फ़िगरेशन

yaml
agreement_metrics:
  enabled: true
  min_overlap: 2             # Minimum annotators per item
  auto_refresh: true
  refresh_interval: 60       # Seconds between updates

Krippendorff's Alpha की व्याख्या

Alpha Valueव्याख्या
α ≥ 0.8अच्छा agreement - अधिकांश उद्देश्यों के लिए विश्वसनीय
0.67 ≤ α ≤ 0.8Tentative agreement - tentative conclusions निकालें
0.33 ≤ α ≤ 0.67कम agreement - guidelines की समीक्षा करें
α ≤ 0.33Poor agreement - महत्वपूर्ण समस्याएँ

Admin Dashboard एकीकरण

/admin पर admin dashboard में quality control metrics देखें:

  • Attention Checks: समग्र pass/fail rates, per-annotator statistics
  • Gold Standards: Per-annotator accuracy, per-item difficulty विश्लेषण
  • Agreement: Interpretation के साथ per-schema Krippendorff's alpha
  • Auto-Promoted Items: High agreement से promoted items की सूची

API Endpoints

Quality Control Metrics

http
GET /admin/api/quality_control

Attention check और gold standard statistics लौटाता है।

Agreement Metrics

http
GET /admin/api/agreement

Interpretation के साथ schema द्वारा Krippendorff's alpha लौटाता है।

पूर्ण उदाहरण

yaml
annotation_task_name: "Sentiment Analysis with Quality Control"
 
annotation_schemes:
  - name: sentiment
    annotation_type: radio
    labels: [positive, negative, neutral]
    description: "Select the sentiment of the text"
 
attention_checks:
  enabled: true
  items_file: "data/attention_checks.json"
  frequency: 15
  failure_handling:
    warn_threshold: 2
    block_threshold: 5
 
gold_standards:
  enabled: true
  items_file: "data/gold_standards.json"
  mode: mixed
  frequency: 25
  accuracy:
    min_threshold: 0.7
    evaluation_count: 5
 
agreement_metrics:
  enabled: true
  min_overlap: 2
  refresh_interval: 60

समस्या निवारण

Attention checks दिखाई नहीं दे रहे

  1. सत्यापित करें कि items_file path सही है (task directory के relative)
  2. जांचें कि items में आवश्यक fields हैं (id, expected_answer)
  3. सुनिश्चित करें कि frequency या probability सेट है

Agreement metrics "No items with N+ annotators" दिखा रहे हैं

  1. सुनिश्चित करें कि items कई users द्वारा annotate किए गए हैं
  2. यदि आवश्यक हो तो min_overlap कम करें
  3. जांचें कि annotations सही तरह से सहेजी जा रही हैं

आगे पढ़ें

कार्यान्वयन विवरण के लिए, source documentation देखें।