एडमिन डैशबोर्ड

Annotation प्रगति की निगरानी करें, annotators को प्रबंधित करें, और वास्तविक समय में सेटिंग्स कॉन्फ़िगर करें।

Potato 2.0 में annotation प्रगति की निगरानी, annotator प्रदर्शन ट्रैकिंग, और वास्तविक समय में task configuration प्रबंधन के लिए एक व्यापक admin dashboard शामिल है।

Dashboard तक पहुँचना

API Key प्रमाणीकरण

अपने कॉन्फ़िगरेशन में एक admin API key कॉन्फ़िगर करें:

yaml

admin_api_key: "your-secure-api-key-here"

Dashboard को /admin पर एक्सेस करें और संकेत मिलने पर अपनी API key दर्ज करें।

प्रमाणीकरण विधियाँ

सीधा नेविगेशन - /admin पर जाएँ और API key दर्ज करें
Header-based - requests में X-API-Key header शामिल करें
Debug mode - debug: true होने पर, सर्वर की अपनी मशीन से आए अनुरोधों के लिए एडमिन पेज बिना key के खुलते हैं

डीबग मोड एडमिन पेज बिना key के केवल सर्वर की अपनी मशीन से आए अनुरोधों के लिए खोलता है, यानी ऐसे loopback पते से जिसके अनुरोध में कोई X-Forwarded-For, X-Real-IP या Forwarded हेडर न हो। उसी मशीन पर चलने वाला कोई टनल या रिवर्स प्रॉक्सी, जो कोई फ़ॉरवर्डिंग हेडर नहीं जोड़ता, हर कॉल करने वाले को स्थानीय जैसा दिखाता है, इसलिए किसी डिप्लॉय किए गए सर्वर पर debug कभी सेट न करें:

yaml

# Development only
debug: true  # Admin pages open without a key for requests from this machine

Dashboard Tabs

Overview Tab

आपके annotation task के लिए उच्च-स्तरीय मेट्रिक्स:

कुल Users - पंजीकृत annotators की संख्या
कुल Annotations - पूर्ण किए गए कुल annotations
Completion Rate - annotated data का प्रतिशत
Active Sessions - वर्तमान में सक्रिय annotators
Task Configuration - वर्तमान सेटिंग्स सारांश

Annotators Tab

प्रत्येक annotator के बारे में विस्तृत जानकारी:

कॉलम	विवरण
User ID	Annotator पहचानकर्ता
Phase	वर्तमान workflow phase
Annotations	पूर्ण की गई संख्या
Working Time	कुल समय बिताया
Speed	प्रति घंटे annotations
Last Activity	सबसे हालिया क्रिया

विशेषताएँ:

किसी भी कॉलम द्वारा sort करें
Phase या activity द्वारा filter करें
Annotator data export करें
व्यक्तिगत annotator विवरण देखें

Instances Tab

Annotation instances को ब्राउज़ और प्रबंधित करें:

कॉलम	विवरण
ID	Instance पहचानकर्ता
Text Preview	पहले 100 characters
Annotations	प्राप्त annotations की संख्या
Disagreement	Inter-annotator disagreement score
Annotators	annotation करने वाले users की सूची

विशेषताएँ:

Pagination (प्रति पृष्ठ 25, 50, या 100)
Annotations, disagreement आदि द्वारा sort करें
Annotation count द्वारा filter करें
पूर्ण instance विवरण देखें

Configuration Tab

बिना पुनः आरंभ किए वास्तविक समय में सेटिंग्स बदलें:

प्रति User अधिकतम Annotations - प्रत्येक user कितने items annotate कर सकता है, सीमित करें
प्रति Item अधिकतम Annotations - प्रति instance target annotations
Assignment Strategy - users को instances कैसे assign किए जाते हैं

परिवर्तन तुरंत प्रभावी होते हैं।

Assignment Strategies

Dashboard से instances कैसे assign किए जाते हैं, कॉन्फ़िगर करें:

Strategy	विवरण
`random`	यादृच्छिक assignment
`ordered`	अनुक्रमिक (पहले से अंतिम)
`least_annotated`	सबसे कम annotations वाले items को प्राथमिकता दें
`max_diversity`	प्रति item annotator diversity को अधिकतम करें
`active_learning`	Uncertainty-based प्राथमिकता
`llm_based`	LLM-driven assignment

Timing Analytics

Dashboard विस्तृत timing data ट्रैक करता है:

कुल Working Time - सभी annotation sessions का योग
प्रति Annotation औसत समय - प्रति item औसत समय
प्रति घंटे Annotations - Throughput rate
Session Duration - प्रति login session समय

Timing data, behavioral tracking और page interaction events से प्राप्त होता है।

कॉन्फ़िगरेशन

बुनियादी सेटअप

yaml

# Enable admin dashboard
admin_api_key: "your-secure-api-key"

पूर्ण कॉन्फ़िगरेशन

yaml

admin_api_key: "your-secure-api-key"
 
# How long a session may sit idle before the server clears it.
# The clock restarts on every request, so it bounds inactivity,
# not the length of a shift. Default 480.
session_timeout_minutes: 480
 
# Editable from the Configuration tab while the server runs
assignment_strategy: least_annotated
max_annotations_per_user: 100
max_annotations_per_item: 3

API Endpoints

Admin dashboard REST API endpoints द्वारा संचालित है:

Stats

text

GET /api/admin/stats

समग्र task statistics लौटाता है।

Annotators

text

GET /api/admin/annotators
GET /api/admin/annotators/{user_id}

सभी annotators की सूची या किसी विशिष्ट user का विवरण प्राप्त करें।

Instances

text

GET /api/admin/instances
GET /api/admin/instances/{instance_id}

Pagination और filtering के साथ instances की सूची।

Configuration

text

GET /api/admin/config
POST /api/admin/config

Task configuration प्राप्त या अपडेट करें।

Training Progress

text

GET /api/admin/training/stats
GET /api/admin/training/user/{user_id}

Training phase statistics और per-user प्रगति।

Active Learning

text

GET /api/admin/active-learning/status
GET /api/admin/active-learning/metrics

Active learning model स्थिति और प्रदर्शन मेट्रिक्स।

निगरानी सुविधाएँ

संदिग्ध गतिविधि का पता लगाना

Dashboard संभावित समस्याग्रस्त व्यवहार को flag कर सकता है:

अत्यंत तीव्र annotation गति
असामान्य session patterns
सुसंगत उत्तर patterns
गुम annotations

गुणवत्ता मेट्रिक्स

Annotation गुणवत्ता संकेतकों को ट्रैक करें:

Inter-annotator agreement
प्रति-annotation समय वितरण
Label वितरण संतुलन
Training phase प्रदर्शन

सुरक्षा सर्वोत्तम प्रथाएँ

API Key प्रबंधन

yaml

# Use environment variables
admin_api_key: ${ADMIN_API_KEY}

bash

export ADMIN_API_KEY="your-secure-key"

Access Control

मजबूत, अद्वितीय API keys का उपयोग करें
Keys को समय-समय पर rotate करें
Admin endpoints को सार्वजनिक रूप से उजागर न करें
Production में HTTPS का उपयोग करें

Audit Logging

Dashboard admin क्रियाओं को ट्रैक करता है:

Configuration परिवर्तन
User प्रबंधन क्रियाएँ
Data exports
Access प्रयास

उदाहरण कॉन्फ़िगरेशन

yaml

annotation_task_name: "Sentiment Analysis"
task_dir: "."
port: 8000
 
# Admin dashboard
admin_api_key: ${ADMIN_API_KEY}
session_timeout_minutes: 480
 
# Data and annotation configuration
data_files:
  - "data/reviews.json"
 
item_properties:
  id_key: id
  text_key: text
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: "How does this review read?"
    labels:
      - Positive
      - Negative
      - Neutral
 
# Assignment settings (editable from the Configuration tab)
assignment_strategy: least_annotated
max_annotations_per_user: 100
max_annotations_per_item: 3
 
output_annotation_dir: "output/"
export_annotation_format: jsonl
 
user_config:
  allow_all_users: true

प्रदर्शन संबंधी विचार

बड़े Datasets

हजारों instances वाले datasets के लिए:

Pagination का उपयोग करें (instances tab)
Lazy loading सक्षम करें
बेहतर प्रदर्शन के लिए database backend पर विचार करें

कई Annotators

कई concurrent annotators वाले tasks के लिए:

उचित refresh intervals निर्धारित करें
Server संसाधनों की निगरानी करें
Scalability के लिए database backend का उपयोग करें

yaml

# For large-scale deployments
database:
  type: mysql
  host: localhost
  database: potato_db
  username: ${DB_USER}
  password: ${DB_PASSWORD}

समस्या निवारण

Dashboard तक नहीं पहुँच सकते

सत्यापित करें कि config में API key सेट है
जांचें कि URL /admin है
सुनिश्चित करें कि API key बिल्कुल मेल खाती है
कॉन्फ़िगरेशन में typos जांचें

धीमा Dashboard Loading

Page size कम करें
Refresh interval बढ़ाएँ
Database backend पर विचार करें
Server संसाधन जांचें

Stats अपडेट नहीं हो रहे

सत्यापित करें कि auto-refresh सक्षम है
Refresh interval सेटिंग जांचें
Page को मैन्युअल रूप से refresh करें
JavaScript errors जांचें

आगे पढ़ें

व्यवहार ट्रैकिंग - विस्तृत interaction tracking
गुणवत्ता नियंत्रण - ध्यान जांच और gold standards
API Overview - Admin API endpoints

कार्यान्वयन विवरण के लिए, स्रोत दस्तावेज़ देखें।