Skip to content

لوحة تحكم المشرف

مراقبة تقدم التعليق التوضيحي وإدارة المعلّقين وتهيئة الإعدادات في الوقت الفعلي.

لوحة تحكم المشرف

يتضمن Potato 2.0 لوحة تحكم شاملة للمشرف لمراقبة تقدم التعليق التوضيحي وتتبع أداء المعلّقين وإدارة تهيئة المهام في الوقت الفعلي.

الوصول إلى لوحة التحكم

المصادقة بمفتاح API

قم بتهيئة مفتاح API للمشرف في ملف التهيئة الخاص بك:

yaml
admin_api_key: "your-secure-api-key-here"

قم بالوصول إلى لوحة التحكم عبر /admin وأدخل مفتاح API عند المطالبة.

طرق المصادقة

  1. التنقل المباشر - انتقل إلى /admin وأدخل مفتاح API
  2. المصادقة عبر الترويسة - أضف ترويسة X-API-Key في الطلبات
  3. وضع التصحيح - اضبط debug: true للتطوير (غير موصى به للإنتاج)
yaml
# Development only
debug: true  # Bypasses authentication

علامات تبويب لوحة التحكم

علامة تبويب النظرة العامة

مقاييس عالية المستوى لمهمة التعليق التوضيحي:

  • إجمالي المستخدمين - عدد المعلّقين المسجلين
  • إجمالي التعليقات التوضيحية - إجمالي التعليقات التوضيحية المكتملة
  • معدل الإنجاز - نسبة البيانات المعلّقة
  • الجلسات النشطة - المعلّقون النشطون حالياً
  • تهيئة المهمة - ملخص الإعدادات الحالية

علامة تبويب المعلّقين

معلومات تفصيلية عن كل معلّق:

العمودالوصف
User IDمعرّف المعلّق
Phaseمرحلة سير العمل الحالية
Annotationsالعدد المكتمل
Working Timeإجمالي الوقت المستغرق
Speedالتعليقات التوضيحية في الساعة
Last Activityأحدث إجراء

الميزات:

  • الفرز حسب أي عمود
  • التصفية حسب المرحلة أو النشاط
  • تصدير بيانات المعلّقين
  • عرض تفاصيل المعلّق الفردي

علامة تبويب الحالات

تصفح وإدارة حالات التعليق التوضيحي:

العمودالوصف
IDمعرّف الحالة
Text Previewأول 100 حرف
Annotationsعدد التعليقات التوضيحية المستلمة
Disagreementدرجة الاختلاف بين المعلّقين
Annotatorsقائمة المستخدمين الذين قاموا بالتعليق التوضيحي

الميزات:

  • ترقيم الصفحات (25 أو 50 أو 100 لكل صفحة)
  • الفرز حسب التعليقات التوضيحية والاختلاف وغيرها
  • التصفية حسب عدد التعليقات التوضيحية
  • عرض تفاصيل الحالة الكاملة

علامة تبويب التهيئة

تعديل الإعدادات في الوقت الفعلي دون إعادة التشغيل:

  • الحد الأقصى للتعليقات التوضيحية لكل مستخدم - تحديد عدد العناصر التي يمكن لكل مستخدم تعليقها
  • الحد الأقصى للتعليقات التوضيحية لكل عنصر - التعليقات التوضيحية المستهدفة لكل حالة
  • استراتيجية التعيين - كيفية تعيين الحالات للمستخدمين

تسري التغييرات فوراً.

استراتيجيات التعيين

قم بتهيئة كيفية تعيين الحالات من لوحة التحكم:

الاستراتيجيةالوصف
randomتعيين عشوائي
orderedتسلسلي (من الأول إلى الأخير)
least_annotatedإعطاء الأولوية للعناصر ذات أقل عدد من التعليقات التوضيحية
max_diversityتعظيم تنوع المعلّقين لكل عنصر
active_learningأولوية قائمة على عدم اليقين
llm_basedتعيين بواسطة نماذج اللغة الكبيرة

تحليلات التوقيت

تتبع لوحة التحكم بيانات توقيت تفصيلية:

  • إجمالي وقت العمل - مجموع جميع جلسات التعليق التوضيحي
  • متوسط الوقت لكل تعليق توضيحي - متوسط الوقت لكل عنصر
  • التعليقات التوضيحية في الساعة - معدل الإنتاجية
  • مدة الجلسة - الوقت لكل جلسة تسجيل دخول

بيانات التوقيت مشتقة من التتبع السلوكي وأحداث التفاعل مع الصفحة.

التهيئة

الإعداد الأساسي

yaml
# Enable admin dashboard
admin_api_key: "your-secure-api-key"
 
# Optional: customize admin settings
admin:
  session_timeout: 3600  # seconds
  max_export_size: 10000  # rows

التهيئة الكاملة

yaml
admin_api_key: "your-secure-api-key"
 
admin:
  # Session settings
  session_timeout: 3600
 
  # Export limits
  max_export_size: 10000
 
  # Dashboard refresh
  auto_refresh: true
  refresh_interval: 30  # seconds
 
  # Pagination defaults
  default_page_size: 50

نقاط نهاية API

لوحة تحكم المشرف مدعومة بنقاط نهاية REST API:

الإحصائيات

text
GET /api/admin/stats

تُعيد إحصائيات المهمة الإجمالية.

المعلّقون

text
GET /api/admin/annotators
GET /api/admin/annotators/{user_id}

عرض جميع المعلّقين أو الحصول على تفاصيل مستخدم محدد.

الحالات

text
GET /api/admin/instances
GET /api/admin/instances/{instance_id}

عرض الحالات مع ترقيم الصفحات والتصفية.

التهيئة

text
GET /api/admin/config
POST /api/admin/config

الحصول على تهيئة المهمة أو تحديثها.

تقدم التدريب

text
GET /api/admin/training/stats
GET /api/admin/training/user/{user_id}

إحصائيات مرحلة التدريب وتقدم كل مستخدم.

التعلم النشط

text
GET /api/admin/active-learning/status
GET /api/admin/active-learning/metrics

حالة نموذج التعلم النشط ومقاييس الأداء.

ميزات المراقبة

كشف النشاط المشبوه

يمكن للوحة التحكم الإشارة إلى السلوك الذي قد يكون مشكلاً:

  • سرعات تعليق توضيحي سريعة جداً
  • أنماط جلسات غير عادية
  • أنماط إجابات متسقة
  • تعليقات توضيحية مفقودة

مقاييس الجودة

تتبع مؤشرات جودة التعليق التوضيحي:

  • الاتفاق بين المعلّقين
  • توزيع الوقت لكل تعليق توضيحي
  • توازن توزيع التصنيفات
  • أداء مرحلة التدريب

أفضل ممارسات الأمان

إدارة مفتاح API

yaml
# Use environment variables
admin_api_key: ${ADMIN_API_KEY}
bash
export ADMIN_API_KEY="your-secure-key"

التحكم في الوصول

  • استخدم مفاتيح API قوية وفريدة
  • قم بتدوير المفاتيح دورياً
  • لا تكشف نقاط نهاية المشرف علناً
  • استخدم HTTPS في الإنتاج

سجل التدقيق

تتبع لوحة التحكم إجراءات المشرف:

  • تغييرات التهيئة
  • إجراءات إدارة المستخدمين
  • تصدير البيانات
  • محاولات الوصول

مثال على التهيئة

yaml
task_name: "Sentiment Analysis"
task_dir: "."
port: 8000
 
# Admin dashboard
admin_api_key: ${ADMIN_API_KEY}
 
admin:
  session_timeout: 7200
  auto_refresh: true
  refresh_interval: 60
  default_page_size: 50
 
# Data and annotation configuration
data_files:
  - "data/reviews.json"
 
item_properties:
  id_key: id
  text_key: text
 
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    labels:
      - Positive
      - Negative
      - Neutral
 
# Assignment settings (editable from dashboard)
assignment:
  strategy: least_annotated
  max_annotations_per_user: 100
  max_annotations_per_item: 3
 
output_annotation_dir: "output/"
output_annotation_format: "json"
allow_all_users: true

اعتبارات الأداء

مجموعات البيانات الكبيرة

لمجموعات البيانات التي تحتوي على آلاف الحالات:

  • استخدم ترقيم الصفحات (علامة تبويب الحالات)
  • فعّل التحميل الكسول
  • فكّر في واجهة قاعدة بيانات خلفية لأداء أفضل

عدد كبير من المعلّقين

للمهام التي تتضمن عدداً كبيراً من المعلّقين المتزامنين:

  • حدد فترات تحديث مناسبة
  • راقب موارد الخادم
  • استخدم واجهة قاعدة بيانات خلفية لقابلية التوسع
yaml
# For large-scale deployments
database:
  type: mysql
  host: localhost
  database: potato_db
  user: ${DB_USER}
  password: ${DB_PASSWORD}

استكشاف الأخطاء وإصلاحها

لا يمكن الوصول إلى لوحة التحكم

  • تحقق من تعيين مفتاح API في التهيئة
  • تحقق من أن عنوان URL هو /admin
  • تأكد من تطابق مفتاح API تماماً
  • تحقق من الأخطاء المطبعية في التهيئة

بطء تحميل لوحة التحكم

  • قلّل حجم الصفحة
  • زِد فترة التحديث
  • فكّر في واجهة قاعدة بيانات خلفية
  • تحقق من موارد الخادم

الإحصائيات لا تتحدث

  • تحقق من تفعيل التحديث التلقائي
  • تحقق من إعداد فترة التحديث
  • قم بتحديث الصفحة يدوياً
  • تحقق من أخطاء JavaScript

قراءات إضافية

للاطلاع على تفاصيل التنفيذ، راجع الوثائق المصدرية.