Skip to content

تعيين المهام

التحكم في كيفية توزيع مثيلات التعليق التوضيحي على المعلّقين.

تعيين المهام

يوفر Potato استراتيجيات مرنة لتعيين المهام للتحكم في كيفية توزيع مثيلات التعليق التوضيحي على المعلّقين.

نظرة عامة

يتحكم تعيين المهام في:

  • أي عناصر يراها كل معلّق
  • عدد العناصر التي يكملها كل معلّق
  • عدد التعليقات التوضيحية التي يتلقاها كل عنصر
  • الترتيب الذي تُعرض به العناصر

خيارات التهيئة الرئيسية

الخيارالوصفالقيمة الافتراضية
assignment_strategyاستراتيجية تعيين العناصرrandom
max_annotations_per_userالحد الأقصى للعناصر لكل معلّقغير محدود
max_annotations_per_itemعدد التعليقات التوضيحية المستهدف لكل عنصر3

استراتيجيات التعيين

التعيين العشوائي

يعيّن العناصر عشوائياً للمعلّقين، مما يضمن توزيعاً غير متحيز.

yaml
assignment_strategy: random
max_annotations_per_item: 3

الأنسب لـ: مهام التعليق التوضيحي العامة حيث لا يهم الترتيب.

التعيين بترتيب ثابت

يعيّن العناصر بالترتيب الذي تظهر به في مجموعة البيانات.

yaml
assignment_strategy: fixed_order
max_annotations_per_item: 2

الأنسب لـ: المهام التي يجب أن يرى فيها المعلّقون العناصر بتسلسل معين.

التعيين بالأقل تعليقاً

يعطي الأولوية للعناصر التي تحتوي على أقل عدد من التعليقات التوضيحية الموجودة، مما يضمن توزيعاً متساوياً.

yaml
assignment_strategy: least_annotated
max_annotations_per_item: 5

الأنسب لـ: ضمان حصول جميع العناصر على تغطية كافية قبل أن يحصل أي عنصر على تعليقات توضيحية مفرطة.

التعيين بأقصى تنوع

يعطي الأولوية للعناصر التي تحتوي على أعلى اختلاف بين التعليقات التوضيحية الموجودة.

yaml
assignment_strategy: max_diversity
max_annotations_per_item: 4

الأنسب لـ: مراقبة الجودة وحل العناصر الغامضة.

التعيين بالتعلم النشط

يستخدم التعلم الآلي لإعطاء الأولوية للمثيلات غير المؤكدة.

yaml
assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10

راجع التعلم النشط للتهيئة الكاملة.

التهيئة

التهيئة الحديثة (موصى بها)

yaml
# Strategy selection
assignment_strategy: random
 
# Limits
max_annotations_per_user: 10    # -1 for unlimited
max_annotations_per_item: 3     # -1 for unlimited
 
# Optional: nested configuration
assignment:
  strategy: random
  max_annotations_per_item: 3
  random_seed: 1234

التهيئة القديمة

لا تزال تهيئة automatic_assignment القديمة مدعومة:

yaml
automatic_assignment:
  on: true
  output_filename: task_assignment.json
  sampling_strategy: random    # 'random' or 'ordered'
  labels_per_instance: 3       # Annotations per item
  instance_per_annotator: 5    # Items per annotator
  test_question_per_annotator: 0

أسئلة الاختبار

أدرج أسئلة فحص الانتباه في قائمة التعليق التوضيحي:

تعريف أسئلة الاختبار

أضف _testing إلى معرّف المثيل في ملف البيانات:

csv
text,id
"This is test question 1",0_testing
"Regular item",dkjfd

أو بتنسيق JSON:

json
[
  {"id": "0_testing", "text": "This is a test question"},
  {"id": "regular_001", "text": "Normal annotation item"}
]

التهيئة

yaml
automatic_assignment:
  on: true
  test_question_per_annotator: 2  # Insert 2 test questions per annotator

أمثلة على التهيئة

التعيين العشوائي الأساسي

yaml
annotation_task_name: "Sentiment Analysis"
assignment_strategy: random
max_annotations_per_user: 20
max_annotations_per_item: 3

التعيين المركّز على الجودة

yaml
annotation_task_name: "Quality Annotation"
assignment_strategy: max_diversity
max_annotations_per_item: 5
max_annotations_per_user: 50

إعداد التعهيد الجماعي

yaml
annotation_task_name: "Crowdsourced Task"
assignment_strategy: random
max_annotations_per_user: 10
max_annotations_per_item: 3
 
# Crowdsourcing settings
hide_navbar: true
jumping_to_id_disabled: true
 
login:
  type: url_direct
  url_argument: workerId

إعداد التعلم النشط

yaml
assignment_strategy: active_learning
 
active_learning:
  enabled: true
  schema_names: ["sentiment", "topic"]
  min_annotations_per_instance: 2
  min_instances_for_training: 20
  update_frequency: 10
  classifier_name: "sklearn.linear_model.LogisticRegression"
  vectorizer_name: "sklearn.feature_extraction.text.TfidfVectorizer"

التكامل مع لوحة تحكم المشرف

راقب وعدّل إعدادات التعيين من خلال لوحة تحكم المشرف:

  1. انتقل إلى /admin
  2. اذهب إلى تبويب التهيئة
  3. عدّل:
    • الحد الأقصى للتعليقات التوضيحية لكل مستخدم
    • الحد الأقصى للتعليقات التوضيحية لكل عنصر
    • استراتيجية التعيين

تسري التغييرات فوراً دون الحاجة لإعادة تشغيل الخادم.

قراءات إضافية

للاطلاع على تفاصيل التنفيذ، راجع الوثائق المصدرية.