تعيين المهام
التحكم في كيفية توزيع مثيلات التعليق التوضيحي على المعلّقين.
تعيين المهام
يوفر Potato استراتيجيات مرنة لتعيين المهام للتحكم في كيفية توزيع مثيلات التعليق التوضيحي على المعلّقين.
نظرة عامة
يتحكم تعيين المهام في:
- أي عناصر يراها كل معلّق
- عدد العناصر التي يكملها كل معلّق
- عدد التعليقات التوضيحية التي يتلقاها كل عنصر
- الترتيب الذي تُعرض به العناصر
خيارات التهيئة الرئيسية
| الخيار | الوصف | القيمة الافتراضية |
|---|---|---|
assignment_strategy | استراتيجية تعيين العناصر | random |
max_annotations_per_user | الحد الأقصى للعناصر لكل معلّق | غير محدود |
max_annotations_per_item | عدد التعليقات التوضيحية المستهدف لكل عنصر | 3 |
استراتيجيات التعيين
التعيين العشوائي
يعيّن العناصر عشوائياً للمعلّقين، مما يضمن توزيعاً غير متحيز.
assignment_strategy: random
max_annotations_per_item: 3الأنسب لـ: مهام التعليق التوضيحي العامة حيث لا يهم الترتيب.
التعيين بترتيب ثابت
يعيّن العناصر بالترتيب الذي تظهر به في مجموعة البيانات.
assignment_strategy: fixed_order
max_annotations_per_item: 2الأنسب لـ: المهام التي يجب أن يرى فيها المعلّقون العناصر بتسلسل معين.
التعيين بالأقل تعليقاً
يعطي الأولوية للعناصر التي تحتوي على أقل عدد من التعليقات التوضيحية الموجودة، مما يضمن توزيعاً متساوياً.
assignment_strategy: least_annotated
max_annotations_per_item: 5الأنسب لـ: ضمان حصول جميع العناصر على تغطية كافية قبل أن يحصل أي عنصر على تعليقات توضيحية مفرطة.
التعيين بأقصى تنوع
يعطي الأولوية للعناصر التي تحتوي على أعلى اختلاف بين التعليقات التوضيحية الموجودة.
assignment_strategy: max_diversity
max_annotations_per_item: 4الأنسب لـ: مراقبة الجودة وحل العناصر الغامضة.
التعيين بالتعلم النشط
يستخدم التعلم الآلي لإعطاء الأولوية للمثيلات غير المؤكدة.
assignment_strategy: active_learning
active_learning:
enabled: true
schema_names: ["sentiment"]
min_annotations_per_instance: 2
min_instances_for_training: 20
update_frequency: 10راجع التعلم النشط للتهيئة الكاملة.
التهيئة
التهيئة الحديثة (موصى بها)
# Strategy selection
assignment_strategy: random
# Limits
max_annotations_per_user: 10 # -1 for unlimited
max_annotations_per_item: 3 # -1 for unlimited
# Optional: nested configuration
assignment:
strategy: random
max_annotations_per_item: 3
random_seed: 1234التهيئة القديمة
لا تزال تهيئة automatic_assignment القديمة مدعومة:
automatic_assignment:
on: true
output_filename: task_assignment.json
sampling_strategy: random # 'random' or 'ordered'
labels_per_instance: 3 # Annotations per item
instance_per_annotator: 5 # Items per annotator
test_question_per_annotator: 0أسئلة الاختبار
أدرج أسئلة فحص الانتباه في قائمة التعليق التوضيحي:
تعريف أسئلة الاختبار
أضف _testing إلى معرّف المثيل في ملف البيانات:
text,id
"This is test question 1",0_testing
"Regular item",dkjfdأو بتنسيق JSON:
[
{"id": "0_testing", "text": "This is a test question"},
{"id": "regular_001", "text": "Normal annotation item"}
]التهيئة
automatic_assignment:
on: true
test_question_per_annotator: 2 # Insert 2 test questions per annotatorأمثلة على التهيئة
التعيين العشوائي الأساسي
annotation_task_name: "Sentiment Analysis"
assignment_strategy: random
max_annotations_per_user: 20
max_annotations_per_item: 3التعيين المركّز على الجودة
annotation_task_name: "Quality Annotation"
assignment_strategy: max_diversity
max_annotations_per_item: 5
max_annotations_per_user: 50إعداد التعهيد الجماعي
annotation_task_name: "Crowdsourced Task"
assignment_strategy: random
max_annotations_per_user: 10
max_annotations_per_item: 3
# Crowdsourcing settings
hide_navbar: true
jumping_to_id_disabled: true
login:
type: url_direct
url_argument: workerIdإعداد التعلم النشط
assignment_strategy: active_learning
active_learning:
enabled: true
schema_names: ["sentiment", "topic"]
min_annotations_per_instance: 2
min_instances_for_training: 20
update_frequency: 10
classifier_name: "sklearn.linear_model.LogisticRegression"
vectorizer_name: "sklearn.feature_extraction.text.TfidfVectorizer"التكامل مع لوحة تحكم المشرف
راقب وعدّل إعدادات التعيين من خلال لوحة تحكم المشرف:
- انتقل إلى
/admin - اذهب إلى تبويب التهيئة
- عدّل:
- الحد الأقصى للتعليقات التوضيحية لكل مستخدم
- الحد الأقصى للتعليقات التوضيحية لكل عنصر
- استراتيجية التعيين
تسري التغييرات فوراً دون الحاجة لإعادة تشغيل الخادم.
قراءات إضافية
- التعلم النشط - أولوية التعيين المبنية على التعلم الآلي
- مراقبة الجودة - فحوصات الانتباه والمعايير الذهبية
- تعيين الفئات - توجيه العناصر حسب خبرة المعلّق
- تكامل التعهيد الجماعي - التكامل مع MTurk وProlific
للاطلاع على تفاصيل التنفيذ، راجع الوثائق المصدرية.