كم عدد المُعلّقين الذين تحتاجهم؟

لا يوجد رقم صحيح واحد، لكنّ القرار يتلخّص في ثلاث روافع: كم شخصًا يصنّف كل عنصر (التداخل)، ومدى وضوح المهمة، وميزانيتك. المهام الواضحة تحتاج تداخلًا قليلًا، والمهام الذاتية تحتاج أكثر. يقدّم هذا الدليل قواعد إرشادية والإعدادات اللازمة لتطبيقها.

التداخل مقابل التغطية

تُقسَّم كل ميزانية تعليق بين هدفين:

• التغطية: تصنيف عدد أكبر من العناصر المختلفة (كل عنصر مرة واحدة).
• التداخل: تصنيف العناصر نفسها عدة مرات، وهو ما يمنحك تقديرات للاتفاق والقدرة على التجميع.

لا يمكنك تعظيم الهدفين معًا. ومن الأنماط الشائعة: تطبيق تداخل كامل على مجموعة فرعية لقياس الاتفاق، ثم تعليق الباقي مرة واحدة بعد أن تثق بالمهمة.

قواعد إرشادية

• المهام الموضوعية (فئات واضحة، اتفاق مرتفع): مُعلّق واحد لمعظم العناصر، مع تداخل 2–3 أضعاف على عيّنة بنسبة 5–10% لمراقبة الجودة.
• المهام الذاتية باعتدال: 3 مُعلّقين لكل عنصر، تُحسَم بالتصويت بالأغلبية أو بـ MACE.
• المهام الذاتية بشدّة (الإساءة، الانفعال، التفضيل): أكثر من 5 مُعلّقين لكل عنصر، مع التفكير في الاحتفاظ بتوزيع التصنيفات كاملًا بدلًا من اختزاله.

زيادة عدد المُعلّقين تُقلّل تباين التصنيف المُجمَّع للعنصر، لكن بعائد متناقص؛ فالانتقال من 1 إلى 3 يفيد أكثر بكثير من الانتقال من 7 إلى 9.

ضبط التداخل في Potato

يتحكّم إسناد المهام في Potato بعدد المُعلّقين الذين يرون كل عنصر وبكيفية توزيع العناصر.

automatic_assignment:
  on: true
  instance_per_annotator: 50     # how many items each person labels
  labels_per_instance: 3         # how many annotators label each item (overlap)

لا تنسَ فحوص الجودة

لا يُجدي عددُ الأشخاص نفعًا إذا كان بعض المُعلّقين غير موثوقين. اقرِن التداخل بـ المعايير الذهبية وفحوص الانتباه كي تتمكّن من ترجيح العمل منخفض الجودة أو استبعاده قبل التجميع.

قراءات إضافية

• مرجع ميزة إسناد المهام
• اتفاق المُعلّقين
• إجراء دراسة على Prolific وMTurk