كيف تقيس الاتفاق بين المُوسِّمين على مربعات الإحاطة
التقاطع على الاتحاد الخام ليس اتفاقًا. كيف تقيس اتفاق المُوسِّمين على مربعات الإحاطة والمضلعات والأقنعة مع تصحيح الصدفة، ولماذا يحتاج الكشف والتصنيف وتحديد الموضع إلى أرقام منفصلة.
يقيس متوسط التقاطع على الاتحاد بين المُوسِّمين مدى سهولة المهمة، لا مدى اتفاقهم. وفي مجموعة كشف نموذجية يبلغ نحو 0.95 حتى مع مُوسِّمين لم ينظروا إلى الصورة قط. يعني قياس الاتفاق على التسميات المكانية تصحيح الصدفة، والإبلاغ عن الكشف والتصنيف وتحديد الموضع بوصفها أرقامًا منفصلة.
لماذا يضلل التقاطع على الاتحاد الخام
تأمل مجموعة تضم كل صورة فيها جسمًا واحدًا كبيرًا في الوسط. مُوسِّمان يرسم كلٌّ منهما مربعًا في الوسط سيتداخلان تداخلًا كبيرًا، فيخرج متوسط التقاطع على الاتحاد نحو 0.95. وكذلك سيفعل مُوسِّم رسم مربعًا في الوسط دون أن ينظر.
الرقم يقيس المهمة لا المُوسِّمين. وهذه هي المشكلة نفسها التي تعانيها نسبة الاتفاق المئوية في التسميات الفئوية، حيث تضخّم فئةٌ مهيمنة واحدة الدرجة، ولها العلاج نفسه: صحِّح بمقدار الاتفاق الذي تنتجه المهمة بالمصادفة.
يقارن محرك الإجماع في CVAT ومرحلة الإجماع في V7 بين المُوسِّمين بالتقاطع على الاتحاد الخام قياسًا إلى عتبة لكل فئة. ولا يطبق أيٌّ منهما تصحيح الصدفة، وكلاهما واسع الاستخدام، فلذلك لا يمكن عادةً مقارنة «اتفاق 0.9» يُبلَّغ عنه من أيٍّ منهما بأي شيء.
لماذا لا نستخدم ألفا كريبندورف على 1 − التقاطع على الاتحاد
العلاج البديهي هو تغذية ألفا كريبندورف بمسافة التقاطع على الاتحاد، فهي تقبل أي دالة مسافة. لكنه لا ينجح جيدًا هنا، وسببه يستحق أن يُعرف قبل أن تبني الحل.
يقيّم براي لان وألونسو وليز (WWW 2022) دوال المسافة بمعيار هو هل ترتب الدرجةُ الناتجة جودةَ المُوسِّمين ترتيبًا صحيحًا. وفي مربعات الإحاطة تضع ألفا L2 العادية (0.687) فوق التقاطع على الاتحاد (0.505) وGIoU (0.507)، وهذا يعكس الترتيب الذي يعطيه مقياساهما القائمان على التوزيعات ويعطيه الممارسون.
والسبب بنيويٌّ. فمسافة التقاطع على الاتحاد محصورة في [0, 1] وتتشبع. ومربعان مقترنان عشوائيًّا يكون تقاطعهما على الاتحاد صفرًا في الغالب، فينهار الاختلاف المتوقع إلى نحو 1، وتتحول ألفا إلى 1 − mean distance دون أي تصحيح للصدفة فيها. والتقاطع على الاتحاد مسطَّح أيضًا حيث يهم: مربعان لا يتداخلان يسجلان 0 سواء كانا متلامسين أو في ركنين متقابلين، فلا تدرُّج تحديدًا حيث يختلف المُوسِّمون.
ما ينبغي الإبلاغ عنه بدلًا من ذلك
افصل السؤال إلى ثلاثة
| المكوّن | السؤال | المقياس |
|---|---|---|
| الكشف | هل وجدوا الأجسام نفسها أصلًا؟ | ألفا اسمية على الوجود |
| التصنيف | هل أعطوا الأجسام المتقابلة التسمية نفسها؟ | ألفا اسمية على التسميات |
| تحديد الموضع | هل الأجسام المتقابلة في المكان نفسه؟ | σ وKS |
مُوسِّم يجد كل الأجسام ويخطئ في تسميتها كلها مشكلته غير مشكلة من يسمّي تسمية صحيحة لكنه يرسم المربعات فضفاضة. والدرجة المجمعة لا تخبرك أيهما لديك، ولكل منهما علاج مختلف.
σ مع خط أساس تجريبي للصدفة
σ = 1 − mean(within-item distance) / mean(between-item distance)
هذه صيغة 1 − D_o/D_e لألفا معممةً على أي مسافة، مع تقدير خط أساس الصدفة بمقارنة توسيمات عناصر مختلفة. وσ = 0 تعني أن المُوسِّمين لا يتفقون أكثر مما يتفقون على صور لا صلة بينها.
لا تقصّ القيم السالبة. فـ«أبعد عن بعضهم على الصورة نفسها منهم على صور مختلفة» حالة حقيقية، وهي تعني في الغالب أن الإرشادات ملتبسة لا أن المُوسِّمين مهملون.
KS إلى جانبها
إحصائية كولموغوروف–سميرنوف لعينتين بين توزيع المسافات داخل العنصر وتوزيعها بين العناصر. تقارن σ بين متوسطين وقد تجرّها قلة من القيم الشاذة، أما KS فتقارن التوزيعات بأكملها.
أبلِغ عن الاثنتين. وحين تختلفان فإن أقلية من العناصر تحمل معظم الاختلاف، وهذا يدلك على أن تراجع تلك العناصر.
الأقنعة تحتاج إلى أداة مختلفة
في أقنعة البكسلات، سؤال «حدّ مَن نسجّل» ليس هو «هل يتفقون». استخدم STAPLE (وارفيلد وزو وويلز، 2004)، وهي تُجري تعظيم التوقع على تسميات كل بكسل وتقدّر حساسية ونوعية لكل مُوسِّم.
تُذكر الحساسية والنوعية منفصلتين لأن علاجيهما متعاكسان. فالحساسية المنخفضة تعني تجزئة ناقصة، والنوعية المنخفضة تعني تجزئة زائدة، ورقم دقة واحد يعطي الحالتين الدرجة نفسها.
وتتفوق STAPLE أيضًا على تصويت الأغلبية حين يكون المُوسِّمون الدقيقون أقل عددًا. فمع مُوسِّمَين دقيقَين في مقابل ثلاثة مشوَّشين، يسجل تصويت الأغلبية معامل Dice قدره 0.846 مقابل الحقيقة، وتسجل STAPLE 1.000.
المربعات ثلاثية الأبعاد تحتاج إلى تقاطع على اتحاد دقيق مدوَّر
في المجسمات، استخدم التقاطع على الاتحاد ثلاثي الأبعاد الدقيق والمدوَّر. فالتقريب الموازي للمحاور يُبلغ عن اختلاف ناتج عن المقياس نفسه ما إن تحمل البيانات ميلانًا ودحرجة حقيقيين، وهو ما تحمله مسوح الطائرات المسيَّرة واليدوية والداخلية جميعًا.
تنفيذ ذلك في Potato
agreement_metrics:
enabled: true
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Draw a tight box around every vehicle."
source_field: image
tools: [bbox]
labels:
- {name: car, color: "#FF6B6B"}
- {name: truck, color: "#4ECDC4"}
num_annotators_per_item:
default: 2تظهر التقارير في /admin/iaa. وتجدر معرفة خاصيتين.
- القيم غير المعرَّفة تشرح نفسها. ألفا غير معرَّفة فعلًا في مجموعة بإجماع تام. و
NaNمجردة تُقرأ على أنها حساب معطوب، وقيمة1.0ستكون كذبة. - لا شيء يُقتطع بصمت. المقارنة الزوجية تربيعية في عدد المُوسِّمين وفي عدد الحالات لكل عنصر، ولذلك توجد ميزانية. وحين تُستنفد، يُتخطى العنصر كاملًا بدل أن يُقاس نصف قياس، ويذكر التقرير عدد العناصر المشمولة.
قائمة مراجعة
- احصل على توسيمين مستقلين على الأقل لكل عنصر. فالاتفاق على مُوسِّم واحد غير معرَّف لا كامل.
- أبلِغ عن الكشف والتصنيف وتحديد الموضع كلًّا على حدة.
- صحِّح الصدفة بالنسبة إلى خط أساس مقدَّر تجريبيًّا لا إلى عتبة ثابتة.
- أبلِغ عن σ وKS معًا.
- استخدم STAPLE للأقنعة، والتقاطع على الاتحاد ثلاثي الأبعاد المدوَّر للمجسمات.
- اذكر التغطية. فالرقم المحسوب على عيّنة وهو يقدّم نفسه كاملًا سيُقتبس على أنه كامل.