كيف تُوسِّم أقنعة تجزئة الصور
المضلعات وأقنعة الفرشاة والتجزئة بالنقر، ومتى تكون كل منها الأداة الصحيحة، وكيف تكتب إرشادات الحدود التي يستطيع المُوسِّمون اتباعها، وكيف تقيس الاتفاق على قناع.
تُسمّي التجزئةُ البكسلاتِ التي تنتمي إلى جسم ما، ومعظم صعوبتها في قاعدة الحدود لا في أداة الرسم. مُوسِّمان أُعطيا الصورة نفسها دون قاعدة بشأن الظلال سيختلفان اختلافًا منهجيًّا، ولا تصلح الأدوات ذلك مهما كثرت.
مضلع أم قناع
| المضلع | قناع الفرشاة | |
|---|---|---|
| الثقوب والأجزاء المنفصلة | مرهق | طبيعي |
| البنى الرفيعة (الأسلاك والشعر والأرجل) | ضعيف | جيد |
| دعم الصيغ | واسع: COCO وYOLO وCVAT وLabelMe | أضيق: COCO RLE وDAVIS وPNG للأقنعة |
| قابلية التحرير | حرّك رأسًا | أعد طلاء منطقة |
| التخزين | صغير | كبير ما لم يكن متفرقًا |
تنتقل المضلعات عبر صيغ أكثر، وهذا مهم إن كان لا بد أن تغادر التسميات الأداة. أما الأقنعة فهي الجواب الأمين حين يكون للجسم ثقوب أو خصلات فعلًا.
إن لم تكن متأكدًا، فانظر إلى ما يحتاجه النموذج الذي سيستهلك التسميات. فنموذج التجزئة الدلالية يستهلك الأقنعة في الحالتين، والسؤال الوحيد هو ما الذي يقل فيه خطأ المُوسِّمين.
اكتب قاعدة الحدود أولًا
هذا هو الجزء الذي يحدد رقم اتفاقك. قرِّر وأعطِ أمثلة عن:
- الظل والانعكاس. داخل أم خارج؟ بثبات.
- الأجزاء الشفافة وشبه الشفافة. كأس، زجاج أمامي، كيس بلاستيكي.
- البنى الرفيعة. أين يتوقف السلك عن أن يستحق التتبع؟
- الحجب. هل يُقنَّع الجزء المرئي فقط أم يُستنتج الجسم كله؟
- التلامس. جسمان متلامسان: أين بالضبط يقع الفصل؟
- ضبابية الحركة. أين حد الحافة الضبابية؟
مثال واحد مفصَّل لكل قاعدة أنفع من فقرة نثرية. وإن اختلف المُوسِّمون بعد ذلك فسترى ذلك في صورة σ منخفضة مع اتفاق مرتفع على الكشف — أي أنهم يجدون الأجسام نفسها ويرسمونها على نحو مختلف، وهذه مشكلة إرشادات لا مشكلة إهمال.
ابدأ من نموذج
تعطي التجزئة بالنقر مسودة أولى في نحو 130 مللي ثانية، في المتصفح، دون وحدة معالجة رسومية:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- {name: object, color: "#6e56cf"}potato download-models onnxruntime
potato download-models mobile_samتضيف النقرات الموجبة إلى القناع، وتقتطع النقرات السالبة منه، ويقيّد المربع نطاق البحث، ويمكن تنقيح قناع قائم.
التصحيح هو قيمة التوسيم. إن قبل مُوسِّموك القناع الأول في كل مرة، فما جمعته سجلٌّ لنموذج يتفق مع نفسه. راجع التمييز بين المراجعة والموافقة الشكلية، فإحصاءات الاتفاق لن تخبرك بذلك.
قياس الاتفاق على الأقنعة
لا تستخدم متوسط التقاطع على الاتحاد بين المُوسِّمين. فهو يجيب عن «هل هذه المهمة سهلة» لا عن «هل يتفق هؤلاء المُوسِّمون». راجع قياس الاتفاق على مربعات الإحاطة لمعرفة السبب.
استخدم STAPLE، وهي تقدّر حدًّا توافقيًّا كامنًا مع حساسية ونوعية لكل مُوسِّم:
- الحساسية المنخفضة تعني تجزئة ناقصة، أي الرسم داخل الحد الحقيقي.
- النوعية المنخفضة تعني تجزئة زائدة، أي الرسم بسخاء حوله.
علاجاهما متعاكسان، ولهذا لا يكفي رقم دقة واحد لإعطاء مُوسِّم ملاحظات.
وتوزن STAPLE كذلك بحسب الموثوقية المثبتة لا بعدّ الأصوات. فمُوسِّمان دقيقان يفوقهما ثلاثة مشوَّشين عددًا (ثلاثة مقابل اثنين) يسجلان معامل Dice قدره 0.846 بتصويت الأغلبية و1.000 بـSTAPLE.
التصدير
تحمل COCO المضلعات وأقنعة RLE، بما في ذلك مناطق iscrowd المزدحمة. وتحمل DAVIS أقنعة لكل نسخة. وتحمل YOLO المضلعات دون الأقنعة. راجع مصفوفة الصيغ قبل الالتزام بمسار عمل للأقنعة إن كان لا بد أن تنتهي التسميات إلى وجهة بعينها.