تخطّي إلى المحتوى

التجزئة التفاعلية

انقر على جسم لتحصل على قناع، في المتصفح، دون وحدة معالجة رسومية ودون استدعاء شبكي لكل نقرة. كيف يشغّل Potato نموذج MobileSAM عبر ONNX Runtime Web، وكيف تُعدّه.

انقر على جسم لتحصل على قناع في نحو 130 مللي ثانية، في متصفح المُوسِّم، دون وحدة معالجة رسومية ودون رحلة شبكية. يكفي أمران للتثبيت، وما إن تصبح الأوزان على الجهاز حتى يعمل معزولًا عن الشبكة.

الإعداد

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

ثم أضف sam إلى tools في المخطط:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

تبقى أدوات الفرشاة والممحاة والتعبئة المدركة للألوان متاحة للعمل اليدوي. فالتجزئة التفاعلية وسيلة لبدء القناع، لا بديلًا عن تصحيحه.

شغِّل examples/image/interactive-segmentation/ لترى ذلك يعمل.

كيف يعمل

النموذج هو MobileSAM، وهو نسخة مقطَّرة من Segment Anything، ويعمل عبر ONNX Runtime Web.

المرمِّز وفاكّ الترميز مفصولان عن قصد. فالمرمِّز مكلف ويعمل مرة واحدة لكل صورة، وفاكّ الترميز رخيص ويعمل مرة واحدة لكل نقرة. والفصل بينهما مع تخزين التضمين مؤقتًا لكل صورة هو السبب الكامل في أن النقر يبدو تفاعليًّا لا طلبًا شبكيًّا. والمخزن المؤقت محدود الحجم ويُخرج التضمين الأقدم استخدامًا.

يمكنك النقر نقرة موجبة للإضافة إلى قناع، أو نقرة سالبة للاقتطاع منه، أو رسم مربع حول جسم لتقييد البحث، أو تنقيح قناع موجود.

لماذا المتصفح هو الافتراضي

ينبغي أن يعطيك pip install potato-annotation تجزئة عاملة دون وحدة معالجة رسومية ودون اعتمادية بايثون جديدة ودون شبكة صادرة وقت التوسيم. وهذه النقطة الأخيرة ليست ترفًا: فعدة مجموعات بحثية تشغّل Potato معزولًا عن الشبكة، حيث يكون نموذج يُجلب عند النقر ميزة مفقودة لا ميزة بطيئة.

المتصفح (الافتراضي)نقطة نهاية على الخادم
الإعدادpotato download-modelspip install 'potato-annotation[vision]' مع الأوزان
وحدة المعالجة الرسوميةغير مطلوبةموصى بها
معزول عن الشبكةنعم، بعد تنزيل النماذجنعم
حجم النموذجمقطَّر، نحو 45 ميغابايتما توفره أنت

توجد نقطة نهاية على الخادم للمختبرات التي تملك وحدة معالجة رسومية وتريد نموذجًا أكبر، لكنها الاستثناء لا الافتراضي.

عقد المدخلات جرى التحقق منه لا افتراضه

يأخذ مرمِّز SAM صورة معالَجة مسبقًا، وتحتمل المواصفات أكثر من قراءة معقولة. وثلاث من هذه القراءات تنتج أقنعة واثقة ومعقولة وخاطئة: خطأ في المركز بين 70 و148 بكسلًا، يبدو كمُوسِّم متهاون قليلًا لا كخط معالجة معطوب. أما القراءة الصحيحة فتبلغ 0.1 بكسل.

لا يظهر الفرق إلا إن فُحص مقابل أوزان حقيقية وحقيقة أرضية حقيقية، ولهذا يُثبَّت العقد باختبار لا بتعليق. فقراءة خاطئة هنا كانت ستُضعف بصمت كل قناع في كل مجموعة بيانات بُنيت بها.

الاتفاق على الأقنعة

لن ينتج مُوسِّمان يجزّئان الجسم نفسه البكسلات نفسها، فلذلك يحتاج الاتفاق على الأقنعة إلى أكثر من رقم تداخل. ويستخدم Potato STAPLE (وارفيلد وزو وويلز، 2004)، وهي تقدّر حدًّا توافقيًّا كامنًا مع حساسية ونوعية لكل مُقيِّم.

والفرق عن تصويت الأغلبية لكل بكسل ليس شكليًّا. ففي حالة مُوسِّمَين دقيقَين يفوقهما ثلاثة مشوَّشين عددًا، يسجل تصويت الأغلبية معامل Dice قدره 0.846 مقابل الحقيقة وتسجل STAPLE 1.000، لأن STAPLE تلاحظ أن الاثنين الدقيقين يتفقان مع بعضهما بينما لا يتفق الثلاثة المشوَّشون.

راجع إجماع الأقنعة للتفاصيل والتحفظات.

ذو صلة

تصاميم نموذجية

كل تصميم إعداد Potato جاهز للتشغيل يمكنك تنزيله وتشغيله.