التجزئة التفاعلية
انقر على جسم لتحصل على قناع، في المتصفح، دون وحدة معالجة رسومية ودون استدعاء شبكي لكل نقرة. كيف يشغّل Potato نموذج MobileSAM عبر ONNX Runtime Web، وكيف تُعدّه.
انقر على جسم لتحصل على قناع في نحو 130 مللي ثانية، في متصفح المُوسِّم، دون وحدة معالجة رسومية ودون رحلة شبكية. يكفي أمران للتثبيت، وما إن تصبح الأوزان على الجهاز حتى يعمل معزولًا عن الشبكة.
الإعداد
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBثم أضف sam إلى tools في المخطط:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"تبقى أدوات الفرشاة والممحاة والتعبئة المدركة للألوان متاحة للعمل اليدوي. فالتجزئة التفاعلية وسيلة لبدء القناع، لا بديلًا عن تصحيحه.
شغِّل examples/image/interactive-segmentation/ لترى ذلك يعمل.
كيف يعمل
النموذج هو MobileSAM، وهو نسخة مقطَّرة من Segment Anything، ويعمل عبر ONNX Runtime Web.
المرمِّز وفاكّ الترميز مفصولان عن قصد. فالمرمِّز مكلف ويعمل مرة واحدة لكل صورة، وفاكّ الترميز رخيص ويعمل مرة واحدة لكل نقرة. والفصل بينهما مع تخزين التضمين مؤقتًا لكل صورة هو السبب الكامل في أن النقر يبدو تفاعليًّا لا طلبًا شبكيًّا. والمخزن المؤقت محدود الحجم ويُخرج التضمين الأقدم استخدامًا.
يمكنك النقر نقرة موجبة للإضافة إلى قناع، أو نقرة سالبة للاقتطاع منه، أو رسم مربع حول جسم لتقييد البحث، أو تنقيح قناع موجود.
لماذا المتصفح هو الافتراضي
ينبغي أن يعطيك pip install potato-annotation تجزئة عاملة دون وحدة معالجة رسومية ودون اعتمادية بايثون جديدة ودون شبكة صادرة وقت التوسيم. وهذه النقطة الأخيرة ليست ترفًا: فعدة مجموعات بحثية تشغّل Potato معزولًا عن الشبكة، حيث يكون نموذج يُجلب عند النقر ميزة مفقودة لا ميزة بطيئة.
| المتصفح (الافتراضي) | نقطة نهاية على الخادم | |
|---|---|---|
| الإعداد | potato download-models | pip install 'potato-annotation[vision]' مع الأوزان |
| وحدة المعالجة الرسومية | غير مطلوبة | موصى بها |
| معزول عن الشبكة | نعم، بعد تنزيل النماذج | نعم |
| حجم النموذج | مقطَّر، نحو 45 ميغابايت | ما توفره أنت |
توجد نقطة نهاية على الخادم للمختبرات التي تملك وحدة معالجة رسومية وتريد نموذجًا أكبر، لكنها الاستثناء لا الافتراضي.
عقد المدخلات جرى التحقق منه لا افتراضه
يأخذ مرمِّز SAM صورة معالَجة مسبقًا، وتحتمل المواصفات أكثر من قراءة معقولة. وثلاث من هذه القراءات تنتج أقنعة واثقة ومعقولة وخاطئة: خطأ في المركز بين 70 و148 بكسلًا، يبدو كمُوسِّم متهاون قليلًا لا كخط معالجة معطوب. أما القراءة الصحيحة فتبلغ 0.1 بكسل.
لا يظهر الفرق إلا إن فُحص مقابل أوزان حقيقية وحقيقة أرضية حقيقية، ولهذا يُثبَّت العقد باختبار لا بتعليق. فقراءة خاطئة هنا كانت ستُضعف بصمت كل قناع في كل مجموعة بيانات بُنيت بها.
الاتفاق على الأقنعة
لن ينتج مُوسِّمان يجزّئان الجسم نفسه البكسلات نفسها، فلذلك يحتاج الاتفاق على الأقنعة إلى أكثر من رقم تداخل. ويستخدم Potato STAPLE (وارفيلد وزو وويلز، 2004)، وهي تقدّر حدًّا توافقيًّا كامنًا مع حساسية ونوعية لكل مُقيِّم.
والفرق عن تصويت الأغلبية لكل بكسل ليس شكليًّا. ففي حالة مُوسِّمَين دقيقَين يفوقهما ثلاثة مشوَّشين عددًا، يسجل تصويت الأغلبية معامل Dice قدره 0.846 مقابل الحقيقة وتسجل STAPLE 1.000، لأن STAPLE تلاحظ أن الاثنين الدقيقين يتفقان مع بعضهما بينما لا يتفق الثلاثة المشوَّشون.
راجع إجماع الأقنعة للتفاصيل والتحفظات.
ذو صلة
- التوجيه النصي — ابحث عن الأجسام بالاسم بدل النقر
- تتبع الفيديو — انقل قناعًا عبر مقطع
- الأوليات الهندسية — الأشكال الأخرى
- مستودع النماذج — ما الذي يُنزَّل، وبأي ترخيص
- درّب نماذج الكشف والتجزئة على تعليقات الصور التوضيحية - ضبط مفكّك أقنعة SAM ضبطاً دقيقاً على الخطوط الخارجية التي رسمها معلّقوك لتوليد تصنيفات مسبقة للخطوط
- التوثيق المصدري
تصاميم نموذجية
كل تصميم إعداد Potato جاهز للتشغيل يمكنك تنزيله وتشغيله.
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.