تخطّي إلى المحتوى

التوسيم البصري والمكاني

يوسِّم Potato الصور والفيديو والمسوح بالغيغابكسل والسحب النقطية ثلاثية الأبعاد وخرائط العمق وحلقات الروبوتات، ويُبلغ عن اتفاق مصحَّح للصدفة على جميعها. نظرة عامة على السطح البصري والمكاني.

يوسِّم Potato الصور والفيديو والمسوح بالغيغابكسل والسحب النقطية ثلاثية الأبعاد وخرائط العمق وحلقات الروبوتات ومقاطع الفيديو التوليدية، كلها من ملف إعداد YAML واحد، ويُبلغ عن اتفاق مصحَّح للصدفة على كل واحد منها. هذه الصفحة هي الخريطة، ولكل سطح صفحته الخاصة أدناه.

وصل معظم هذا مع الإصدار 2.8. وقبله كان Potato منصة لتوسيم النصوص مع وضع للصور.

ما الموجود هنا

السطحالمخططالصفحة
مربعات ومضلعات وخطوط متعددة وأشكال إهليلجية ومجسمات ونقاط مفتاحية وأقنعةimage_annotationالأوليات الهندسية
انقر على جسم لتحصل على قناعimage_annotation مع الأداة samالتجزئة التفاعلية
اكتب عبارة لتحصل على كل مطابقة محاطة بمربعimage_annotation مع text_promptالتوجيه النصي
تتبَّع جسمًا عبر مقطعvideo_annotationتتبع الفيديو
مسوح بالغيغابكسل بدقتها الكاملةviewer: deepzoomالتكبير العميق
سحب نقطية ثلاثية الأبعاد ومجسمات موجَّهةspatial_annotationالسحب النقطية
خرائط عمق مع قراءة بالأمتارالعرض depth_mapخرائط العمق
عروض الروبوتات على خط زمنيepisode_annotationحلقات الروبوتات
مقاطع الفيديو التوليديةrollout_evaluationتقييم نماذج العالم
التعبيرات المرجعية والإشارةgrounding_eval وregion_captionربط النصوص بالصور في VLM
48 صيغة استيراد و72 صيغة تصدير—صيغ الرؤية الحاسوبية
أي النماذج، وبأي ترخيص—مستودع النماذج

الجزء غير المألوف

أدوات الرسم ليست ما يميز Potato هنا. فـCVAT وLabel Studio وRoboflow وV7 وSupervisely كلها ترسم المربعات والمضلعات، وبعضها يفعل ذلك أفضل؛ ويبيّن دليل المقارنة أين.

ما يضيفه Potato هو أن كل سطح من هذه الأسطح يُبلغ عن اتفاق مصحَّح للصدفة. ولم نجد منصة توسيم أخرى تُبلغ عن معامل مصحَّح للصدفة للتسميات المكانية على الإطلاق: فالمعيار هو التقاطع على الاتحاد الخام أو نسبة التطابق المئوية، وكلاهما مضخَّم كلما هيمنت إجابة واحدة، وتهيمن إجابة واحدة في الغالب دائمًا. راجع القياس والنزاهة لمعرفة ما يعنيه ذلك للمربعات والأقنعة والمجسمات ثلاثية الأبعاد وتوقيتات الأحداث والتعليقات.

النماذج تعمل محليًّا

تعمل التجزئة التفاعلية والتوجيه النصي مفتوح المفردات كلاهما في متصفح المُوسِّم عبر ONNX Runtime Web. فلا وحدة معالجة رسومية لتجهيزها، ولا خادم نماذج للإبقاء عليه قيد التشغيل، ولا استدعاء شبكي لكل نقرة. وما إن تصبح الأوزان على الجهاز حتى يعمل كل شيء معزولًا عن الشبكة.

وانتشار الأقنعة في الفيديو هو الاستثناء، فيعمل على الخادم عن قصد: لأن كلفته تُحسب لكل إطار لا لكل موجِّه، ومئة إطار من نموذج فيديو داخل تبويب في المتصفح تعني دقائق من واجهة متجمدة.

لا شيء مضمَّن ولا شيء يُنزَّل ما لم تطلب ذلك:

bash
potato download-models --list
potato download-models mobile_sam

تذكر صفحة مستودع النماذج ترخيص كل نموذج، ويرفض download-models جلب نموذج غير تجاري دون --accept-licence.

البدء

أسرع طريق هو مثال قابل للتشغيل. يوجد كل مما يلي في مستودع Potato ويعمل من جذر المستودع دون أي تنزيلات:

قراءات إضافية