التوسيم البصري والمكاني
يوسِّم Potato الصور والفيديو والمسوح بالغيغابكسل والسحب النقطية ثلاثية الأبعاد وخرائط العمق وحلقات الروبوتات، ويُبلغ عن اتفاق مصحَّح للصدفة على جميعها. نظرة عامة على السطح البصري والمكاني.
يوسِّم Potato الصور والفيديو والمسوح بالغيغابكسل والسحب النقطية ثلاثية الأبعاد وخرائط العمق وحلقات الروبوتات ومقاطع الفيديو التوليدية، كلها من ملف إعداد YAML واحد، ويُبلغ عن اتفاق مصحَّح للصدفة على كل واحد منها. هذه الصفحة هي الخريطة، ولكل سطح صفحته الخاصة أدناه.
وصل معظم هذا مع الإصدار 2.8. وقبله كان Potato منصة لتوسيم النصوص مع وضع للصور.
ما الموجود هنا
| السطح | المخطط | الصفحة |
|---|---|---|
| مربعات ومضلعات وخطوط متعددة وأشكال إهليلجية ومجسمات ونقاط مفتاحية وأقنعة | image_annotation | الأوليات الهندسية |
| انقر على جسم لتحصل على قناع | image_annotation مع الأداة sam | التجزئة التفاعلية |
| اكتب عبارة لتحصل على كل مطابقة محاطة بمربع | image_annotation مع text_prompt | التوجيه النصي |
| تتبَّع جسمًا عبر مقطع | video_annotation | تتبع الفيديو |
| مسوح بالغيغابكسل بدقتها الكاملة | viewer: deepzoom | التكبير العميق |
| سحب نقطية ثلاثية الأبعاد ومجسمات موجَّهة | spatial_annotation | السحب النقطية |
| خرائط عمق مع قراءة بالأمتار | العرض depth_map | خرائط العمق |
| عروض الروبوتات على خط زمني | episode_annotation | حلقات الروبوتات |
| مقاطع الفيديو التوليدية | rollout_evaluation | تقييم نماذج العالم |
| التعبيرات المرجعية والإشارة | grounding_eval وregion_caption | ربط النصوص بالصور في VLM |
| 48 صيغة استيراد و72 صيغة تصدير | — | صيغ الرؤية الحاسوبية |
| أي النماذج، وبأي ترخيص | — | مستودع النماذج |
الجزء غير المألوف
أدوات الرسم ليست ما يميز Potato هنا. فـCVAT وLabel Studio وRoboflow وV7 وSupervisely كلها ترسم المربعات والمضلعات، وبعضها يفعل ذلك أفضل؛ ويبيّن دليل المقارنة أين.
ما يضيفه Potato هو أن كل سطح من هذه الأسطح يُبلغ عن اتفاق مصحَّح للصدفة. ولم نجد منصة توسيم أخرى تُبلغ عن معامل مصحَّح للصدفة للتسميات المكانية على الإطلاق: فالمعيار هو التقاطع على الاتحاد الخام أو نسبة التطابق المئوية، وكلاهما مضخَّم كلما هيمنت إجابة واحدة، وتهيمن إجابة واحدة في الغالب دائمًا. راجع القياس والنزاهة لمعرفة ما يعنيه ذلك للمربعات والأقنعة والمجسمات ثلاثية الأبعاد وتوقيتات الأحداث والتعليقات.
النماذج تعمل محليًّا
تعمل التجزئة التفاعلية والتوجيه النصي مفتوح المفردات كلاهما في متصفح المُوسِّم عبر ONNX Runtime Web. فلا وحدة معالجة رسومية لتجهيزها، ولا خادم نماذج للإبقاء عليه قيد التشغيل، ولا استدعاء شبكي لكل نقرة. وما إن تصبح الأوزان على الجهاز حتى يعمل كل شيء معزولًا عن الشبكة.
وانتشار الأقنعة في الفيديو هو الاستثناء، فيعمل على الخادم عن قصد: لأن كلفته تُحسب لكل إطار لا لكل موجِّه، ومئة إطار من نموذج فيديو داخل تبويب في المتصفح تعني دقائق من واجهة متجمدة.
لا شيء مضمَّن ولا شيء يُنزَّل ما لم تطلب ذلك:
potato download-models --list
potato download-models mobile_samتذكر صفحة مستودع النماذج ترخيص كل نموذج، ويرفض download-models جلب نموذج غير تجاري دون --accept-licence.
البدء
أسرع طريق هو مثال قابل للتشغيل. يوجد كل مما يلي في مستودع Potato ويعمل من جذر المستودع دون أي تنزيلات:
examples/image/interactive-segmentation/— انقر للتجزئةexamples/image/text-prompt-labeling/— اكتب عبارة ووسِّم انطلاقًا منهاexamples/video/mask-propagation/— تتبَّع عبر حجبexamples/spatial/kitti-cuboids/— مربعات ثلاثية الأبعاد على الليدارexamples/embodied/lerobot-episode/— عرض روبوتي
قراءات إضافية
- القياس والنزاهة — الاتفاق على الهندسة والزمن والأبعاد الثلاثة
- مرجع توسيم الصور
- مرجع توسيم الفيديو
- ملاحظات الإصدار 2.8