सामग्री पर जाएं

इंटरैक्टिव सेगमेंटेशन

किसी ऑब्जेक्ट पर क्लिक करें और मास्क पाएँ, ब्राउज़र में, बिना GPU और बिना हर क्लिक पर नेटवर्क कॉल के। Potato ONNX Runtime Web से MobileSAM कैसे चलाता है, और उसे कैसे कॉन्फ़िगर करें।

किसी ऑब्जेक्ट पर क्लिक करें और लगभग 130 ms में मास्क पाएँ, एनोटेटर के ब्राउज़र में, बिना GPU और बिना नेटवर्क राउंड ट्रिप के। दो कमांड इसे इंस्टॉल करते हैं, और वज़न मशीन पर आ जाने के बाद यह एयर-गैप्ड काम करता है।

सेटअप

bash
potato download-models onnxruntime     # 13.5 MB, once per install
potato download-models mobile_sam      # 45 MB

फिर स्कीमा के tools में sam जोड़ें:

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Outline every object you find."
    source_field: image
    tools: [sam, polygon, brush, eraser]
    labels:
      - name: object
        color: "#6e56cf"

ब्रश, इरेज़र और रंग-सजग फ़िल टूल हाथ के काम के लिए उपलब्ध रहते हैं। इंटरैक्टिव सेगमेंटेशन मास्क शुरू करने का तरीका है, उसे सुधारने का विकल्प नहीं।

इसे चलता देखने के लिए examples/image/interactive-segmentation/ चलाएँ।

यह कैसे काम करता है

मॉडल MobileSAM है, जो Segment Anything का डिस्टिल्ड रूप है, और ONNX Runtime Web से चलता है।

एनकोडर और डिकोडर जानबूझकर अलग रखे गए हैं। एनकोडर महँगा है और प्रति छवि एक बार चलता है; डिकोडर सस्ता है और प्रति क्लिक एक बार चलता है। इन्हें अलग रखना, और प्रति छवि एम्बेडिंग को कैश करना, ही वह पूरा कारण है कि क्लिक करना नेटवर्क अनुरोध जैसा नहीं, इंटरैक्टिव लगता है। कैश सीमित है और सबसे कम हाल में उपयोग हुई एम्बेडिंग को हटाता है।

आप मास्क में जोड़ने के लिए सकारात्मक क्लिक, उससे काटने के लिए नकारात्मक क्लिक कर सकते हैं, खोज को सीमित करने के लिए ऑब्जेक्ट पर बॉक्स बना सकते हैं, या अपने पास पहले से मौजूद मास्क को परिष्कृत कर सकते हैं।

ब्राउज़र डिफ़ॉल्ट क्यों है

pip install potato-annotation से बिना GPU, बिना नई Python निर्भरता और एनोटेशन के समय बिना बाहरी नेटवर्क के काम करता सेगमेंटेशन मिलना चाहिए। आख़िरी बात सुविधा भर नहीं है: कई शोध समूह Potato को एयर-गैप्ड चलाते हैं, जहाँ क्लिक के समय लाया जाने वाला मॉडल धीमा नहीं, गायब फ़ीचर है।

ब्राउज़र (डिफ़ॉल्ट)सर्वर एंडपॉइंट
सेटअपpotato download-modelspip install 'potato-annotation[vision]' और वज़न
GPUआवश्यक नहींअनुशंसित
एयर-गैप्डहाँ, मॉडल डाउनलोड होने के बादहाँ
मॉडल आकारडिस्टिल्ड, लगभग 45 MBजो आप दें

जिन लैब के पास GPU है और जो बड़ा मॉडल चाहती हैं उनके लिए सर्वर एंडपॉइंट मौजूद है, पर वह अपवाद है, डिफ़ॉल्ट नहीं।

इनपुट अनुबंध जाँचा गया था, मान नहीं लिया गया

SAM का एनकोडर पहले से प्रोसेस की गई छवि लेता है, और विनिर्देश एक से ज़्यादा संभावित पाठ स्वीकार करता है। इनमें से तीन पाठ आत्मविश्वासी, विश्वसनीय, गलत मास्क देते हैं: 70 से 148 पिक्सेल की सेंट्रॉइड त्रुटि, जो टूटी हुई पाइपलाइन नहीं, थोड़े लापरवाह एनोटेटर जैसी दिखती है। सही पाठ 0.1 px पर आता है।

फ़र्क तभी दिखता है जब असली वज़न और असली ग्राउंड ट्रुथ के विरुद्ध जाँचा जाए, और इसीलिए अनुबंध टिप्पणी से नहीं, टेस्ट से पक्का किया गया है। यहाँ गलत पाठ इससे बने हर डेटासेट के हर मास्क को चुपचाप बिगाड़ देता।

मास्क पर सहमति

एक ही ऑब्जेक्ट को सेगमेंट करने वाले दो एनोटेटर एक जैसे पिक्सेल नहीं बनाएँगे, इसलिए मास्क सहमति को ओवरलैप संख्या से ज़्यादा चाहिए। Potato STAPLE (Warfield, Zou और Wells, 2004) उपयोग करता है, जो हर रेटर की संवेदनशीलता और विशिष्टता के साथ एक अव्यक्त सर्वसम्मति सीमा आँकता है।

प्रति-पिक्सेल बहुमत मत से अंतर केवल दिखावटी नहीं है। जब दो सावधान एनोटेटर तीन शोरयुक्त एनोटेटरों से तीन-के-मुकाबले-दो में संख्या में कम हों, तो सच के मुकाबले बहुमत मत का Dice 0.846 आता है और STAPLE का 1.000, क्योंकि STAPLE देख लेता है कि सावधान जोड़ी आपस में सहमत है जबकि शोरयुक्त तीन नहीं।

विवरण और सावधानियों के लिए मास्क सर्वसम्मति देखें।

संबंधित

उदाहरण डिज़ाइन

हर डिज़ाइन एक चालू Potato कॉन्फ़िगरेशन है, जिसे आप डाउनलोड करके चला सकते हैं।