इंटरैक्टिव सेगमेंटेशन
किसी ऑब्जेक्ट पर क्लिक करें और मास्क पाएँ, ब्राउज़र में, बिना GPU और बिना हर क्लिक पर नेटवर्क कॉल के। Potato ONNX Runtime Web से MobileSAM कैसे चलाता है, और उसे कैसे कॉन्फ़िगर करें।
किसी ऑब्जेक्ट पर क्लिक करें और लगभग 130 ms में मास्क पाएँ, एनोटेटर के ब्राउज़र में, बिना GPU और बिना नेटवर्क राउंड ट्रिप के। दो कमांड इसे इंस्टॉल करते हैं, और वज़न मशीन पर आ जाने के बाद यह एयर-गैप्ड काम करता है।
सेटअप
potato download-models onnxruntime # 13.5 MB, once per install
potato download-models mobile_sam # 45 MBफिर स्कीमा के tools में sam जोड़ें:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object you find."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- name: object
color: "#6e56cf"ब्रश, इरेज़र और रंग-सजग फ़िल टूल हाथ के काम के लिए उपलब्ध रहते हैं। इंटरैक्टिव सेगमेंटेशन मास्क शुरू करने का तरीका है, उसे सुधारने का विकल्प नहीं।
इसे चलता देखने के लिए examples/image/interactive-segmentation/ चलाएँ।
यह कैसे काम करता है
मॉडल MobileSAM है, जो Segment Anything का डिस्टिल्ड रूप है, और ONNX Runtime Web से चलता है।
एनकोडर और डिकोडर जानबूझकर अलग रखे गए हैं। एनकोडर महँगा है और प्रति छवि एक बार चलता है; डिकोडर सस्ता है और प्रति क्लिक एक बार चलता है। इन्हें अलग रखना, और प्रति छवि एम्बेडिंग को कैश करना, ही वह पूरा कारण है कि क्लिक करना नेटवर्क अनुरोध जैसा नहीं, इंटरैक्टिव लगता है। कैश सीमित है और सबसे कम हाल में उपयोग हुई एम्बेडिंग को हटाता है।
आप मास्क में जोड़ने के लिए सकारात्मक क्लिक, उससे काटने के लिए नकारात्मक क्लिक कर सकते हैं, खोज को सीमित करने के लिए ऑब्जेक्ट पर बॉक्स बना सकते हैं, या अपने पास पहले से मौजूद मास्क को परिष्कृत कर सकते हैं।
ब्राउज़र डिफ़ॉल्ट क्यों है
pip install potato-annotation से बिना GPU, बिना नई Python निर्भरता और एनोटेशन के समय बिना बाहरी नेटवर्क के काम करता सेगमेंटेशन मिलना चाहिए। आख़िरी बात सुविधा भर नहीं है: कई शोध समूह Potato को एयर-गैप्ड चलाते हैं, जहाँ क्लिक के समय लाया जाने वाला मॉडल धीमा नहीं, गायब फ़ीचर है।
| ब्राउज़र (डिफ़ॉल्ट) | सर्वर एंडपॉइंट | |
|---|---|---|
| सेटअप | potato download-models | pip install 'potato-annotation[vision]' और वज़न |
| GPU | आवश्यक नहीं | अनुशंसित |
| एयर-गैप्ड | हाँ, मॉडल डाउनलोड होने के बाद | हाँ |
| मॉडल आकार | डिस्टिल्ड, लगभग 45 MB | जो आप दें |
जिन लैब के पास GPU है और जो बड़ा मॉडल चाहती हैं उनके लिए सर्वर एंडपॉइंट मौजूद है, पर वह अपवाद है, डिफ़ॉल्ट नहीं।
इनपुट अनुबंध जाँचा गया था, मान नहीं लिया गया
SAM का एनकोडर पहले से प्रोसेस की गई छवि लेता है, और विनिर्देश एक से ज़्यादा संभावित पाठ स्वीकार करता है। इनमें से तीन पाठ आत्मविश्वासी, विश्वसनीय, गलत मास्क देते हैं: 70 से 148 पिक्सेल की सेंट्रॉइड त्रुटि, जो टूटी हुई पाइपलाइन नहीं, थोड़े लापरवाह एनोटेटर जैसी दिखती है। सही पाठ 0.1 px पर आता है।
फ़र्क तभी दिखता है जब असली वज़न और असली ग्राउंड ट्रुथ के विरुद्ध जाँचा जाए, और इसीलिए अनुबंध टिप्पणी से नहीं, टेस्ट से पक्का किया गया है। यहाँ गलत पाठ इससे बने हर डेटासेट के हर मास्क को चुपचाप बिगाड़ देता।
मास्क पर सहमति
एक ही ऑब्जेक्ट को सेगमेंट करने वाले दो एनोटेटर एक जैसे पिक्सेल नहीं बनाएँगे, इसलिए मास्क सहमति को ओवरलैप संख्या से ज़्यादा चाहिए। Potato STAPLE (Warfield, Zou और Wells, 2004) उपयोग करता है, जो हर रेटर की संवेदनशीलता और विशिष्टता के साथ एक अव्यक्त सर्वसम्मति सीमा आँकता है।
प्रति-पिक्सेल बहुमत मत से अंतर केवल दिखावटी नहीं है। जब दो सावधान एनोटेटर तीन शोरयुक्त एनोटेटरों से तीन-के-मुकाबले-दो में संख्या में कम हों, तो सच के मुकाबले बहुमत मत का Dice 0.846 आता है और STAPLE का 1.000, क्योंकि STAPLE देख लेता है कि सावधान जोड़ी आपस में सहमत है जबकि शोरयुक्त तीन नहीं।
विवरण और सावधानियों के लिए मास्क सर्वसम्मति देखें।
संबंधित
- टेक्स्ट प्रॉम्प्टिंग — क्लिक के बजाय नाम से ऑब्जेक्ट खोजें
- वीडियो ट्रैकिंग — मास्क को किसी क्लिप में आगे ले जाएँ
- ज्यामिति प्रिमिटिव — दूसरी आकृतियाँ
- मॉडल ज़ू — क्या डाउनलोड होता है, और किस लाइसेंस के तहत
- इमेज एनोटेशन पर डिटेक्शन और सेगमेंटेशन मॉडल प्रशिक्षित करना — आउटलाइन प्री-लेबल के लिए एनोटेटर की आउटलाइन पर SAM के मास्क डिकोडर को फ़ाइन-ट्यून करना
- स्रोत दस्तावेज़ीकरण
उदाहरण डिज़ाइन
हर डिज़ाइन एक चालू Potato कॉन्फ़िगरेशन है, जिसे आप डाउनलोड करके चला सकते हैं।
- BBBC038 2018 Data Science Bowl Outlines of Every NucleusDraw one polygon per nucleus on ten real images from the CC0 2018 Data Science Bowl set, with Cellpose fine-tuning that writes outlines back as pre-labels.
- NuInsSeg Nucleus and Ambiguous Area Outlines in H&E HistologyOutline nuclei and mark ambiguous areas with polygons on ten real H&E patches, with Cellpose fine-tuning that writes outlines back as pre-labels.
- MSD Spleen Segmentation on Portal-Venous CTPaint the spleen on CT volumes in three linked views with window presets, with a 3D U-Net pre-labeler. The sample volumes are synthetic, illustrative phantoms.
- LIDC-IDRI Lung Nodule Outlines and Ratings on Chest CTOutline lung nodules on chest CT volumes in three linked views and rate nine characteristics, with a 3D U-Net pre-labeler. The volumes are synthetic phantoms.