इमेज सेगमेंटेशन मास्क को एनोटेट कैसे करें
पॉलीगॉन, ब्रश मास्क और क्लिक-टू-सेगमेंट, हर एक कब सही टूल है, एनोटेटरों के पालन योग्य सीमा दिशानिर्देश कैसे लिखें, और मास्क पर सहमति कैसे मापें।
सेगमेंटेशन लेबल करता है कि कौन-से पिक्सेल किसी ऑब्जेक्ट के हैं, और इसकी लगभग सारी कठिनाई ड्रॉइंग टूल में नहीं, सीमा के नियम में है। एक ही छवि पर छाया के बारे में बिना नियम के दिए गए दो एनोटेटर व्यवस्थित रूप से असहमत होंगे, और कोई टूलिंग इसे ठीक नहीं करती।
पॉलीगॉन या मास्क
| पॉलीगॉन | ब्रश मास्क | |
|---|---|---|
| छेद और अलग-अलग हिस्से | असुविधाजनक | स्वाभाविक |
| पतली संरचनाएँ (तार, बाल, पैर) | कमज़ोर | अच्छा |
| फ़ॉर्मैट समर्थन | व्यापक: COCO, YOLO, CVAT, LabelMe | सीमित: COCO RLE, DAVIS, मास्क PNG |
| संपादन | एक वर्टेक्स हिलाएँ | क्षेत्र दोबारा पेंट करें |
| स्टोरेज | छोटा | विरल न हो तो बड़ा |
पॉलीगॉन ज़्यादा फ़ॉर्मैट में राउंड-ट्रिप करते हैं, जो तब मायने रखता है जब लेबलों को टूल से बाहर जाना हो। जब ऑब्जेक्ट में वास्तव में छेद या पतली लकीरें हों, तब मास्क ही ईमानदार जवाब हैं।
अनिश्चित हों तो देखें कि लेबल उपयोग करने वाले मॉडल को क्या चाहिए। सिमेंटिक सेगमेंटेशन मॉडल दोनों तरह मास्क ही लेता है। सवाल केवल इतना है कि एनोटेटरों के लिए कम त्रुटि-प्रवण क्या है।
सबसे पहले सीमा का नियम लिखें
यही हिस्सा आपकी सहमति संख्या तय करता है। निर्णय लें, और इनके उदाहरण दें:
- छाया और प्रतिबिंब। अंदर या बाहर? हमेशा एक जैसा।
- पारदर्शी और अर्ध-पारदर्शी हिस्से। गिलास, विंडस्क्रीन, प्लास्टिक की थैली।
- पतली संरचनाएँ। तार कहाँ तक ट्रेस करने लायक है?
- ओक्लूज़न। केवल दिखता हिस्सा मास्क करें, या पूरे ऑब्जेक्ट का अनुमान लगाएँ?
- संपर्क। आपस में छूते दो इंस्टेंस: विभाजन ठीक कहाँ है?
- मोशन ब्लर। धुंधले किनारे की सीमा कहाँ है?
हर नियम के लिए एक हल किया हुआ उदाहरण गद्य के एक पूरे अनुच्छेद से ज़्यादा काम का है। इसके बाद भी एनोटेटर असहमत हों, तो वह ऊँचे डिटेक्शन सहमति के साथ कम σ के रूप में दिखेगा — वे वही ऑब्जेक्ट ढूँढ रहे हैं और उन्हें अलग तरह से बना रहे हैं, जो दिशानिर्देशों की समस्या है, लापरवाही की नहीं।
मॉडल से शुरू करें
क्लिक-टू-सेगमेंट ब्राउज़र में, बिना GPU के, लगभग 130 ms में पहला प्रारूप देता है:
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Outline every object."
source_field: image
tools: [sam, polygon, brush, eraser]
labels:
- {name: object, color: "#6e56cf"}potato download-models onnxruntime
potato download-models mobile_samसकारात्मक क्लिक मास्क में जोड़ते हैं, नकारात्मक क्लिक उसे काटते हैं, एक बॉक्स खोज को सीमित करता है, और मौजूदा मास्क को परिष्कृत किया जा सकता है।
सुधार ही एनोटेशन का मूल्य है। अगर आपके एनोटेटर हर बार पहला मास्क स्वीकार कर लेते हैं, तो आपने मॉडल के अपने आप से सहमत होने का रिकॉर्ड जमा किया है — देखें समीक्षा और रबर-स्टैंपिंग में फ़र्क, क्योंकि सहमति आँकड़े यह नहीं बताएँगे।
मास्क पर सहमति मापना
एनोटेटरों के बीच औसत IoU का उपयोग न करें। वह जवाब देता है "क्या यह काम आसान है", यह नहीं कि "क्या ये एनोटेटर सहमत हैं" — कारण के लिए देखें बाउंडिंग बॉक्स पर सहमति मापना।
STAPLE उपयोग करें, जो एक अव्यक्त सर्वसम्मति सीमा के साथ प्रति एनोटेटर संवेदनशीलता और विशिष्टता आँकता है:
- कम संवेदनशीलता का मतलब अंडर-सेगमेंटिंग है, यानी सच्ची सीमा के अंदर ड्रॉइंग।
- कम विशिष्टता का मतलब ओवर-सेगमेंटिंग है, यानी उसके चारों ओर उदारता से ड्रॉइंग।
इनके उपाय उलटे हैं, इसीलिए एनोटेटर को फ़ीडबैक देने के लिए एक अकेला एक्यूरेसी नंबर पर्याप्त नहीं है।
STAPLE वोट गिनने के बजाय सिद्ध विश्वसनीयता से भार भी देता है। तीन-के-मुकाबले-दो से संख्या में कम पड़ गए दो सावधान एनोटेटर बहुमत मत में Dice 0.846 पाते हैं और STAPLE में 1.000।
निर्यात
COCO पॉलीगॉन और RLE मास्क रखता है, iscrowd भीड़ क्षेत्रों समेत। DAVIS प्रति-इंस्टेंस मास्क रखता है। YOLO पॉलीगॉन रखता है, मास्क नहीं। अगर लेबलों को किसी ख़ास जगह पहुँचना है, तो मास्क वर्कफ़्लो पर तय करने से पहले फ़ॉर्मैट मैट्रिक्स देखें।