बाउंडिंग बॉक्स पर इंटर-एनोटेटर सहमति कैसे मापें
कच्चा IoU सहमति नहीं है। संयोग-संशोधन के साथ मापें कि एनोटेटर बाउंडिंग बॉक्स, पॉलीगॉन और मास्क पर सहमत हैं या नहीं, और डिटेक्शन, क्लासिफ़िकेशन व लोकलाइज़ेशन के अलग-अलग नंबर क्यों चाहिए।
एनोटेटरों के बीच औसत IoU यह मापता है कि काम कितना आसान है, यह नहीं कि वे कितना सहमत हैं। एक आम डिटेक्शन कॉर्पस पर वह उन एनोटेटरों के लिए भी लगभग 0.95 आता है जिन्होंने छवि देखी तक नहीं। स्थानिक लेबलों पर सहमति मापने का मतलब है संयोग के लिए संशोधन करना, और डिटेक्शन, क्लासिफ़िकेशन व लोकलाइज़ेशन को अलग-अलग नंबरों के रूप में रिपोर्ट करना।
कच्चा IoU गुमराह क्यों करता है
ऐसे कॉर्पस की कल्पना करें जिसमें हर छवि में एक बड़ी, केंद्र में रखी वस्तु है। जिन दो एनोटेटरों ने बीच में बॉक्स खींचा, उनका ओवरलैप भारी होगा, इसलिए औसत IoU लगभग 0.95 आएगा। छवि देखे बिना बीच में बॉक्स खींचने वाले एनोटेटर का भी यही आएगा।
यह संख्या काम को माप रही है, एनोटेटरों को नहीं। यह वही समस्या है जो श्रेणीगत लेबलों पर प्रतिशत सहमति में होती है, जहाँ एक हावी श्रेणी स्कोर फुला देती है, और इसका समाधान भी वही है: काम खुद संयोग से कितनी सहमति पैदा करता है, उसके लिए संशोधन करें।
CVAT का consensus इंजन और V7 का consensus चरण, दोनों एनोटेटरों की तुलना प्रति-क्लास थ्रेशोल्ड के विरुद्ध कच्चे IoU से करते हैं। दोनों में से कोई संयोग-संशोधन नहीं लगाता, और दोनों व्यापक रूप से उपयोग होते हैं, इसलिए दोनों में से किसी की रिपोर्ट की हुई "0.9 सहमति" की तुलना आम तौर पर किसी चीज़ से नहीं की जा सकती।
1 − IoU पर Krippendorff का α क्यों नहीं
स्पष्ट उपाय है IoU दूरी को Krippendorff के α में डालना, जो कोई भी दूरी फ़ंक्शन स्वीकार करता है। यहाँ यह अच्छा काम नहीं करता, और इसे बनाने से पहले कारण जानना काम का है।
Braylan, Alonso और Lease (WWW 2022) दूरी फ़ंक्शनों को इस आधार पर आँकते हैं कि नतीजे का स्कोर एनोटेटर की गुणवत्ता को सही क्रम में रखता है या नहीं। बाउंडिंग बॉक्स के लिए α सादे L2 (0.687) को IoU (0.505) और GIoU (0.507) से ऊपर रखता है, जो उस क्रम को उलट देता है जो उनके वितरण-आधारित माप और व्यवहारकर्ता दोनों देते हैं।
संरचनात्मक रूप से: IoU दूरी [0, 1] में सीमित है और संतृप्त हो जाती है। यादृच्छिक रूप से जोड़े गए दो बॉक्स का IoU लगभग हमेशा 0 होता है, इसलिए अपेक्षित असहमति लगभग 1 पर ढह जाती है, और α 1 − mean distance में बदल जाता है जिसमें कोई संयोग-संशोधन नहीं बचता। IoU वहाँ भी सपाट है जहाँ यह मायने रखता है: जो दो बॉक्स ओवरलैप नहीं करते, वे छूते हों या विपरीत कोनों पर हों, दोनों स्थितियों में 0 पाते हैं, इसलिए ठीक उसी जगह कोई ग्रेडिएंट नहीं जहाँ एनोटेटर असहमत हैं।
इसके बजाय क्या रिपोर्ट करें
सवाल को तीन तरह से बाँटें
| घटक | सवाल | माप |
|---|---|---|
| डिटेक्शन | क्या उन्हें वही ऑब्जेक्ट मिले? | उपस्थिति पर नॉमिनल α |
| क्लासिफ़िकेशन | क्या उन्होंने मिले हुए ऑब्जेक्ट को वही लेबल दिया? | लेबलों पर नॉमिनल α |
| लोकलाइज़ेशन | क्या मिले हुए ऑब्जेक्ट एक ही जगह हैं? | σ और KS |
जो एनोटेटर हर ऑब्जेक्ट ढूँढता है और सबको गलत लेबल देता है, वह उससे अलग समस्या है जो सही लेबल देता है पर ढीले बॉक्स खींचता है। संयुक्त स्कोर नहीं बता सकता कि आपके सामने कौन-सी है, और दोनों के उपाय अलग हैं।
σ, अनुभवजन्य संयोग आधार-रेखा के साथ
σ = 1 − mean(within-item distance) / mean(between-item distance)
यह α के 1 − D_o/D_e रूप का किसी भी दूरी के लिए सामान्यीकरण है, जिसमें संयोग आधार-रेखा अलग-अलग आइटम के एनोटेशन की तुलना से आँकी जाती है। σ = 0 का मतलब है कि एनोटेटर उतना ही सहमत हैं जितना असंबंधित छवियों पर होते।
ऋणात्मक मानों को शून्य पर न काटें। "एक ही छवि पर अलग-अलग छवियों की तुलना में ज़्यादा दूर" एक वास्तविक स्थिति है, और लगभग हमेशा इसका मतलब होता है कि दिशानिर्देश अस्पष्ट हैं, यह नहीं कि एनोटेटर लापरवाह हैं।
साथ में KS
आइटम-के-भीतर और आइटम-के-बीच दूरी वितरणों के बीच दो-नमूना Kolmogorov–Smirnov आँकड़ा। σ दो माध्यों की तुलना करता है और कुछ आउटलायर उसे खींच सकते हैं, जबकि KS पूरे वितरणों की तुलना करता है।
दोनों रिपोर्ट करें। जब वे असहमत हों, तो आइटमों का एक अल्पसंख्यक हिस्सा ज़्यादातर असहमति ढो रहा है, और यह आपको उन आइटमों को जाकर देखने को कहता है।
मास्क के लिए अलग टूल चाहिए
पिक्सेल मास्क के लिए "हम किसकी सीमा दर्ज करें" वही सवाल नहीं है जो "क्या वे सहमत हैं" है। STAPLE (Warfield, Zou और Wells, 2004) उपयोग करें, जो प्रति-पिक्सेल लेबलों पर expectation-maximization चलाता है और हर एनोटेटर की संवेदनशीलता और विशिष्टता आँकता है।
संवेदनशीलता और विशिष्टता अलग-अलग रिपोर्ट होती हैं क्योंकि उनके उपाय उलटे हैं: कम संवेदनशीलता का मतलब अंडर-सेगमेंटिंग है, कम विशिष्टता का मतलब ओवर-सेगमेंटिंग है, और एक अकेला एक्यूरेसी नंबर दोनों को एक जैसा स्कोर देता है।
जब सावधान एनोटेटर संख्या में कम हों, तब STAPLE बहुमत मत से भी बेहतर है। दो सावधान एनोटेटरों के सामने तीन शोरयुक्त एनोटेटर हों, तो सच के मुकाबले बहुमत मत का Dice 0.846 आता है और STAPLE का 1.000।
3D बॉक्स को सटीक घूर्णित IoU चाहिए
क्यूबॉइड के लिए सटीक घूर्णित 3D IoU उपयोग करें। जैसे ही डेटा में वास्तविक pitch और roll हों, अक्ष-संरेखित सन्निकटन ऐसी असहमति दिखाता है जो माप की ही देन है, और ड्रोन, हाथ में पकड़े और इनडोर स्कैन तीनों में यह होता है।
Potato में करना
agreement_metrics:
enabled: true
annotation_schemes:
- annotation_type: image_annotation
name: objects
description: "Draw a tight box around every vehicle."
source_field: image
tools: [bbox]
labels:
- {name: car, color: "#FF6B6B"}
- {name: truck, color: "#4ECDC4"}
num_annotators_per_item:
default: 2रिपोर्ट /admin/iaa पर दिखती हैं। दो गुण जानने लायक हैं:
- अपरिभाषित मान खुद को समझाते हैं। एकमत कॉर्पस पर α वास्तव में अपरिभाषित है। सिर्फ़
NaNटूटी हुई गणना जैसा पढ़ा जाता है और1.0झूठ होता। - कुछ भी चुपचाप नहीं छँटता। जोड़ीवार तुलना एनोटेटरों और प्रति आइटम इंस्टेंसों में द्विघात है, इसलिए एक बजट है। जब वह पूरा हो जाता है, तो आइटम को आधा मापने के बजाय पूरा छोड़ दिया जाता है, और रिपोर्ट बताती है कि कितने आइटम शामिल थे।
चेकलिस्ट
- हर आइटम पर कम से कम दो स्वतंत्र एनोटेशन लें। एक एनोटेटर पर सहमति पूर्ण नहीं, अपरिभाषित है।
- डिटेक्शन, क्लासिफ़िकेशन और लोकलाइज़ेशन अलग-अलग रिपोर्ट करें।
- निश्चित थ्रेशोल्ड के बजाय अनुभवजन्य रूप से आँकी गई आधार-रेखा के विरुद्ध संयोग के लिए संशोधन करें।
- σ और KS साथ में रिपोर्ट करें।
- मास्क के लिए STAPLE और क्यूबॉइड के लिए घूर्णित 3D IoU उपयोग करें।
- कवरेज बताएँ। किसी नमूने पर निकाली गई संख्या, जो खुद को पूर्ण बताती है, पूर्ण की तरह उद्धृत की जाएगी।