सामग्री पर जाएं

मापन और अखंडता

Potato ज्यामिति, 3D क्यूबॉइड, कैप्शन और वर्ल्ड-मॉडल ब्रेक-पॉइंट पर संयोग-संशोधित सहमति, समय सेगमेंट पर असंशोधित सहमति रिपोर्ट करता है, और दर्ज करता है कि एनोटेशन कैसे बनाए गए।

Potato का हर एनोटेशन प्रकार यह मापने का तरीका लेकर आता है कि एनोटेटर सहमत हैं या नहीं, जिसकी विफलता के तरीके बताए गए हैं, और ज़्यादातर प्रकारों के लिए यह माप संयोग-संशोधित है। इसमें स्थानिक प्रकार भी शामिल हैं, जहाँ उद्योग का मानक कच्चा IoU या प्रतिशत मिलान है, और दोनों में से कोई संयोग-संशोधित नहीं है। समय सेगमेंट अपवाद हैं: Potato उनके लिए असंशोधित माप रिपोर्ट करता है, और समय पर सहमति बताता है कि क्यों।

यह खंड सवाल के दोनों हिस्सों को कवर करता है: लेबल सहमत हैं या नहीं, और वे कैसे बने।

मूल सूत्र

सवालमाप
क्या एनोटेटरों को वही ऑब्जेक्ट मिले?डिटेक्शन α
क्या उन्होंने उन्हें एक ही नाम दिया?क्लासिफ़िकेशन α
क्या उन्होंने उन्हें एक ही जगह रखा?अनुभवजन्य संयोग आधार-रेखा के विरुद्ध σ और KS
किसके मास्क पर भरोसा करें?STAPLE
क्या वे इस पर सहमत हैं कि घटना कब शुरू होती है?टेम्पोरल IoU और डिटेक्शन F1, संयोग-संशोधित नहीं
क्या वे 3D बॉक्स पर सहमत हैं?सटीक घूर्णित 3D IoU
क्या वे किसी क्षेत्र का एक ही तरह वर्णन करते हैं?टेक्स्ट पर सिमेंटिक दूरी के साथ α
क्या वे इस पर सहमत हैं कि दुनिया कब टूटी?टॉलरेंस स्वीप के साथ ब्रेक-पॉइंट सहमति
क्या कोई एनोटेटर सक्षम है?MACE, वास्तव में श्रेणीगत हिस्सों के लिए

संयोग-संशोधन क्यों

कच्ची सहमति तब फूल जाती है जब कोई एक उत्तर हावी हो, और लगभग हमेशा कोई एक उत्तर हावी होता है।

सबसे साफ़ मामला स्थानिक है। जिस कॉर्पस में हर छवि में एक बड़ी केंद्र में रखी वस्तु है, उसमें औसत IoU लगभग 0.95 दिखेगा चाहे जो भी एनोटेट करे — उन एनोटेटरों समेत जिन्होंने छवि देखी तक नहीं और बीच में बॉक्स खींच दिया। संयोग-संशोधन ही "ये एनोटेटर सहमत हैं" को "इस काम में असहमत होना बहुत मुश्किल है" से अलग करता है।

ज़्यादातर एनोटेशन प्लेटफ़ॉर्म सहमति को कच्चे IoU, सटीक मिलान, या ग्राउंड-ट्रुथ जॉब के विरुद्ध प्रतिशत सहमति के रूप में रिपोर्ट करते हैं। ये उपयोगी संख्याएँ हैं जो किसी दूसरे सवाल का जवाब देती हैं। हमें ऐसा कोई दूसरा एनोटेशन प्लेटफ़ॉर्म नहीं मिला जो स्थानिक लेबलों के लिए संयोग-संशोधित गुणांक रिपोर्ट करता हो।

दो डिज़ाइन गुण

अपरिभाषित मान खुद को समझाते हैं। एकमत कॉर्पस पर α वास्तव में अपरिभाषित है। सिर्फ़ NaN टूटी हुई गणना जैसा पढ़ा जाता है और 1.0 झूठ होता, इसलिए रिपोर्ट शब्दों में बताती है कि कौन-सा है।

कुछ भी चुपचाप नहीं छँटता। जो रिपोर्ट अपने जोड़ीवार बजट तक पहुँचती है, वह यह कहती है और बताती है कि कितने आइटम शामिल थे। किसी नमूने पर निकाली गई संख्या, जो खुद को हर चीज़ पर निकाली गई संख्या की तरह पेश करे, किसी संख्या के न होने से बदतर है।

वह बग जिसकी वजह से यह परत है

निर्णय-प्रक्रिया (adjudication) एनोटेशन की कुंजियों की तुलना करती थी, और इमेज स्कीमा सब कुछ _data नाम की एक कुंजी के नीचे सहेजता है। इसलिए हर इमेज जोड़ी को 1.0 सहमति मिली: जिन दो एनोटेटरों में किसी बात पर सहमति नहीं थी वे एकमत दिखे, और कोई इमेज समीक्षा के लिए कभी नहीं भेजी गई।

यह ठीक किया जा चुका है, और इसी कारण सहमति परत हर एनोटेशन प्रकार के भीतर बनी है, उनके ऊपर नहीं जोड़ी गई।

डेटा कैसे बना

सहमति उन दो एनोटेटरों को नहीं पकड़ सकती जो आत्मविश्वास से किसी गलत बात पर सहमत हैं, और वह बिना पढ़े स्वीकार किए गए प्री-लेबल को नहीं पकड़ सकती। दो सतहें इसे संभालती हैं:

  • ड्रॉइंग टेलीमेट्री प्रति आकृति समय, स्ट्रोक गतिकी, संशोधन गिनती, और AI-सुझाव स्वीकृति विलंब दर्ज करती है।
  • कीस्ट्रोक लॉगिंग इसका टेक्स्ट-पक्ष का जोड़ीदार है, यह बताने के लिए कि फ़्री-टेक्स्ट उत्तर कैसे बना।

दोनों वैकल्पिक हैं, और एनोटेटर को रिकॉर्डिंग सूचना दिखती है।

भरोसा और डिप्लॉयमेंट

संबंधित