समय पर सहमति
जब एनोटेटर समय सेगमेंट और ब्रेक-पॉइंट चिह्नित करते हैं तब Potato क्या रिपोर्ट करता है, सेगमेंट सहमति संयोग-संशोधित क्यों नहीं है, और ब्रेक-पॉइंट सहमति टॉलरेंस स्वीप क्यों है।
घटना कब शुरू होती है यह चिह्नित करने वाले दो एनोटेटर एक ही फ़्रेम नहीं चुनेंगे, इसलिए टेम्पोरल सहमति को बताना पड़ता है कि सहमत गिने जाने के लिए कितनी नज़दीकी चाहिए। Potato इसका जवाब समय सेगमेंट और ब्रेक-पॉइंट के लिए अलग-अलग देता है: सेगमेंट थ्रेशोल्ड से ऊपर टेम्पोरल IoU से मिलाए जाते हैं, और ब्रेक-पॉइंट टॉलरेंस की एक श्रृंखला पर रिपोर्ट होते हैं।
समय सेगमेंट के माप
ऑडियो और वीडियो सेगमेंट के लिए सहमति रिपोर्ट हर आइटम पर एनोटेटरों की हर जोड़ी की तुलना करती है और चार संख्याओं का औसत लेती है:
| सवाल | माप |
|---|---|
| सेगमेंट के दोनों समूह कुल मिलाकर कितने सहमत हैं? | औसत सहमति, जो ढीली सीमाओं, छूटे सेगमेंट और बेमेल लेबल को दंडित करती है |
| जब दोनों एनोटेटरों को सेगमेंट मिला, तो सीमाएँ कितनी नज़दीक हैं? | औसत मिलान किया हुआ टेम्पोरल IoU |
| क्या उन्हें वही सेगमेंट मिले भी? | मिलान थ्रेशोल्ड पर डिटेक्शन F1, डिफ़ॉल्ट 0.5 |
| क्या उन्होंने उतने ही सेगमेंट चिह्नित किए? | सेगमेंट गिनती का औसत अंतर |
सेगमेंट केवल टेम्पोरल IoU से मिलाए जाते हैं। लेबल केवल औसत सहमति में गिने जाते हैं, जहाँ अलग लेबल वाली मिली हुई जोड़ी अपने IoU का आधा पाती है, इसलिए कोई अकेली संख्या यह नहीं बताती कि एनोटेटर लेबल पर कितनी बार सहमत होते हैं। जिस जोड़ी में किसी एनोटेटर ने कुछ चिह्नित नहीं किया, वह गिनी जाती है पर स्कोर नहीं की जाती, क्योंकि दो खाली उत्तर सहमति का प्रमाण नहीं हैं।
ब्रेक-पॉइंट के लिए टॉलरेंस स्वीप
ब्रेक-पॉइंट अकेले क्षण होते हैं, जैसे वह पल जब रोबोट एपिसोड गड़बड़ होता है, और दो ब्रेक-पॉइंट एक ही निशान तब गिने जाते हैं जब वे टॉलरेंस विंडो के भीतर पड़ें। तब हर संख्या उस विंडो पर निर्भर होती है, इसलिए रोबोट एपिसोड रिपोर्ट उन्हें 0.04, 0.25, 0.5, 1 और 2 सेकंड पर निकालती है और पाँचों दिखाती है।
एक अकेला थ्रेशोल्ड रिपोर्ट करने से पाठक वही टॉलरेंस मान लेता है जो उसके निष्कर्ष का समर्थन करे। 0.25 s पर सहमति और 2 s पर सहमति डेटा के बारे में अलग-अलग दावे हैं:
- 2 s पर ऊँची और 0.25 s पर कम का मतलब है कि एनोटेटर इस पर सहमत हैं कि घटना हुई पर ठीक कब, इस पर नहीं। यह आम तौर पर दिशानिर्देशों की समस्या है: "कब शुरू होती है" की परिभाषा अधूरी है।
- दोनों पर कम का मतलब है कि वे इस पर ही असहमत हैं कि घटना हुई भी या नहीं।
हर टॉलरेंस पर ब्रेक-पॉइंट सहमति को डिटेक्शन, लोकलाइज़ेशन और श्रेणी में बाँटा जाता है, जैसा वर्ल्ड-मॉडल मूल्यांकन के तहत बताया गया है। समय सेगमेंट के लिए ऐसा कोई स्वीप नहीं है; उनकी सीमाएँ केवल टेम्पोरल IoU से आँकी जाती हैं।
कवरेज साथ में रिपोर्ट होता है
सघन वक्रों के लिए, जैसे रोबोट एपिसोड पर प्रोग्रेस-रिवॉर्ड ट्रेस, सहमति ICC और Pearson के रूप में कवरेज बताते हुए रिपोर्ट होती है।
टाइमलाइन के 5% पर निकाला गया सहसंबंध बाकी 95% के बारे में कुछ नहीं कहता, और जो गुणांक अपना कवरेज साथ नहीं रखता उसे ऐसे पढ़ा जाएगा मानो रखता हो।
एक ज्ञात सीमा
समय सेगमेंट को केवल असंशोधित माप मिलते हैं: कोई σ नहीं, कोई डिटेक्शन α नहीं और कोई लेबल α नहीं। σ की संयोग आधार-रेखा अलग-अलग आइटम के ऑब्जेक्टों के बीच की दूरियों से बनती है, और जब क्लिप की लंबाई अलग-अलग हो तो "किसी दूसरी क्लिप का सेगमेंट" सार्थक तुलना नहीं है। इसे सही करने के लिए अपना डिज़ाइन चाहिए, और उसके मौजूद होने से पहले यहाँ संयोग-संशोधन का दावा करना यह कहने से बदतर होता।
सेगमेंट पर लेबल सहमति, या कई टॉलरेंस पर सीमा सहमति मापने के लिए, सेगमेंट को स्पैन और बॉक्स सहमति कैलकुलेटर में चिपकाएँ, जो टॉलरेंस स्वीप पर सीमा F1 और मिले हुए सेगमेंटों के लेबलों पर α रिपोर्ट करता है।
संबंधित
उदाहरण डिज़ाइन
हर डिज़ाइन एक चालू Potato कॉन्फ़िगरेशन है, जिसे आप डाउनलोड करके चला सकते हैं।
- Sleep-EDF Sleep Stage Scoring in 30-Second EpochsScore ten real overnight polysomnogram excerpts one 30-second epoch at a time with Rechtschaffen and Kales stages, using epoch-mode intervals and signal-cnn.
- Powdermill Bird Soundscape Species Boxes on SpectrogramsCorrect time-frequency boxes with species codes on ten real dawn-chorus excerpts, using Raven selection tables as pre-annotations and torchvision-detect.