ड्रॉइंग टेलीमेट्री
बॉक्स, पॉलीगॉन या मास्क कैसे बना। प्रति आकृति समय, स्ट्रोक गतिकी, संशोधन गिनती और AI-स्वीकृति विलंब समीक्षा को रबर-स्टैंपिंग से अलग करते हैं।
प्री-लेबलिंग एनोटेटरों को तेज़ बनाती है, और रबर-स्टैंपिंग को बिना घर्षण वाला। एक सुझाव आता है, एनोटेटर स्वीकार पर क्लिक करता है, और नतीजे में बना डेटासेट मॉडल के अपने आप से सहमत होने का रिकॉर्ड होता है। एनोटेशन में कुछ भी इसे सावधान समीक्षा से अलग नहीं करता। ज्यामिति एक जैसी है, और इंटर-एनोटेटर सहमति बढ़ती है जबकि सटीकता नहीं, क्योंकि जो एनोटेटर एक ही सुझाव स्वीकार करते हैं वे बनावट से ही एकमत होते हैं।
फ़र्क काम के समय में दिखता है।
कोई इंसान मास्क की सीमा को जाँचकर 300 ms में तय नहीं कर सकता। एक बार, शायद, अगर ऑब्जेक्ट स्पष्ट था। कई आइटम के माध्यक के रूप में, यह तेज़ विशेषज्ञता नहीं है।
मॉडल प्री-लेबलिंग मौजूदा एनोटेशन प्लेटफ़ॉर्म की मानक सुविधा है, जिसमें Label Studio के pre-annotations, CVAT की automated annotation और V7 की Auto-Annotate शामिल हैं। जहाँ भी यह चालू है, स्वीकृति विलंब वह संकेत है जो समीक्षा को रबर-स्टैंपिंग से अलग करता है।
इवेंट स्ट्रीम
एक इवेंट में टाइमस्टैम्प, एक क्रिया, एक ज्यामिति प्रकार और एक पूर्णांक होता है।
| क्रिया | अर्थ | पूर्णांक |
|---|---|---|
shape_add | एक आकृति कमिट हुई | वर्टेक्स: बॉक्स के लिए 4, पॉलीगॉन के लिए len(points), मास्क के लिए 0 |
shape_edit | मौजूदा आकृति हिलाई या दोबारा बनाई गई | — |
shape_remove | एक आकृति हटाई गई | — |
stroke | एक ब्रश या इरेज़र स्ट्रोक पूरा हुआ | छवि पिक्सेल में स्ट्रोक की लंबाई |
fill | फ़्लड फ़िल लगा | भरे गए पिक्सेल |
zoom | ज़ूम स्तर बदला | स्तर × 100 |
pan | एक पैन ड्रैग पूरा हुआ | स्क्रीन पिक्सेल में दूरी |
tool, undo, redo | — | |
ai_suggest | एनोटेटर को एक सुझाव रेंडर करके दिखाया गया | — |
ai_accept / ai_reject | — |
निर्देशांक कभी दर्ज नहीं होते। स्ट्रीम से पुनर्निर्मित हो सकता है कि एनोटेशन कैसे बना; एनोटेशन खुद पुनर्निर्मित नहीं हो सकता। यह इवेंट रिकॉर्ड का संरचनात्मक गुण है, नीति नहीं। कोई ऐसा फ़ील्ड ही नहीं है जिसमें निर्देशांक जा सके, और एक टेस्ट यह जाँचता है।
स्ट्रोक की लंबाई स्क्रीन पिक्सेल के बजाय छवि पिक्सेल में है, इसलिए एक ही स्ट्रोक एक जैसा मापा जाता है चाहे एनोटेटर ज़ूम इन हो या आउट।
कॉन्फ़िगरेशन
annotation_telemetry:
enabled: true
fidelity: events # off | summary | events
store_events: true
include_schemas: [] # empty means every geometry schema
exclude_schemas: []
idle_ms: 120000 # a gap above this is idle, not active
flush_interval_ms: 10000चलने योग्य उदाहरण: examples/advanced/annotation-telemetry/।
वह संकेत जो निर्णय बदलता है
AI-स्वीकृति विलंब। कई आइटम पर 500 ms से कम की स्वीकृतियों की कतार रबर-स्टैंपिंग है, और कोई दूसरा आँकड़ा इसे सावधान सहमति से अलग नहीं करता।
इसे वितरण के रूप में पढ़ें, थ्रेशोल्ड के रूप में नहीं। एक तेज़ स्वीकृति आसान ऑब्जेक्ट है; दो सौ आइटम पर 300 ms का माध्यक एक अलग निष्कर्ष है, और ऐसा जिस तक आप एनोटेशन से खुद नहीं पहुँच सकते।
संकेत की सीमाएँ
यह प्रक्रिया संकेत रिपोर्ट करता है। यह धोखाधड़ी नहीं पकड़ता, और किसी एनोटेटर को वर्गीकृत नहीं करता। फ़्लैग देखने का संकेत है, निष्कर्ष नहीं, और आधार दर मायने रखती है: जिस कॉर्पस में ज़्यादातर आइटम वाकई आसान हैं, वहाँ तेज़ होना अक्सर सही होता है।
टेक्स्ट-पक्ष का जोड़ीदार कीस्ट्रोक लॉगिंग है, जो बताती है कि फ़्री-टेक्स्ट उत्तर कैसे बना। साथ मिलकर ये "आप कैसे जानते हैं कि आपके क्राउडवर्कर LLM से चिपका नहीं रहे" का ईमानदार जवाब हैं — और ईमानदार जवाब प्रति-प्रोजेक्ट कैलिब्रेशन वाले प्रक्रिया संकेतों का समूह है, क्लासिफ़ायर नहीं।
एनोटेटर को रिकॉर्डिंग सूचना दिखती है। शोध उपकरण और निगरानी के बीच यही अंतर है, और यह खुलासा डिफ़ॉल्ट रूप से चालू है।