विज़न और स्थानिक एनोटेशन
Potato छवियों, वीडियो, गीगापिक्सेल स्कैन, 3D पॉइंट क्लाउड, डेप्थ मैप और रोबोट एपिसोड को एनोटेट करता है, और इन सब पर संयोग-संशोधित सहमति रिपोर्ट करता है। विज़न और स्थानिक सतह का अवलोकन।
Potato एक ही YAML कॉन्फ़िगरेशन से छवियों, वीडियो, गीगापिक्सेल स्कैन, 3D पॉइंट क्लाउड, डेप्थ मैप, रोबोट एपिसोड और जनरेटिव-वीडियो रोलआउट को एनोटेट करता है, और इन सब पर संयोग-संशोधित सहमति रिपोर्ट करता है। यह पेज नक्शा है; हर सतह का अपना पेज नीचे है।
ज़्यादातर यह सब संस्करण 2.8 में आया। उससे पहले Potato एक टेक्स्ट एनोटेशन प्लेटफ़ॉर्म था जिसमें एक इमेज मोड था।
यहाँ क्या है
| सतह | स्कीमा | पेज |
|---|---|---|
| बॉक्स, पॉलीगॉन, पॉलीलाइन, दीर्घवृत्त, क्यूबॉइड, कीपॉइंट, मास्क | image_annotation | ज्यामिति प्रिमिटिव |
| किसी ऑब्जेक्ट पर क्लिक करें, मास्क पाएँ | sam टूल के साथ image_annotation | इंटरैक्टिव सेगमेंटेशन |
| एक वाक्यांश टाइप करें, हर मिलान पर बॉक्स पाएँ | text_prompt के साथ image_annotation | टेक्स्ट प्रॉम्प्टिंग |
| किसी क्लिप में ऑब्जेक्ट को ट्रैक करें | video_annotation | वीडियो ट्रैकिंग |
| पूरे रिज़ॉल्यूशन पर गीगापिक्सेल स्कैन | viewer: deepzoom | डीप ज़ूम |
| 3D पॉइंट क्लाउड और ओरिएंटेड क्यूबॉइड | spatial_annotation | पॉइंट क्लाउड |
| मीटर रीडआउट वाले डेप्थ मैप | depth_map डिस्प्ले | डेप्थ मैप |
| टाइमलाइन पर रोबोट प्रदर्शन | episode_annotation | रोबोट एपिसोड |
| जनरेटिव-वीडियो रोलआउट | rollout_evaluation | वर्ल्ड-मॉडल मूल्यांकन |
| रेफ़रिंग एक्सप्रेशन और पॉइंटिंग | grounding_eval, region_caption | VLM ग्राउंडिंग |
| 48 इंपोर्ट और 72 निर्यात फ़ॉर्मैट | — | CV फ़ॉर्मैट |
| कौन-से मॉडल, और किस लाइसेंस के तहत | — | मॉडल ज़ू |
असामान्य हिस्सा
यहाँ Potato को अलग करने वाली चीज़ ड्रॉइंग टूल नहीं हैं। CVAT, Label Studio, Roboflow, V7 और Supervisely सभी बॉक्स और पॉलीगॉन बनाते हैं, और कई यह बेहतर करते हैं; तुलना गाइड बताती है कहाँ।
Potato जो जोड़ता है, वह यह है कि इनमें से हर सतह संयोग-संशोधित सहमति रिपोर्ट करती है। हमें ऐसा कोई दूसरा एनोटेशन प्लेटफ़ॉर्म नहीं मिला जो स्थानिक लेबलों के लिए संयोग-संशोधित गुणांक रिपोर्ट करता हो: मानक कच्चा IoU या प्रतिशत मिलान है, जो तब फूल जाता है जब कोई एक उत्तर हावी हो, और लगभग हमेशा कोई एक उत्तर हावी होता है। बॉक्स, मास्क, 3D क्यूबॉइड, घटना-समय और कैप्शन के लिए इसका क्या मतलब है, यह मापन और अखंडता में देखें।
मॉडल स्थानीय रूप से चलते हैं
इंटरैक्टिव सेगमेंटेशन और ओपन-वोकैबुलरी टेक्स्ट प्रॉम्प्टिंग दोनों एनोटेटर के ब्राउज़र में ONNX Runtime Web से चलते हैं। न GPU जुटाना है, न मॉडल सर्वर चालू रखना है, और न हर क्लिक पर नेटवर्क कॉल। वज़न मशीन पर आ जाने के बाद पूरा सिस्टम एयर-गैप्ड काम करता है।
वीडियो मास्क प्रोपेगेशन अपवाद है और जानबूझकर सर्वर पर चलता है: उसकी लागत प्रति प्रॉम्प्ट नहीं, प्रति फ़्रेम है, और ब्राउज़र टैब में वीडियो मॉडल के सौ फ़्रेम का मतलब होता मिनटों तक जमा हुआ UI।
कुछ भी बंडल नहीं है और जब तक आप न कहें कुछ डाउनलोड नहीं होता:
potato download-models --list
potato download-models mobile_samमॉडल ज़ू पेज हर मॉडल का लाइसेंस बताता है, और download-models बिना --accept-licence के गैर-व्यावसायिक मॉडल लाने से इनकार करता है।
शुरू करना
सबसे तेज़ रास्ता एक चलने योग्य उदाहरण है। इनमें से हर एक Potato रिपॉज़िटरी में है और रिपॉज़िटरी रूट से बिना किसी डाउनलोड के चलता है:
examples/image/interactive-segmentation/— क्लिक करके सेगमेंट करेंexamples/image/text-prompt-labeling/— वाक्यांश टाइप करें, उससे लेबल करेंexamples/video/mask-propagation/— ओक्लूज़न के आर-पार ट्रैक करेंexamples/spatial/kitti-cuboids/— lidar पर 3D बॉक्सexamples/embodied/lerobot-episode/— एक रोबोट प्रदर्शन
आगे पढ़ें
- मापन और अखंडता — ज्यामिति, समय और 3D पर सहमति
- इमेज एनोटेशन संदर्भ
- वीडियो एनोटेशन संदर्भ
- 2.8 के रिलीज़ नोट्स