वीडियो एनोटेशन टूल की तुलना: CVAT, Label Studio, ELAN, BORIS और Potato
ऑब्जेक्ट ट्रैकिंग, टेम्पोरल सेगमेंट, व्यवहार कोडिंग और मास्क प्रोपेगेशन के लिए CVAT, Label Studio, ELAN, BORIS, VIA, V7 और Potato की तुलना, और हर टूल सहमति कैसे मापता है।
वीडियो एनोटेशन आम तौर पर दो में से एक काम होता है। ऑब्जेक्ट ट्रैकिंग किसी चीज़ के चारों ओर आकृति बनाकर उसे फ़्रेम-दर-फ़्रेम फ़ॉलो करता है, और इसके लिए CVAT संदर्भ ओपन-सोर्स टूल है। टेम्पोरल एनोटेशन यह चिह्नित करता है कि कुछ कब होता है, और भाषाविज्ञान तथा व्यवहार-शोध में ELAN और BORIS इसके मानक हैं। Potato कई एनोटेटर वाले अध्ययनों के लिए ब्राउज़र में दोनों काम करता है, और रिपोर्ट करता है कि घटनाएँ कब शुरू और ख़त्म होती हैं, इस पर वे कितने सहमत हैं।
ऑब्जेक्ट ट्रैकिंग किसी वस्तु को पूरे वीडियो में फ़ॉलो करता है, आम तौर पर उसे कीफ़्रेम पर बनाकर और बीच के फ़्रेम इंटरपोलेट करके। टेम्पोरल सेगमेंट एक शुरुआती समय, एक अंतिम समय और एक लेबल है, जैसे कोई क्रिया या वक्ता का टर्न। मास्क प्रोपेगेशन किसी मॉडल की मदद से सेगमेंटेशन मास्क को एक फ़्रेम से अगले फ़्रेम तक ले जाता है।
यह पेज वीडियो के बारे में है। सभी डेटा प्रकारों की एक पेज पर तुलना AI एनोटेशन टूल की तुलना में है।
किन वीडियो एनोटेशन टूल की तुलना करनी चाहिए?
| टूल | कैसे चलता है | लाइसेंस और लागत | किसके लिए उपयुक्त |
|---|---|---|---|
| Potato | ख़ुद होस्ट किया जाने वाला वेब ऐप | GPL-3.0, मुफ़्त | कई एनोटेटर वाले अध्ययन: ट्रैकिंग, टेम्पोरल सेगमेंट, हर सेगमेंट पर प्रश्न, सहमति |
| CVAT | ख़ुद होस्ट या होस्टेड | MIT; होस्टेड $33 प्रति उपयोगकर्ता प्रति माह | बड़ी मात्रा में बॉक्स, पॉलीगॉन और पॉइंट की ट्रैकिंग |
| Label Studio | ख़ुद होस्ट या होस्टेड | Apache-2.0 Community Edition, सशुल्क प्लान के साथ | VideoRectangle से ऑब्जेक्ट ट्रैकिंग, TimelineLabels से फ़्रेम-रेंज लेबल |
| ELAN | डेस्कटॉप ऐप | GPL-3.0 | अधिकतम चार जुड़े वीडियो पर समय के साथ संरेखित स्तर |
| BORIS | Linux, Windows, macOS और Android के लिए डेस्कटॉप ऐप | GPL-3.0 | वीडियो, ऑडियो या लाइव अवलोकन से व्यवहार संबंधी घटनाएँ दर्ज करना |
| Prodigy | लोकल चलने वाला वेब ऐप | प्रोप्राइटरी | अपने ऑडियो इंटरफ़ेस के ज़रिए वीडियो पर टाइमस्टैम्प वाले क्षेत्र |
| VIA 3 | एक अकेली HTML फ़ाइल, ब्राउज़र में ऑफ़लाइन | BSD-2-Clause | बिना कुछ इंस्टॉल किए छोटे वीडियो प्रोजेक्ट |
| V7, Supervisely | होस्टेड; Supervisely ख़ुद होस्ट भी हो सकता है | व्यावसायिक | मॉडल-आधारित मास्क प्रोपेगेशन और प्रबंधित वर्कफ़्लो के साथ ट्रैकिंग |
फ़्रेमों के पार वस्तुओं को ट्रैक करना
CVAT का ट्रैक मोड अलग-अलग फ़्रेम की आकृतियों को एक ही वस्तु के रूप में जोड़ता है। एनोटेटर कुछ कीफ़्रेम पर आकृति समायोजित करता है, और CVAT बीच के फ़्रेम को रेखीय रूप से इंटरपोलेट करता है, आयतों, पॉलीगॉन और पॉइंट के लिए। Label Studio का VideoRectangle टैग वीडियो में बॉक्स के लिए ऑब्जेक्ट ट्रैकिंग लाता है। V7, Supervisely और Segments.ai इंटरपोलेशन के साथ ट्रैक करते हैं और मॉडल से मास्क प्रोपेगेट करते हैं।
Potato की video_annotation स्कीम में एक ट्रैकिंग मोड है जो कीफ़्रेम के बीच बॉक्स और पॉलीगॉन इंटरपोलेट करता है। SAM 2 के साथ मास्क प्रोपेगेशन सर्वर पर चलता है। ब्राउज़र में एक हल्का रास्ता है जो मास्क को आगे ले जाता है। देखें वीडियो ऑब्जेक्ट ट्रैकिंग कैसे एनोटेट करें।
कुछ कब होता है, यह चिह्नित करना
Label Studio का TimelineLabels टैग एक क्लिक से एक फ़्रेम या ड्रैग करके फ़्रेमों की एक रेंज लेबल करता है। ELAN स्कीम को जितने स्तर चाहिए उतने स्तरों पर एनोटेशन को टाइमलाइन से जोड़ता है, नियंत्रित शब्दावलियों और अधिकतम चार सिंक किए गए वीडियो के साथ। BORIS वीडियो, ऑडियो या लाइव अवलोकन से व्यवहार संबंधी घटनाएँ दर्ज और कोड करता है। Prodigy वीडियो के टाइमस्टैम्प के आधार पर क्षेत्र दर्ज करता है, और VIA 3 इमेज और ऑडियो के साथ वीडियो भी एनोटेट करता है।
Potato में टेम्पोरल सेगमेंट एक टाइमलाइन पर लेबल होते हैं। संस्करण 2.9 से segment_schemes किसी भी एनोटेशन प्रकार को एक सेगमेंट के अंदर रखता है, ताकि हर सेगमेंट का अपना रेटिंग या मुक्त-पाठ प्रश्न हो सके। देखें वीडियो एनोटेशन।
वीडियो एनोटेशन पर सहमति
किसी घटना की शुरुआत चिह्नित करने वाले दो एनोटेटर एक ही फ़्रेम नहीं चुनते, इसलिए टेम्पोरल सहमति इस पर निर्भर करती है कि दो निशान कितनी दूर हो सकते हैं और फिर भी एक ही माने जाएँ।
- ELAN में इंटर-एनोटेटर विश्वसनीयता की गणना बनी हुई है: संशोधित Cohen का κ, जो तय न्यूनतम सीमा तक ओवरलैप होने वाले एनोटेशन को जोड़ता है, और Staccato एल्गोरिदम, जो किसी सेगमेंटेशन की तुलना यादृच्छिक रूप से बनाए गए सेगमेंटेशन से करके संयोग का हिसाब रखता है।
- Potato ओवरलैप के लिए टेम्पोरल IoU, सीमाओं की जगह के लिए α, लेबल पर α, और इस पर α रिपोर्ट करता है कि कोई घटना चिह्नित हुई भी या नहीं, और मिलान की सहनशीलता को कई मानों पर स्वीप के रूप में दिखाता है। इसके दस्तावेज़ीकरण में एक सीमा बताई गई है: सेगमेंट के ओवरलैप के लिए अभी संयोग की आधार-रेखा नहीं है। देखें समय के साथ सहमति।
- CVAT का कंसेंसस इंजन एनोटेटरों की तुलना प्रति-वर्ग सीमा के सामने कच्चे IoU से करता है।
ट्रैक और मास्क के लिए Potato मास्क की तुलना फ़्रेम-दर-फ़्रेम मास्क कंसेंसस और STAPLE से करता है, और बॉक्स की तुलना बाउंडिंग बॉक्स पर इंटर-एनोटेटर सहमति कैसे मापें में बताई गई ज्यामिति सहमति से।
फ़ॉर्मैट
Potato ट्रैक के लिए MOT, वीडियो ऑब्जेक्ट सेगमेंटेशन मास्क के लिए DAVIS, और समय के साथ संरेखित उन एनोटेशन के लिए EAF एक्सपोर्ट करता है जिन्हें ELAN खोलता है। देखें कंप्यूटर विज़न फ़ॉर्मैट।
Potato में ट्रैकिंग का कार्य
annotation_schemes:
- annotation_type: video_annotation
name: tracks
description: "Draw the object once, then press Track forward."
source_field: video_url
mode: tracking
labels:
- {name: subject, color: "#d1495b"}
tracking_options:
interpolation: linear
auto_advance_frames: 5
video_fps: 12
frame_stepping: trueframe_stepping एनोटेटरों को एक-एक फ़्रेम आगे बढ़ने देता है, और auto_advance_frames तय करता है कि Track forward कितना आगे कूदता है।
वीडियो के लिए Potato क्या नहीं करता
- अभी प्रति-वस्तु एट्रिब्यूट नहीं। एक ट्रैक पर एक लेबल होता है। ओक्लूज़न और कटाव के संकेतों के लिए साथ में एक और स्कीम चाहिए।
- ब्राउज़र में मास्क प्रोपेगेशन नहीं। SAM 2 से प्रोपेगेशन सर्वर पर चलता है।
- कोई प्रबंधित वर्कफ़ोर्स नहीं। अपने एनोटेटर लाएँ, या उन्हें Prolific पर भर्ती करें।
हर प्रोजेक्ट के दस्तावेज़ीकरण से अगस्त और सितंबर 2026 में जाँचा गया।
अक्सर पूछे जाने वाले प्रश्न
सबसे अच्छा मुफ़्त वीडियो एनोटेशन टूल कौन-सा है?
बड़ी मात्रा में वस्तुओं की ट्रैकिंग के लिए CVAT मुफ़्त, परिपक्व और ख़ुद होस्ट होने वाला है। समय के साथ व्यवहार या बोली की कोडिंग के लिए ELAN और BORIS मुफ़्त डेस्कटॉप टूल हैं। ऐसे अध्ययन के लिए जिसमें कई एनोटेटर ब्राउज़र में एक ही वीडियो लेबल करते हैं और सहमति रिपोर्ट करनी होती है, Potato यह मुफ़्त में देता है।
कौन-से वीडियो एनोटेशन टूल कीफ़्रेम के बीच इंटरपोलेट करते हैं?
CVAT का ट्रैक मोड कीफ़्रेम के बीच आयतों, पॉलीगॉन और पॉइंट को रेखीय रूप से इंटरपोलेट करता है। Potato का ट्रैकिंग मोड बॉक्स और पॉलीगॉन इंटरपोलेट करता है। V7 और Supervisely इंटरपोलेट करते हैं और मॉडल से मास्क भी प्रोपेगेट करते हैं। Label Studio का VideoRectangle बॉक्स ट्रैक करता है।
वीडियो की व्यवहार कोडिंग के लिए क्या इस्तेमाल करूँ?
BORIS और ELAN स्थापित मुफ़्त टूल हैं, और ELAN स्तरों के जोड़ों के बीच इंटर-एनोटेटर विश्वसनीयता की गणना कर सकता है। ऐसी कोडिंग स्कीम के लिए जिसे कई कोडर ब्राउज़र में लागू करते हैं और जिसमें सबके बीच की सहमति रिपोर्ट होती है, Potato के टेम्पोरल सेगमेंट काम आते हैं।
वीडियो एनोटेशन पर सहमति कैसे मापी जाती है?
घटनाओं के लिए, हर एनोटेटर के सेगमेंट का एक सहनशीलता के भीतर मिलान करें और ओवरलैप, सीमाओं पर सहमति और लेबल पर सहमति रिपोर्ट करें, बेहतर हो कि कई सहनशीलताओं पर, क्योंकि चौथाई सेकंड और दो सेकंड पर सहमति अलग-अलग दावे हैं। ट्रैक के लिए, आकृतियों की तुलना फ़्रेम-दर-फ़्रेम करें, बॉक्स और मास्क के लिए IoU के साथ।
Potato में वीडियो मास्क प्रोपेगेशन कहाँ चलता है?
सर्वर पर, SAM 2 के साथ। ब्राउज़र में एक हल्का रास्ता है जो मॉडल के बिना एक मास्क को अगले फ़्रेम पर कॉपी करता है।