कई वस्तुओं की ट्रैकिंग का एनोटेशन

कई वस्तुओं की ट्रैकिंग (multi-object tracking, MOT) वाला एनोटेशन निगरानी, स्वचालित गाड़ियों और खेल-विश्लेषण जैसे कामों के लिए प्रशिक्षण डेटा तैयार करता है। यह पोस्ट MOT एनोटेशन के पीछे के बुनियादी विचारों पर चलती है और बताती है कि Potato की मौजूदा वीडियो सुविधाएँ एक सादे ट्रैकिंग कार्यप्रवाह में कहाँ तक ले जाती हैं।

आगे पढ़ने से पहले एक बात साफ़ कर दें: Potato में अभी MOT के लिए अलग से औज़ार नहीं हैं। अगर आपको आज ही अपने आप ID सँभालने और interpolation की ज़रूरत है, तो शायद कोई विशेष टूल ही ठीक रहेगा। लेकिन छोटे कामों के लिए नीचे बताया गया हाथ से करने वाला तरीक़ा चल जाता है।

MOT एनोटेशन मुश्किल क्यों है

• एक फ़्रेम से दूसरे फ़्रेम तक वस्तुओं की ID एक जैसी बनाए रखना
• जो वस्तुएँ occlusion में छिप जाती हैं और फिर लौट आती हैं, उन्हें सँभालना
• भीड़ भरे दृश्यों में वस्तुओं का पीछा करना
• ID के आपस में बदल जाने और जुड़ जाने को सुलझाना

Potato का वीडियो एनोटेशन अभी क्या करता है

Potato video_annotation प्रकार के ज़रिए बुनियादी वीडियो एनोटेशन करता है। MOT से जुड़ी सहूलियतें (अपने आप ID सँभालना, interpolation, occlusion का प्रबंधन) अभी नहीं आई हैं, फिर भी आप एक बुनियादी वीडियो लेबलिंग कार्यप्रवाह बना सकते हैं।

बुनियादी वीडियो एनोटेशन सेटअप

annotation_task_name: "Video Object Labeling"
 
data_files:
  - data/videos.json
 
annotation_schemes:
  - annotation_type: video_annotation
    name: objects
    description: "Label objects in video frames"
    labels:
      - name: person
      - name: vehicle
      - name: cyclist

नमूना डेटा प्रारूप

आपकी data/videos.json फ़ाइल में वीडियो के पथ वाली प्रविष्टियाँ रहती हैं:

[
  {
    "id": "video_001",
    "video": "/path/to/video.mp4"
  },
  {
    "id": "video_002",
    "video": "/path/to/another_video.mp4"
  }
]

हाथ से ट्रैकिंग

MOT की अलग सुविधाओं के बिना भी आप वस्तुओं को हाथ से ट्रैक कर सकते हैं। इसमें मेहनत ज़्यादा लगती है, पर काम बन जाता है।

एक-एक फ़्रेम करके track बनाना

1. उस फ़्रेम पर जाइए जहाँ वस्तु पहली बार दिखती है
2. वीडियो एनोटेशन इंटरफ़ेस में उसे लेबल कीजिए
3. एनोटेशन में उसे एक तयशुदा पहचान दीजिए, जैसे “person_1”
4. आगे के फ़्रेम पर एक-एक करके बढ़िए और उसी पहचान से उसे लेबल करते रहिए

Occlusion से निपटना

जब कोई वस्तु किसी चीज़ के पीछे छिप जाए:

1. वह आख़िरी फ़्रेम नोट कीजिए जहाँ वह दिख रही थी
2. जब वह लौटे, तो वही पहचान दोबारा इस्तेमाल कीजिए, ताकि track टूटे नहीं
3. occlusion की अवधि अपने एनोटेशन नोट में लिख लीजिए

जिन सुविधाओं पर विचार चल रहा है

इनसे MOT में Potato कहीं बेहतर हो जाएगा, और ये आगे के काम की सूची में हैं:

• अपने आप ID देना, जिसमें नई वस्तुओं के लिए ID अपने आप बढ़ती जाए
• keyframe के बीच track का interpolation, रैखिक या cubic
• दिखने के स्तरों (visible, partial, heavy, not_visible) के साथ occlusion का प्रबंधन
• trajectory का चित्रण, ताकि फ़्रेमों के आर-पार वस्तुओं का रास्ता दिखे
• track प्रबंधन पैनल, जिसमें track ID जोड़े, अलग किए और सँभाले जा सकें
• प्रति-फ़्रेम एट्रिब्यूट, उन गुणों के लिए जो फ़्रेम-दर-फ़्रेम बदलते हैं

इनमें से कोई चीज़ आपके काम की हो, तो Potato टीम से संपर्क कीजिए या ख़ुद वह सुविधा जोड़िए।

हाथ से MOT एनोटेशन करने के सुझाव

1. एक बार में 100 से 200 फ़्रेम के छोटे हिस्सों पर काम कीजिए।
2. “person_001” या “vehicle_023” जैसी साफ़ ID व्यवस्था तय कीजिए और उसी पर टिके रहिए।
3. occlusion और track के बारे में लिए गए फ़ैसले नोट करते चलिए।
4. एक समीक्षा-चक्र चलाइए: हिस्से को पहले आगे की ओर देखिए, फिर पीछे की ओर, ताकि ग़लतियाँ पकड़ में आएँ।
5. बाहरी औज़ारों का सहारा लीजिए। detection मॉडल से पहले ही प्रोसेस कर लेने पर बहुत सारी क्लिक बच जाती हैं।

और कौन से रास्ते हैं

अगर आपको पूरी MOT क्षमता अभी चाहिए, तो कुछ रास्ते ये हैं:

1. मिला-जुला कार्यप्रवाह चलाइए: शुरुआती लेबलिंग Potato में कीजिए, फिर track प्रबंधन के लिए किसी विशेष MOT टूल को सौंप दीजिए।
2. object detector से पूर्व-एनोटेशन करके शुरुआती bounding box बनवाइए, फिर उन्हें Potato में सुधारिए।
3. अपने Potato एनोटेशन निर्यात कीजिए और बाद में उन पर ट्रैकिंग एल्गोरिदम चलाइए।

अगले क़दम

• वीडियो फ़्रेम एनोटेशन के बारे में जानिए
• छवि एनोटेशन की सुविधाएँ देखिए
• गुणवत्ता नियंत्रण के लिए एनोटेटर-सहमति पर पढ़िए

Potato में वीडियो एनोटेशन कैसे काम करता है, इसकी पूरी तस्वीर के लिए स्रोत दस्तावेज़ देखें।

वीडियो एनोटेशन के मौजूदा दस्तावेज़ों के लिए छवि एनोटेशन देखें।