कैमरा कैलिब्रेशन और 2D सत्यापन
हर 3D क्यूबॉइड को हर कैलिब्रेटेड कैमरा छवि में प्रोजेक्ट करें, ताकि एनोटेटर 3D में संपादित करें और 2D में सत्यापित करें। इसके बिना 3D लेबलिंग में कोई फ़ीडबैक लूप क्यों नहीं होता।
पॉइंट क्लाउड में 3D बॉक्स बनाएँ और देखें कि वह उस तस्वीर में ऑब्जेक्ट पर कैसे बैठता है जिसने उसे देखा। प्रति आइटम दिया गया कैमरा कैलिब्रेशन हर क्यूबॉइड को हर कैमरा व्यू में प्रोजेक्ट करता है, और बॉक्स के हिलते ही उसे दोबारा बनाता है।
annotation_schemes:
- annotation_type: spatial_annotation
name: objects
description: "Label each object in the point cloud"
source_field: point_cloud
calibration_field: calibration # the item field holding the rig
tools: [cuboid_3d]
labels:
- {name: car, color: "#FF6B6B"}चलने योग्य उदाहरण: examples/spatial/kitti-cuboids/।
यह सुनने से ज़्यादा मायने क्यों रखता है
40 मीटर पर खड़ी कार कुछ दर्जन lidar रिटर्न होती है। बॉक्स कसा है या नहीं, लंबाई सही है या नहीं, और रोटेशन सही है या नहीं, इन सबका जवाब अकेले क्लाउड से लगभग असंभव है, और कैमरा छवि में साफ़ दिखता है।
इसलिए एनोटेटर 3D में संपादित करता है और 2D में सत्यापित करता है। व्यूपोर्ट के नीचे के पैनल हर कैमरे का व्यू दिखाते हैं जिन पर बॉक्स प्रोजेक्ट हुए हैं।
इसके बिना 3D लेबलिंग में कोई फ़ीडबैक लूप नहीं होता। ऑर्बिट कैमरे से सही दिखने वाला बॉक्स व्यू अक्ष के साथ कई मीटर दूर हो सकता है, और 3D व्यू में कुछ भी यह नहीं बताता।
गड़बड़ी फ़्रेमों में होती है
कैलिब्रेशन ट्रांसफ़ॉर्म की एक कड़ी है, और हर कड़ी चुपचाप गलत होने का मौका है:
- रेफ़रेंस फ़्रेम बनाम कैमरा फ़्रेम। जहाँ रेक्टिफ़ाइड रेफ़रेंस फ़्रेम चाहिए वहाँ किसी ख़ास कैमरे का ट्रांसफ़ॉर्म इस्तेमाल करने से हर बॉक्स उस कैमरे की स्टीरियो बेसलाइन के बराबर खिसक जाता है। कुछ सेंटीमीटर, व्यवस्थित, और एनोटेटर की लापरवाही समझ लेना आसान।
- लोकेशन की परिपाटियाँ। KITTI का 3D लोकेशन बॉक्स की निचली सतह का मध्यबिंदु है। इसे केंद्र पढ़ने पर हर ऑब्जेक्ट अपनी आधी ऊँचाई के बराबर ज़मीन के नीचे चला जाता है।
- आयामों का क्रम और अक्ष-निर्धारण। KITTI के आयाम
h w lहैं, और बॉक्स के अपने फ़्रेम में लंबाई X के साथ, ऊँचाई Y के साथ नीचे की ओर, और चौड़ाई Z के साथ चलती है। यह मान लेना कि लंबाई कैमरे के आगे वाले अक्ष के साथ चलती है, जो स्वाभाविक चुनाव लगता है, ठीक 90° घूमा हुआ बॉक्स बनाता है।
यह आख़िरी मामला शिक्षाप्रद है: राउंड-ट्रिप टेस्ट इसे नहीं पकड़ सकता, क्योंकि उलटा रूपांतरण वही मान्यता बनाता है और दोनों आपस में सहमत हो जाते हैं। केवल devkit के अपने कोने के सूत्र से तुलना इसे पकड़ती है, और ठीक इसी के लिए एक टेस्ट है।