सामग्री पर जाएं

3D पॉइंट क्लाउड को एनोटेट कैसे करें

lidar और फ़ोटोग्रामेट्री डेटा को ओरिएंटेड 3D क्यूबॉइड से लेबल करें। फ़ॉर्मैट, लेवल ऑफ़ डिटेल, रोटेशन क्वाटर्नियन क्यों होना चाहिए, और 3D बॉक्स पर सहमति कैसे मापें।

पॉइंट क्लाउड को एनोटेट करने का मतलब है विरल और असमान रूप से नमूना किए गए डेटा पर ओरिएंटेड 3D बॉक्स रखना, जहाँ कोई दूर की वस्तु कुछ दर्जन रिटर्न ही हो सकती है। कठिन हिस्सा ड्रॉइंग नहीं है। कठिन हिस्से हैं व्यूअर को इंटरैक्टिव बनाए रखना, एनोटेटर को अपना काम जाँचने का तरीका देना, और ऐसा रोटेशन निरूपण चुनना जो राउंड ट्रिप में सुरक्षित रहे।

फ़ॉर्मैट

फ़ॉर्मैटटिप्पणी
KITTI velodyne .binकच्चे float32 x, y, z, intensity। कोई हेडर नहीं होता, इसलिए लेआउट मान लिया जाता है
PCDascii, binary, और binary_compressed (LZF)
PLYascii और दोनों बाइनरी endianness
LAS1.0 से 1.4
.xyz / .ptsप्रति पंक्ति x y z [r g b]
LAZसंपीड़ित LAS। पहले बदलें: laszip -i scan.laz -o scan.las

पार्सिंग ब्राउज़र में नहीं, सर्वर-साइड करें। चार फ़ॉर्मैट का मतलब है endianness और रिकॉर्ड-लेआउट की चार तरह की गड़बड़ियाँ, और हर पेज लोड पर बीस लाख बिंदुओं वाले स्कैन को दोबारा पार्स करना।

इसे इंटरैक्टिव बनाए रखना

कच्चे स्कैन को सीधे रेंडर करना बहुत भारी है। दो चीज़ें इसे चलने लायक बनाती हैं:

  • Octree लेवल ऑफ़ डिटेल। बिंदु क्षेत्र के और कैमरे से दूरी के आधार पर लोड होते हैं। Potato में यह डिफ़ॉल्ट रूप से चालू है (lod: true)।
  • डेसिमेशन सीमा (max_points)। इसे व्यूअर की सेटिंग मानें, डेटा की सेटिंग नहीं।

यह भेद एक बार नुकसान कर चुका है और दोहराने लायक है। प्रति-बिंदु सेगमेंट लेबल पहले डेसिमेट किए गए क्लाउड के इंडेक्स के रूप में सहेजे जाते थे, इसलिए max_points घटाने से मौजूदा लेबल चुपचाप दूसरे बिंदुओं की ओर इशारा करने लगते थे। इंडेक्स हमेशा स्रोत फ़ाइल को संदर्भित करने चाहिए।

एनोटेटर को 2D जाँच दें

40 मीटर पर खड़ी कार कुछ दर्जन रिटर्न होती है। बॉक्स कसा है या नहीं, लंबाई सही है या नहीं, और घुमाव सही है या नहीं, इसका जवाब अकेले क्लाउड से लगभग असंभव है, जबकि कैमरा छवि में यह साफ़ दिखता है।

इसलिए: 3D में संपादित करें, 2D में जाँचें। हर आइटम के लिए कैलिब्रेशन दें और हर बॉक्स को हर कैमरा व्यू में प्रोजेक्ट करें। इसके बिना 3D लेबलिंग में कोई फ़ीडबैक लूप नहीं होता — ऑर्बिट कैमरे से सही दिखने वाला बॉक्स व्यू अक्ष के साथ कई मीटर दूर हो सकता है और कुछ भी इसकी सूचना नहीं देता।

ऑर्थोग्राफ़िक स्लैब पैनल दूसरा आधा हिस्सा देते हैं: सटीक समायोजन के लिए तीन अक्ष-संरेखित व्यू, जो पूरी तरह कीबोर्ड से चलते हैं।

रोटेशन को क्वाटर्नियन के रूप में सहेजें

ज़्यादातर फ़ॉर्मैट एक अकेला yaw कोण सहेजते हैं। आंतरिक रूप से पूरा क्वाटर्नियन सहेजना तब तक ज़रूरत से ज़्यादा इंजीनियरिंग लगता है, जब तक किसी राउंड ट्रिप में कुछ खो नहीं जाता।

इससे KITTI इंपोर्ट बिना हानि के होता है, जिसमें लगभग 0.85° का कैमरा-से-lidar माउंटिंग झुकाव भी शामिल है, जिसे केवल-yaw फ़ील्ड बिना कुछ कहे छोड़ देता है। KITTI में वापस निर्यात में pitch और roll फिर भी छोड़ने पड़ते हैं — सही व्यवहार यह बताना है कि अभिविन्यास का कितना हिस्सा छोड़ा गया, बॉक्स को चुपचाप समतल कर देना नहीं।

इस अंतर को स्टोरेज परत में चुपचाप पार करने के बजाय फ़ॉर्मैट-विशिष्ट कोड में, साफ़ तौर पर, पार करें।

गड़बड़ी फ़्रेमों में होती है

तीन परिपाटियाँ, जिन्हें गलत करना आसान है और जिनकी गलती नोटिस करना कठिन:

  • रेफ़रेंस फ़्रेम बनाम कैमरा फ़्रेम। जहाँ रेक्टिफ़ाइड रेफ़रेंस फ़्रेम चाहिए वहाँ किसी कैमरे का ट्रांसफ़ॉर्म इस्तेमाल करने से हर बॉक्स उस कैमरे की स्टीरियो बेसलाइन के बराबर खिसक जाता है। यह व्यवस्थित होता है, कुछ सेंटीमीटर का, और आसानी से एनोटेटर की लापरवाही समझ लिया जाता है।
  • KITTI में लोकेशन निचली सतह है, केंद्र नहीं। इसे केंद्र पढ़ने पर हर ऑब्जेक्ट अपनी आधी ऊँचाई के बराबर ज़मीन के नीचे चला जाता है।
  • आयामों का क्रम और अक्ष-निर्धारण। राउंड-ट्रिप टेस्ट यहाँ 90° की रोटेशन त्रुटि नहीं पकड़ सकता, क्योंकि उलटा रूपांतरण वही गलत मान्यता बनाता है और दोनों आपस में सहमत हो जाते हैं। केवल रेफ़रेंस इम्प्लीमेंटेशन के अपने कोने के सूत्र से तुलना ही इसे पकड़ती है।

सहमति मापना

सटीक घूर्णित 3D IoU का उपयोग करें। अक्ष-संरेखित सन्निकटन समतल ऑटोमोटिव डेटा के लिए ठीक है और ड्रोन, हाथ में पकड़े और इनडोर स्कैन के लिए गलत, जहाँ वह ऐसी असहमति दिखाता है जो एनोटेटरों की नहीं, माप की देन है।

2D की तरह ही सवाल को बाँटें: क्या एनोटेटरों को वही ऑब्जेक्ट मिले, क्या उन्होंने उन्हें वही लेबल दिया, और क्या उन्होंने उन्हें वहीं रखा। देखें बाउंडिंग बॉक्स पर सहमति मापना।

कॉन्फ़िगरेशन

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put a 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d, point_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}
    color_mode: height
    lod: true
    max_points: 400000
    fit_box_height: true

काम करता उदाहरण: KITTI शोकेस डिज़ाइन।

जब कोई दूसरा टूल सही जवाब हो

Segments.ai, Kognic, Deepen AI, Supervisely और Xtreme1/BasicAI विशेषज्ञ टूल हैं, और प्रोडक्शन ऑटोनॉमस-ड्राइविंग पाइपलाइनों के लिए वे आगे हैं: ट्रैक प्रोपेगेशन वाले सीक्वेंस वर्कफ़्लो, रडार और मल्टी-LiDAR, ऑटो-फ़िट क्यूबॉइड मॉडल, और Deepen के मामले में पूरा targetless कैलिब्रेशन प्रोडक्ट। Supervisely और Xtreme1 सेल्फ़-होस्ट किए जा सकते हैं और Supervisely कहीं बड़े क्लाउड संभालता है।

Potato पॉइंट-क्लाउड सीक्वेंस को कीफ़्रेम से लेबल करता है और हर बॉक्स को उनके बीच इंटरपोलेट करता है, और स्वीप के आर-पार ट्रैक प्रोपेगेट नहीं करता। 3D के लिए इसे तब चुनें जब आपको स्थानिक लेबलों पर विश्वसनीयता आँकड़े चाहिए, या जब 3D किसी मल्टीमॉडल अध्ययन का एक हिस्सा हो।

आगे पढ़ें

उदाहरण डिज़ाइन

हर डिज़ाइन एक चालू Potato कॉन्फ़िगरेशन है, जिसे आप डाउनलोड करके चला सकते हैं।