Skip to content
Guides7 min read

3D ऑब्जेक्ट, समय सेगमेंट और एजेंट ट्रेस के लिए इंटर-एनोटेटर सहमति

संरचित एनोटेशन को लेबल नामों तक सिमटाने से हर एनोटेटर सहमत दिखता है। 3D बॉक्स और सेगमेंट को IoU से मिलाइए, और एजेंट ट्रेस को एक-एक चरण पर आँकिए।

Potato Team

संरचित एनोटेशन पर सहमति मापने के लिए, खुद संरचनाओं की तुलना कीजिए। हर एनोटेटर के 3D बॉक्स या समय सेगमेंट को दूसरे के बॉक्स या सेगमेंट से IoU के आधार पर मिलाइए, बिना जोड़ी वाले ऑब्जेक्ट को असहमति गिनिए, और एजेंट ट्रेस को एक-एक चरण पर आँकिए, ताकि हर चरण kappa या alpha के लिए एक इकाई बने।

जब हर आइटम को एक लेबल मिलता है, तब इंटर-एनोटेटर सहमति को परिभाषित करना आसान है। आज के कई काम किसी आइटम को इसके बजाय चीज़ों का एक समूह देते हैं, जैसे किसी lidar स्वीप में कारों के चारों ओर क्यूबॉइड, यह दिखाने वाले सेगमेंट कि हर वक्ता कब बोलता है, या किसी एजेंट के उठाए हर कदम पर एक फ़ैसला। प्रति आइटम एक लेबल के लिए बने माप को इन संरचनाओं को किसी ऐसी चीज़ तक सिमटाना पड़ता है जिसकी वह तुलना कर सके, और सबसे आसान सिमटाव, लेबल नामों तक, एनोटेटरों की हर जोड़ी को सहमत बना देता है।

लेबल नामों से पूर्ण सहमति

यह सिमटाव लेबल नाम रखता है और बाकी सब छोड़ देता है। जिन दो एनोटेटरों ने किसी lidar स्वीप पर "car" लेबल वाले तीन-तीन बॉक्स बनाए, दोनों "car" तक सिमट जाते हैं, और वे पूरी तरह सहमत होते हैं, भले ही उनके बॉक्स अलग-अलग जगहों पर हों।

Potato का प्रति-स्कीमा सहमति रूट, /admin/api/agreement, संस्करण 2.11 से पहले संरचित स्कीमा के लिए यही करता था, और एजेंट ट्रेस, सेगमेंट, क्षेत्रों और 3D ऑब्जेक्ट पर एनोटेटरों की हर जोड़ी पूर्ण सहमति में निकलती थी। किसी कठिन स्थानिक या कालिक काम पर पूर्ण स्कोर का आम तौर पर मतलब होता है कि माप ने संरचना खो दी। 2.11 में वह रूट अब संरचित स्कीमा की रिपोर्ट नहीं देता और /admin/iaa पर पूरी सहमति रिपोर्ट की ओर इशारा करता है, जो संरचनाओं की तुलना करती है।

3D ऑब्जेक्ट और समय सेगमेंट को मिलाना

ऑब्जेक्टों के समूह पर सहमति मिलान से शुरू होती है। एक एनोटेटर के हर ऑब्जेक्ट की जोड़ी दूसरे के अधिकतम एक ऑब्जेक्ट से, एक ओवरलैप माप के आधार पर, बनाई जाती है, और कोई जोड़ी एक ही ऑब्जेक्ट तभी गिनी जाती है जब वह किसी थ्रेशोल्ड से ऊपर हो। समय सेगमेंट टेम्पोरल IoU (intersection over union) का उपयोग करते हैं, यानी ओवरलैप की लंबाई को यूनियन की लंबाई से भाग देना, और 3D ऑब्जेक्ट 3D IoU का, यानी आयतनों पर वही अनुपात। Potato सेगमेंट को 0.5 पर और 3D ऑब्जेक्ट को 0.25 पर मिलाता है, क्योंकि तीन आयामों में छोटा-सा खिसकाव दो आयामों की तुलना में ज़्यादा IoU घटाता है। जो बॉक्स हर अक्ष पर अपने आकार के 10% जितना खिसका हो, उसका 2D IoU लगभग 0.68 रहता है और 3D IoU केवल लगभग 0.57।

मिलान के बाद, हर मिली हुई जोड़ी अपना IoU जोड़ती है, अलग-अलग लेबल वाली मिली हुई जोड़ी अपने IoU का आधा जोड़ती है, और किसी भी तरफ़ का हर बिना जोड़ी वाला ऑब्जेक्ट शून्य जोड़ता है। आइटम की सहमति कुल योग को ऑब्जेक्टों की संख्या से भाग देकर मिलती है, जिसमें मिली हुई जोड़ियाँ एक बार गिनी जाती हैं। इसलिए आधे ऑब्जेक्ट छोड़ देने वाले एनोटेटर का स्कोर कम आता है, भले ही उसके चिह्नित ऑब्जेक्ट एकदम सही हों, और दो एनोटेटर जो दोनों कुछ भी चिह्नित नहीं करते, सहमत होते हैं।

/admin/iaa 3D ऑब्जेक्ट (spatial_annotation) के लिए और temporal_grounding व tiered_annotation के तहत समय सेगमेंट के लिए हर स्कीमा पर दो संख्याएँ बताता है:

  • mean_agreement, दो या ज़्यादा एनोटेटरों वाले हर आइटम पर एनोटेटरों की हर जोड़ी के उस आइटम-स्तरीय स्कोर का औसत; और
  • mean_object_count_diff, इस बात का औसत अंतर कि दोनों एनोटेटरों ने कितने ऑब्जेक्ट चिह्नित किए।

गिनती का अंतर उन दो तरीकों को अलग करता है जिनसे कोई समूह असहमत हो सकता है। शून्य के आसपास गिनती अंतर के साथ कम सहमति का मतलब है कि लोगों को वही ऑब्जेक्ट मिले और उन्होंने उन्हें अलग-अलग जगह रखा। बड़े गिनती अंतर का मतलब है कि एक एनोटेटर ऐसे ऑब्जेक्ट ढूँढता है जो दूसरा छोड़ देता है, और यह इस ओर इशारा करता है कि दिशानिर्देश किसे ऑब्जेक्ट मानते हैं।

दोनों में से कोई भी संख्या संयोग-संशोधित नहीं है। स्थानिक सहमति के लिए संयोग आधार-रेखा को इस बात का मॉडल चाहिए कि जब एनोटेटर यादृच्छिक रूप से असहमत हों तो ऑब्जेक्ट कहाँ पड़ते हैं, और Potato ऐसा मॉडल केवल 2D बॉक्स और पॉलीगॉन के लिए बनाता है, जैसा ज्यामिति पर सहमति में बताया गया है। समय सेगमेंट के लिए यही तरीका विफल होता है, क्योंकि जब क्लिप की लंबाई अलग-अलग हो तो किसी दूसरी क्लिप का सेगमेंट एक सार्थक यादृच्छिक तुलना नहीं है, जिसे समय पर सहमति समझाता है। इन संख्याओं की तुलना एक ही काम के पायलटों के बीच करें, जहाँ किसी ऑब्जेक्ट को रखने की कठिनाई स्थिर रहती है।

2.11 में एक किनारे का मामला बदला। दो एक जैसे शून्य-लंबाई वाले सेगमेंट, यानी एक ऐसा क्षण जिसे दोनों एनोटेटरों ने एक ही समय पर चिह्नित किया, का IoU 0 बटा 0 होता है। पहले उन्हें पूर्ण असहमति का स्कोर मिलता था, और अब वे सहमत गिने जाते हैं।

एजेंट ट्रेस के लिए चरण-स्तरीय सहमति

एजेंट ट्रेस चरणों का एक क्रम है, और ट्रेस स्कीमा (process_reward, trajectory_eval, tool_call_review, failure_attribution, gui_trajectory) हर चरण पर एक लेबल माँगती हैं। किसी ट्रेस को उसके लेबलों के समूह से आँकना लेबल-नाम वाली समस्या दोहराता है, और उसे एक समग्र फ़ैसले से आँकना चरणों को फेंक देता है।

/admin/iaa हर ट्रेस के हर चरण को उसकी अपनी इकाई मानता है। ट्रेस 12 के चरण 4 को रेट करने वाले दो एनोटेटर एक जोड़ी बनाते हैं, और ऐसी सभी इकाइयों पर नॉमिनल Krippendorff's alpha और Cohen's kappa निकाले जाते हैं, साथ में प्रतिशत सहमति। ऊपर के समूह मापों के विपरीत, दोनों गुणांक संयोग-संशोधित हैं, इसलिए process-reward काम पर 0.6 का चरण-स्तरीय alpha उसी पैमाने पर पढ़ा जाता है जिस पर किसी भी श्रेणीगत काम का alpha। लेबलिंग इंजन जब किसी LLM जज को किसी व्यक्ति के मुकाबले आँकता है, तो चरण लेबलों को इसी तरह पार्स करता है, और उसका स्कोर साझा चरणों का वह हिस्सा है जिन पर दोनों ने अलग-अलग लेबल लगाए।

हर आइटम पर दो एनोटेटर लगाना

/admin/iaa को किसी कॉन्फ़िगरेशन की ज़रूरत नहीं है। यह हर उस आइटम को आँकता है जिसका उत्तर दो या ज़्यादा एनोटेटरों ने दिया है, इसलिए असली काम असाइनमेंट में है। हर आइटम को दो एनोटेटर देने के लिए, प्रति आइटम दो एनोटेटर सेट करें और सबसे कम एनोटेट हुए आइटम पहले बाँटें:

yaml
assignment_strategy: least_annotated
num_annotators_per_item: 2

प्रति आइटम दो एनोटेटर वह न्यूनतम है जो रिपोर्ट को चाहिए। छोटे ओवरलैप सेट पर, एक अकेला असामान्य ट्रेस या lidar स्वीप औसत को इतना खिसका सकता है कि आपका निष्कर्ष बदल जाए, इसलिए ओवरलैप की योजना एनोटेशन शुरू होने से पहले बनाएँ, बाद में नहीं। पुराना agreement_metrics ब्लॉक डैशबोर्ड के प्रति-स्कीमा आँकड़े कॉन्फ़िगर करता है, जो 2.11 से इन स्कीमा को छोड़ देते हैं और /admin/iaa की ओर इशारा करते हैं।

पायलट दौरों में सहमति और गिनती अंतर

mean_agreement को गिनती अंतर और जोड़ियों की उस संख्या के साथ पढ़ें जो /admin/iaa उसके बगल में बताता है। पायलट दौरों के बीच गिरावट, जब गिनती अंतर स्थिर हो, प्लेसमेंट की ओर इशारा करती है, इसलिए बॉक्स की कसावट या सेगमेंट की सीमाओं पर दिशानिर्देशों में सुधार चाहिए। गिनती अंतर में बढ़ोतरी इस ओर इशारा करती है कि ऑब्जेक्ट या घटना किसे माना जाता है। एजेंट ट्रेस के लिए, चरण-स्तरीय alpha की तुलना उस alpha से करें जो वही एनोटेटर उसी अध्ययन में किसी सरल श्रेणीगत सवाल पर पाते हैं, जिससे कठिन चरण लेबलों को अविश्वसनीय एनोटेटरों से अलग करने में मदद मिलती है।

आगे पढ़ें