एनोटेशन दिशानिर्देश लिखना
ऐसी एनोटेशन codebook कैसे लिखें जिससे लेबल एक जैसे आएँ, साफ़ परिभाषाएँ, हल किए हुए उदाहरण, किनारे के मामलों के नियम, और pilot-और-सुधार का चक्र।
एनोटेशन दिशानिर्देश (यानी “codebook”) वह नियम-पुस्तिका है जिस पर एनोटेटर चलते हैं। लेबल की गुणवत्ता सबसे ज़्यादा इस बात से तय होती है कि दिशानिर्देश पढ़कर दो सावधान लोग एक ही लेबल चुनते हैं या नहीं, इससे नहीं कि दिशानिर्देश कितने विस्तृत हैं। अच्छे उदाहरणों वाली छोटी और कसी हुई codebook लंबी-चौड़ी मगर धुँधली codebook से बेहतर काम करती है।
इसका नाता समाज विज्ञान के content analysis से है, जहाँ codebook बनाने पर दशकों से काम हुआ है, और आख़िरकार आपकी inter-rater reliability इसी से तय होती है।
अच्छी codebook में क्या होता है
- हर लेबल की एक वाक्य की परिभाषा, साथ में एक पंक्ति इस बारे में कि वह लेबल क्या नहीं है। नकारात्मक परिभाषाएँ सबसे आम असहमतियों को पहले ही रोक देती हैं।
- हल किए हुए उदाहरण, जिनमें किनारे वाले मामले भी हों। गढ़े हुए उदाहरणों से बेहतर आपके अपने डेटा के असली आइटम हैं।
- निर्णायक नियम। दो लेबल लागू हो सकते हों तो बता दीजिए कि कौन-सा जीतेगा। एकरूपता यहीं बनती या बिगड़ती है।
- “संदेह हो तो” वाला डिफ़ॉल्ट और निकलने का रास्ता (“कह नहीं सकते” जैसा विकल्प), ताकि एनोटेटर चुपचाप अंदाज़ा न लगाएँ।
नियम वहीं रखिए जहाँ एनोटेटर उन्हें देखें
Potato निर्देश और हर लेबल के tooltip सीधे नियंत्रणों के बग़ल में दिखा सकता है, ताकि दिशानिर्देश किसी अलग दस्तावेज़ में पड़ा न रहे बल्कि फ़ैसले की जगह पर मौजूद हो:
annotation_schemes:
- annotation_type: radio
name: toxicity
description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
labels: [Toxic, Not toxic, Can't tell]“Can't tell” वाला विकल्प मायने रखता है: यह सचमुच की अस्पष्टता को मजबूरी में लगाए गए अंदाज़ों से अलग कर देता है, जिससे आपके सहमति के आँकड़े ईमानदार बने रहते हैं।
पहले pilot, फिर सुधार
दिशानिर्देश पहली बार में कभी ठीक नहीं बनते। एक छोटा pilot चलाइए, हर उस आइटम को देखिए जहाँ एनोटेटर असहमत रहे, और तय कीजिए कि गड़बड़ी दिशानिर्देश में अस्पष्टता की थी या आइटम सचमुच दो-अर्थी था। दिशानिर्देश ठीक कीजिए और फिर से pilot चलाइए। दो या तीन दौर में लेबल का समूह आम तौर पर टिक जाता है।
Potato के gold standard और attention check से आप सुलझ चुके मामलों को जाँच के रूप में दर्ज कर सकते हैं, ताकि आगे आने वाले एनोटेटर भी उसी तरह calibrated रहें।