Gold Standard और Attention Check

Gold standard और attention check ऐसे आइटम होते हैं जिनका सही जवाब आपको पहले से पता है। इन्हें धारा में मिला देने से हर एनोटेटर की सटीकता नापी जा सकती है और वे लोग पकड़ में आ जाते हैं जो जल्दबाज़ी कर रहे हैं, उलझे हुए हैं, या कार्य के साथ चालाकी कर रहे हैं। एनोटेशन गुणवत्ता नियंत्रण की पहली कतार यही है, ख़ासकर crowdsourcing में।

Gold standard

Gold-standard आइटम वह है जिसका जवाब किसी विशेषज्ञ ने जाँच रखा है। इन्हें बीच-बीच में डालिए और हर एनोटेटर के जवाब की तुलना ज्ञात जवाब से कीजिए, इससे प्रति व्यक्ति एक सटीकता स्कोर मिल जाता है। Gold आइटम चुपचाप चल सकते हैं (सिर्फ़ स्कोर के लिए) या तुरंत फ़ीडबैक दे सकते हैं (प्रशिक्षण के लिए)।

gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  mode: mixed       # silent scoring + occasional feedback
  frequency: 20     # roughly one gold item per 20

अपना gold समूह उन्हीं साफ़ मामलों से बनाइए जिन्हें आपके दिशानिर्देशों ने तय कर दिया है। सचमुच अस्पष्ट आइटम को gold मत बनाइए, वरना अच्छे एनोटेटर को उनके वाजिब चुनाव की सज़ा मिलेगी।

Attention check

Attention check वह आइटम है जिसका जवाब निर्देश में ही छिपा और ज़ाहिर होता है ("Select 'Disagree' for this item")। इससे वे एनोटेटर पकड़े जाते हैं जो पढ़ ही नहीं रहे। Potato संदिग्ध समय को भी चिह्नित कर सकता है, यानी ऐसे जवाब जो इतनी जल्दी जमा हुए कि कोई इंसान उतने में पढ़ भी नहीं सकता।

attention_checks:
  enabled: true
  items_file: "attention_checks.json"
  frequency: 10

संकेत का इस्तेमाल

• पास होने की सटीकता सीमा तय करें। उससे नीचे रहने वाले एनोटेटर को दोबारा प्रशिक्षण दिया जा सकता है या बाहर किया जा सकता है।
• प्रशिक्षण चरण के साथ मिलाकर चलाएँ। असली काम शुरू होने से पहले gold आइटम पर पास होना ज़रूरी रखें।
• ज़रूरत से ज़्यादा जाँच न करें। बहुत सारी जाँचें अच्छे एनोटेटर को खिझाती हैं और लागत बढ़ाती हैं। थोड़ी और लगातार दर काफ़ी है।

एनोटेटर की क्षमता आँकने और असहमति से सांख्यिकीय ढंग से लेबल निकालने के लिए निर्णय और असहमति तथा Potato का MACE समर्थन देखें।

आगे पढ़ें

• गुणवत्ता नियंत्रण फ़ीचर संदर्भ
• इंटर-एनोटेटर सहमति
• Prolific और MTurk पर अध्ययन चलाना