Truth Serum

v2.7.0 में नया

बहुमत ठीक वहीं नाकाम होता है जहाँ एनोटेशन कठिन होता है: जब एक आश्वस्त भीड़ ग़लत होती है और जानकार अल्पमत सही। Truth Serum हर लेबल के बाद एक सूक्ष्म सवाल जोड़ देता है।

आपने Sarcastic चुना। बाक़ी एनोटेटरों में से कितने प्रतिशत आपके जैसा ही लेबल चुनेंगे?

एक स्लाइडर, एक क्लिक। ये अनुमान surprisingly popular सिद्धांत को शक्ति देते हैं (Prelec 2004; Prelec, Seung & McCoy 2017, Nature): जिस लेबल की असली लोकप्रियता उसकी अनुमानित लोकप्रियता से सबसे ज़्यादा आगे निकल जाती है, वही सच का सबसे अच्छा उपलब्ध अनुमान है, और इसकी गणना के लिए कोई गोल्ड लेबल नहीं चाहिए।

इसके पीछे की सहज समझ यह है कि जिन लोगों की सही राय अल्पमत में होती है, वे आम तौर पर जानते हैं कि वे अल्पमत में हैं, इसलिए उनका जवाब किसी के अनुमान से ज़्यादा लोकप्रिय निकलता है।

जहाँ तक हमें पता है, पीयर-प्रेडिक्शन स्कोरिंग देने वाला Potato पहला एनोटेशन टूल है।

आपको क्या मिलता है

1. आइटम पर ऐसे निर्णय जो कठिन आइटमों पर बहुमत से बेहतर होते हैं। डैशबोर्ड की “जहाँ भीड़ के ग़लत होने की संभावना है” क़तार हर उस इंस्टेंस को सूचीबद्ध करती है जिसका surprisingly-popular लेबल उसके बहुमत लेबल से अलग है। इन्हें पहले देखें, या इन्हें अधिनिर्णय की तरफ़ भेज दें।
2. एनोटेटर के अंशांकन स्कोर। हर एनोटेटर ने सहमति का जो अनुमान लगाया था, वह साथियों से मिली असली सहमति से कितनी दूर बैठता है। ज़रूरत से ज़्यादा आश्वस्त और ग़लत अंशांकित एनोटेटर बिना किसी गोल्ड सवाल के सामने आ जाते हैं।
3. SP-संरेखण। हर एनोटेटर का लेबल कितनी बार surprisingly-popular निर्णय से मेल खाता है, जो इस बात का सरोगेट है कि वे महज़ सहमत होने वाले नहीं बल्कि जानकार हैं।

कॉन्फ़िगरेशन

truth_serum:
  enabled: true
  schema: sarcasm            # scheme to collect predictions for (default: first radio)
  min_annotators: 3          # predictions per item before a verdict is computed
  # question: "What percentage of other annotators will choose the same label as you?"

पद्धति संबंधी टिप्पणियाँ

Truth Serum को किसी पेपर में उद्धृत करने से पहले इन्हें पढ़ लें।

• यह सरलीकृत own-answer-prediction रूपांतर है। हर एनोटेटर सिर्फ़ अपने चुने हुए लेबल की लोकप्रियता का अनुमान लगाता है, सभी लेबलों पर पूरा वितरण नहीं देता। किसी लेबल की अनुमानित लोकप्रियता उसके समर्थकों के अनुमानों का माध्य है, उसका आश्चर्य actual % − predicted % है, और SP निर्णय वह लेबल है जिस पर वोट पड़े हों और जो सबसे ज़्यादा आश्चर्यजनक हो।
• निर्णय तभी निकाले जाते हैं जब min_annotators या उससे ज़्यादा अनुमान हों। छोटे N वाले निर्णय शोर भरे होते हैं; 3 एक न्यूनतम सीमा है, सिफ़ारिश नहीं, और 5 या उससे ज़्यादा बेहतर है।
• अंशांकन त्रुटि हर अनुमान की तुलना उस आइटम पर बाक़ी एनोटेटरों के बीच की सहमति से करती है, और उस एनोटेटर को खुद इसमें से बाहर रखती है।
• एनोटेटर अपना जवाब बदल सकते हैं। प्रति इंस्टेंस सबसे नई (लेबल, अनुमान) जोड़ी मानी जाती है।

डेटा और API

अनुमान {output_annotation_dir}/truth_serum/predictions.jsonl में सहेजे जाते हैं (केवल जोड़ा जाता है; प्रति एनोटेटर और इंस्टेंस सबसे नया रिकॉर्ड माना जाता है)।

आगे पढ़ें

• साइकोमेट्रिक्स — पोस्टीरियर और विश्वास अंतरालों वाले लेबल
• बाउंड्री लैब — काउंटरफैक्चुअल प्रोब से गुणवत्ता नियंत्रण
• MACE — दक्षता का अनुमान, जो Truth Serum के अंशांकन दृश्य के साथ जुड़ जाता है
• भीड़ के लेबल जोड़ना
• स्रोत दस्तावेज़