Skip to content

आत्मविश्वास एनोटेशन

Potato में दूसरे एनोटेशन के साथ जोड़कर आत्मविश्वास की रेटिंग जोड़ें, Likert स्केल या स्लाइडर से, ताकि एनोटेटर की निश्चितता दर्ज हो सके।

आत्मविश्वास एनोटेशन योजना एनोटेटरों को यह बताने देती है कि अपने किए हुए किसी दूसरे एनोटेशन पर उन्हें कितना भरोसा है। यह एक आत्मविश्वास स्केल (Likert या स्लाइडर) को किसी लक्ष्य एनोटेशन योजना से जोड़ देती है, जिससे शोधकर्ता सिर्फ़ यह नहीं जान पाते कि एनोटेटर ने क्या चुना, बल्कि यह भी कि वह अपने चुनाव को लेकर कितना आश्वस्त था।

Potato का आत्मविश्वास एनोटेशन, जिसमें भावना लेबल के साथ 5 बिंदु वाला आत्मविश्वास स्केल जुड़ा हैPotato में आत्मविश्वास एनोटेशन

सार

एनोटेशन की गुणवत्ता पर काम करने, अस्पष्ट आइटम पहचानने, और समेकन के समय लेबल को वेट देने के लिए आत्मविश्वास एनोटेशन ज़रूरी है। कॉन्फ़िगर करने पर लक्ष्य एनोटेशन के साथ एक आत्मविश्वास रेटिंग विजेट दिखने लगता है, जो एनोटेटर से पूछता है कि अपने फ़ैसले पर उसे कितना यक़ीन है।

जल्दी शुरुआत

yaml
annotation_schemes:
  - annotation_type: radio
    name: sentiment
    description: What is the sentiment of this text?
    labels: ["Positive", "Negative", "Neutral"]
 
  - annotation_type: confidence
    name: sentiment_confidence
    description: How confident are you in your sentiment label?
    target_schema: sentiment
    scale_type: likert
    scale_points: 5

कॉन्फ़िगरेशन विकल्प

फ़ील्डप्रकारडिफ़ॉल्टविवरण
annotation_typestringज़रूरी"confidence" होना चाहिए
namestringज़रूरीइस योजना का अद्वितीय पहचानकर्ता
descriptionstringज़रूरीएनोटेटरों को दिखाए जाने वाले निर्देश
target_schemastringवैकल्पिकयह आत्मविश्वास रेटिंग जिस एनोटेशन योजना पर लागू होती है उसका नाम
scale_typestring"likert"स्केल का प्रकार: अलग-अलग बिंदुओं के लिए "likert" या सतत मान के लिए "slider"
scale_pointsinteger5Likert स्केल पर कितने बिंदु हों (स्लाइडर में अनदेखा)
labelsarrayवैकल्पिकस्केल बिंदुओं के लिए अपने लेबल (जैसे ["Not confident", "Very confident"])
slider_minintegerस्लाइडर का न्यूनतम मान (सिर्फ़ तब जब scale_type "slider" हो)
slider_maxintegerस्लाइडर का अधिकतम मान (सिर्फ़ तब जब scale_type "slider" हो)
label_requirement.requiredbooleanfalseआगे बढ़ने से पहले आत्मविश्वास रेटिंग भरना ज़रूरी है या नहीं

उदाहरण

Likert आत्मविश्वास स्केल

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: Is this comment toxic?
    labels: ["Toxic", "Not Toxic"]
 
  - annotation_type: confidence
    name: toxicity_confidence
    description: How confident are you in your toxicity judgment?
    target_schema: toxicity
    scale_type: likert
    scale_points: 5
    labels: ["Not at all confident", "Slightly confident", "Moderately confident", "Very confident", "Extremely confident"]

स्लाइडर आत्मविश्वास स्केल

yaml
annotation_schemes:
  - annotation_type: radio
    name: stance
    description: What stance does the author take?
    labels: ["Support", "Oppose", "Neutral"]
 
  - annotation_type: confidence
    name: stance_confidence
    description: Rate your confidence from 0 (guessing) to 100 (certain).
    target_schema: stance
    scale_type: slider

ज़रूरी आत्मविश्वास रेटिंग

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: Select all topics that apply.
    labels: ["Politics", "Economy", "Health", "Education"]
 
  - annotation_type: confidence
    name: topics_confidence
    description: How confident are you in your topic selections?
    target_schema: topics
    scale_type: likert
    scale_points: 3
    labels: ["Low", "Medium", "High"]

बिना लक्ष्य के अकेला आत्मविश्वास

आत्मविश्वास एनोटेशन बिना किसी लक्ष्य योजना के, सामान्य आत्म-आकलन के लिए भी इस्तेमाल हो सकता है:

yaml
annotation_schemes:
  - annotation_type: confidence
    name: task_familiarity
    description: How familiar are you with this topic area?
    scale_type: likert
    scale_points: 5
    labels: ["Not familiar", "Slightly familiar", "Somewhat familiar", "Very familiar", "Expert"]

आउटपुट फ़ॉर्मैट

json
{
  "toxicity_confidence": {
    "labels": {
      "confidence": 4
    }
  }
}

Likert स्केल में मान 1 से scale_points तक जाते हैं। स्लाइडर में मान slider_min से slider_max तक जाते हैं।

अच्छे तरीक़े

  1. हमेशा किसी लक्ष्य योजना से जोड़ें - आत्मविश्वास रेटिंग तब सबसे काम की होती है जब वह किसी ख़ास एनोटेशन फ़ैसले से जुड़ी हो
  2. सादगी के लिए Likert इस्तेमाल करें - अलग-अलग बिंदुओं वाले स्केल एनोटेटरों के लिए तेज़ और आसान पड़ते हैं
  3. बारीक माप के लिए स्लाइडर इस्तेमाल करें - जब आगे के विश्लेषण के लिए आपको सटीक आत्मविश्वास मान चाहिए
  4. आत्मविश्वास को ज़रूरी बनाएँ - वैकल्पिक रेटिंग अक्सर छोड़ दी जाती हैं, जिससे डेटा का फ़ायदा घट जाता है
  5. आत्मविश्वास के पैटर्न देखें - कम आत्मविश्वास वाले आइटम अधिनिर्णय या अतिरिक्त एनोटेशन के लिए अच्छे उम्मीदवार होते हैं

आगे पढ़ें

कार्यान्वयन के विवरण के लिए स्रोत दस्तावेज़ देखें।