Skip to content

एरर Span

Potato में MQM शैली के एरर एनोटेशन इंटरफ़ेस बनाएँ, अनुवाद गुणवत्ता के मूल्यांकन, पाठ में एरर चिह्नित करने, और गंभीरता स्कोर के साथ टाइप किए गए एरर span के एनोटेशन के लिए।

एरर span एनोटेशन योजना पाठ में एरर चिह्नित करने के लिए MQM शैली (Multidimensional Quality Metrics) का इंटरफ़ेस देती है, जिसमें एरर की श्रेणियाँ और गंभीरता के स्तर तय किए जा सकते हैं। यह योजना अनुवाद गुणवत्ता के मूल्यांकन, संपादन की समीक्षा, सामग्री की गुणवत्ता आँकने, और हर उस काम के लिए उपयुक्त है जिसमें बारीक स्तर पर एरर एनोटेशन चाहिए।

Potato का एरर span इंटरफ़ेस, जिसमें अनुवाद की ग़लतियाँ गंभीरता स्कोर के साथ चिह्नित हैंPotato में एरर span

सार

एरर span योजना यह देती है:

  • टाइप की गई एरर श्रेणियाँ, जिनमें विस्तृत वर्गीकरण के लिए वैकल्पिक उपप्रकार जोड़े जा सकते हैं
  • गंभीरता के स्तर, जिनके लिए अंक कटौती कॉन्फ़िगर की जा सकती है
  • चलता हुआ गुणवत्ता स्कोर, जो एरर चिह्नित होने के साथ घटता जाता है
  • रंग से चिह्नित span, जिनसे एरर प्रकार और गंभीरता देखते ही अलग पहचानी जाती है

एनोटेटर पाठ का हिस्सा चुनते हैं, उसे एरर प्रकार और गंभीरता देते हैं, और सिस्टम अपने आप गुणवत्ता स्कोर निकाल लेता है।

जल्दी शुरुआत

yaml
annotation_schemes:
  - annotation_type: error_span
    name: translation_errors
    description: Mark all errors in the translation below.
    error_types:
      - name: Accuracy
      - name: Fluency
      - name: Terminology
    show_score: true
    max_score: 100

कॉन्फ़िगरेशन विकल्प

फ़ील्डप्रकारडिफ़ॉल्टविवरण
annotation_typestringज़रूरी"error_span" होना चाहिए
namestringज़रूरीइस योजना का अद्वितीय पहचानकर्ता
descriptionstringज़रूरीएनोटेटरों को दिखाए जाने वाले निर्देश
error_typesarrayज़रूरीएरर प्रकार ऑब्जेक्ट की सूची, हर एक में name और वैकल्पिक subtypes ऐरे
severitiesarray[{name: "Minor", weight: -1}, {name: "Major", weight: -5}, {name: "Critical", weight: -10}]गंभीरता स्तरों की सूची, हर एक में name और weight (अंक कटौती)
show_scorebooleantrueचलता हुआ गुणवत्ता स्कोर दिखाएँ
max_scoreinteger100कटौती से पहले का शुरुआती गुणवत्ता स्कोर

उदाहरण

अनुवाद गुणवत्ता (MQM)

yaml
annotation_schemes:
  - annotation_type: error_span
    name: mqm_errors
    description: >
      Mark all errors in the machine translation.
      Select the error span, choose a category and severity.
    error_types:
      - name: Accuracy
        subtypes:
          - Mistranslation
          - Addition
          - Omission
          - Untranslated
      - name: Fluency
        subtypes:
          - Grammar
          - Spelling
          - Punctuation
          - Register
      - name: Terminology
        subtypes:
          - Inconsistent
          - Wrong Term
      - name: Style
    severities:
      - name: Minor
        weight: -1
      - name: Major
        weight: -5
      - name: Critical
        weight: -10
    show_score: true
    max_score: 100

सामग्री संपादन की समीक्षा

yaml
annotation_schemes:
  - annotation_type: error_span
    name: editing_errors
    description: Mark all issues that need editing in this article.
    error_types:
      - name: Factual Error
      - name: Grammar
        subtypes:
          - Subject-Verb Agreement
          - Tense
          - Pronoun Reference
      - name: Style
        subtypes:
          - Wordiness
          - Passive Voice
          - Jargon
      - name: Formatting
    severities:
      - name: Suggestion
        weight: -1
      - name: Required Fix
        weight: -5
    show_score: false

कोड समीक्षा एनोटेशन

yaml
annotation_schemes:
  - annotation_type: error_span
    name: code_errors
    description: Mark issues in this code snippet.
    error_types:
      - name: Bug
        subtypes:
          - Logic Error
          - Off-by-One
          - Null Reference
      - name: Style
        subtypes:
          - Naming
          - Formatting
      - name: Security
        subtypes:
          - Injection
          - Exposure
      - name: Performance
    severities:
      - name: Nitpick
        weight: -1
      - name: Warning
        weight: -3
      - name: Blocker
        weight: -10
    max_score: 100
    show_score: true

आउटपुट फ़ॉर्मैट

json
{
  "translation_errors": {
    "labels": {
      "errors": [
        {
          "start": 12,
          "end": 25,
          "text": "incorrectly translated",
          "error_type": "Accuracy",
          "subtype": "Mistranslation",
          "severity": "Major"
        },
        {
          "start": 45,
          "end": 52,
          "text": "the the",
          "error_type": "Fluency",
          "subtype": "Grammar",
          "severity": "Minor"
        }
      ],
      "score": 94
    }
  }
}

स्कोर max_score में सभी गंभीरता वेट जोड़कर निकाला जाता है।

अच्छे तरीक़े

  1. एरर प्रकारों की सीमाएँ साफ़ रखें - एनोटेटरों को दो एरर प्रकारों के बीच उलझना न पड़े; विवरण में उदाहरण दें
  2. बारीकी के लिए उपप्रकार इस्तेमाल करें - ऊपरी स्तर के प्रकार इंटरफ़ेस को सरल रखते हैं, जबकि उपप्रकार ज़रूरत पड़ने पर विस्तृत विश्लेषण करने देते हैं
  3. गंभीरता के वेट सोच-समझकर तय करें - वेट का अनुपात असली असर के हिसाब से हो; गंभीर एरर की क़ीमत मामूली एरर से साफ़ तौर पर ज़्यादा होनी चाहिए
  4. max_score पाठ की लंबाई के हिसाब से रखें - छोटे पाठ के लिए कम max_score रखने से एक अकेली ग़लती का असर हद से ज़्यादा नहीं पड़ता
  5. एनोटेशन दिशानिर्देश दें - MQM शैली के एनोटेशन में हर एरर प्रकार और गंभीरता के उदाहरण सहित विस्तृत दिशानिर्देश बहुत काम आते हैं

आगे पढ़ें

कार्यान्वयन के विवरण के लिए स्रोत दस्तावेज़ देखें।