एरर Span
Potato में MQM शैली के एरर एनोटेशन इंटरफ़ेस बनाएँ, अनुवाद गुणवत्ता के मूल्यांकन, पाठ में एरर चिह्नित करने, और गंभीरता स्कोर के साथ टाइप किए गए एरर span के एनोटेशन के लिए।
एरर span एनोटेशन योजना पाठ में एरर चिह्नित करने के लिए MQM शैली (Multidimensional Quality Metrics) का इंटरफ़ेस देती है, जिसमें एरर की श्रेणियाँ और गंभीरता के स्तर तय किए जा सकते हैं। यह योजना अनुवाद गुणवत्ता के मूल्यांकन, संपादन की समीक्षा, सामग्री की गुणवत्ता आँकने, और हर उस काम के लिए उपयुक्त है जिसमें बारीक स्तर पर एरर एनोटेशन चाहिए।
Potato में एरर span
सार
एरर span योजना यह देती है:
- टाइप की गई एरर श्रेणियाँ, जिनमें विस्तृत वर्गीकरण के लिए वैकल्पिक उपप्रकार जोड़े जा सकते हैं
- गंभीरता के स्तर, जिनके लिए अंक कटौती कॉन्फ़िगर की जा सकती है
- चलता हुआ गुणवत्ता स्कोर, जो एरर चिह्नित होने के साथ घटता जाता है
- रंग से चिह्नित span, जिनसे एरर प्रकार और गंभीरता देखते ही अलग पहचानी जाती है
एनोटेटर पाठ का हिस्सा चुनते हैं, उसे एरर प्रकार और गंभीरता देते हैं, और सिस्टम अपने आप गुणवत्ता स्कोर निकाल लेता है।
जल्दी शुरुआत
annotation_schemes:
- annotation_type: error_span
name: translation_errors
description: Mark all errors in the translation below.
error_types:
- name: Accuracy
- name: Fluency
- name: Terminology
show_score: true
max_score: 100कॉन्फ़िगरेशन विकल्प
| फ़ील्ड | प्रकार | डिफ़ॉल्ट | विवरण |
|---|---|---|---|
annotation_type | string | ज़रूरी | "error_span" होना चाहिए |
name | string | ज़रूरी | इस योजना का अद्वितीय पहचानकर्ता |
description | string | ज़रूरी | एनोटेटरों को दिखाए जाने वाले निर्देश |
error_types | array | ज़रूरी | एरर प्रकार ऑब्जेक्ट की सूची, हर एक में name और वैकल्पिक subtypes ऐरे |
severities | array | [{name: "Minor", weight: -1}, {name: "Major", weight: -5}, {name: "Critical", weight: -10}] | गंभीरता स्तरों की सूची, हर एक में name और weight (अंक कटौती) |
show_score | boolean | true | चलता हुआ गुणवत्ता स्कोर दिखाएँ |
max_score | integer | 100 | कटौती से पहले का शुरुआती गुणवत्ता स्कोर |
उदाहरण
अनुवाद गुणवत्ता (MQM)
annotation_schemes:
- annotation_type: error_span
name: mqm_errors
description: >
Mark all errors in the machine translation.
Select the error span, choose a category and severity.
error_types:
- name: Accuracy
subtypes:
- Mistranslation
- Addition
- Omission
- Untranslated
- name: Fluency
subtypes:
- Grammar
- Spelling
- Punctuation
- Register
- name: Terminology
subtypes:
- Inconsistent
- Wrong Term
- name: Style
severities:
- name: Minor
weight: -1
- name: Major
weight: -5
- name: Critical
weight: -10
show_score: true
max_score: 100सामग्री संपादन की समीक्षा
annotation_schemes:
- annotation_type: error_span
name: editing_errors
description: Mark all issues that need editing in this article.
error_types:
- name: Factual Error
- name: Grammar
subtypes:
- Subject-Verb Agreement
- Tense
- Pronoun Reference
- name: Style
subtypes:
- Wordiness
- Passive Voice
- Jargon
- name: Formatting
severities:
- name: Suggestion
weight: -1
- name: Required Fix
weight: -5
show_score: falseकोड समीक्षा एनोटेशन
annotation_schemes:
- annotation_type: error_span
name: code_errors
description: Mark issues in this code snippet.
error_types:
- name: Bug
subtypes:
- Logic Error
- Off-by-One
- Null Reference
- name: Style
subtypes:
- Naming
- Formatting
- name: Security
subtypes:
- Injection
- Exposure
- name: Performance
severities:
- name: Nitpick
weight: -1
- name: Warning
weight: -3
- name: Blocker
weight: -10
max_score: 100
show_score: trueआउटपुट फ़ॉर्मैट
{
"translation_errors": {
"labels": {
"errors": [
{
"start": 12,
"end": 25,
"text": "incorrectly translated",
"error_type": "Accuracy",
"subtype": "Mistranslation",
"severity": "Major"
},
{
"start": 45,
"end": 52,
"text": "the the",
"error_type": "Fluency",
"subtype": "Grammar",
"severity": "Minor"
}
],
"score": 94
}
}
}स्कोर max_score में सभी गंभीरता वेट जोड़कर निकाला जाता है।
अच्छे तरीक़े
- एरर प्रकारों की सीमाएँ साफ़ रखें - एनोटेटरों को दो एरर प्रकारों के बीच उलझना न पड़े; विवरण में उदाहरण दें
- बारीकी के लिए उपप्रकार इस्तेमाल करें - ऊपरी स्तर के प्रकार इंटरफ़ेस को सरल रखते हैं, जबकि उपप्रकार ज़रूरत पड़ने पर विस्तृत विश्लेषण करने देते हैं
- गंभीरता के वेट सोच-समझकर तय करें - वेट का अनुपात असली असर के हिसाब से हो; गंभीर एरर की क़ीमत मामूली एरर से साफ़ तौर पर ज़्यादा होनी चाहिए
- max_score पाठ की लंबाई के हिसाब से रखें - छोटे पाठ के लिए कम max_score रखने से एक अकेली ग़लती का असर हद से ज़्यादा नहीं पड़ता
- एनोटेशन दिशानिर्देश दें - MQM शैली के एनोटेशन में हर एरर प्रकार और गंभीरता के उदाहरण सहित विस्तृत दिशानिर्देश बहुत काम आते हैं
आगे पढ़ें
- Span एनोटेशन - सामान्य span लेबलिंग
- Span लिंकिंग - संबंधित span को आपस में जोड़ना
- गुणवत्ता नियंत्रण - अटेंशन चेक और गोल्ड स्टैंडर्ड
कार्यान्वयन के विवरण के लिए स्रोत दस्तावेज़ देखें।