Skip to content
このページはまだお使いの言語に翻訳されていません。英語版を表示しています。

Multirate (Matrix Rating)

एक matrix फॉर्मेट में एक ही स्केल पर कई आइटम रेट करें।

Multirate (Matrix Rating) Annotation

Multirate प्रकार एकाधिक आइटम को matrix फॉर्मेट में प्रदर्शित करता है जहाँ प्रत्येक आइटम को एक ही स्केल पर रेट किया जाता है। एक आइटम के कई आयामों का मूल्यांकन करने के लिए आदर्श।

बुनियादी कॉन्फ़िगरेशन

yaml
annotation_schemes:
  - name: "aspect_ratings"
    description: "Rate each aspect of the response"
    annotation_type: "multirate"
    labels:
      - name: "Accuracy"
      - name: "Clarity"
      - name: "Helpfulness"
    options:
      - name: "1"
      - name: "2"
      - name: "3"
      - name: "4"
      - name: "5"

कॉन्फ़िगरेशन विकल्प

फ़ील्डप्रकारआवश्यकविवरण
namestringहाँएनोटेशन के लिए अद्वितीय पहचानकर्ता
descriptionstringहाँएनोटेटर्स को दिखाए जाने वाले निर्देश
annotation_typestringहाँ"multirate" होना चाहिए
labelsarrayहाँरेट किए जाने वाले आइटम (पंक्तियाँ)
optionsarrayहाँरेटिंग स्केल विकल्प (कॉलम)
sizenumberनहींoptions का विकल्प: स्केल बिंदुओं की संख्या
min_labelstringनहींसबसे कम रेटिंग के लिए लेबल
max_labelstringनहींसबसे उच्च रेटिंग के लिए लेबल
randomizebooleanनहींआइटम क्रम यादृच्छिक करें
compactbooleanनहींकॉम्पैक्ट लेआउट का उपयोग करें

उदाहरण

प्रतिक्रिया गुणवत्ता मूल्यांकन

yaml
- name: "quality_assessment"
  description: "Rate each aspect of the AI response"
  annotation_type: "multirate"
  labels:
    - name: "Accuracy"
      tooltip: "Is the information factually correct?"
    - name: "Completeness"
      tooltip: "Does it fully address the question?"
    - name: "Clarity"
      tooltip: "Is it easy to understand?"
    - name: "Relevance"
      tooltip: "Does it stay on topic?"
  size: 5
  min_label: "Poor"
  max_label: "Excellent"

अनुवाद गुणवत्ता

yaml
- name: "translation_quality"
  description: "Evaluate the translation quality"
  annotation_type: "multirate"
  labels:
    - name: "Fluency"
    - name: "Adequacy"
    - name: "Terminology"
    - name: "Style"
  options:
    - name: "1 - Unacceptable"
    - name: "2 - Poor"
    - name: "3 - Acceptable"
    - name: "4 - Good"
    - name: "5 - Excellent"

उत्पाद समीक्षा आयाम

yaml
- name: "product_dimensions"
  description: "Rate each aspect of the product"
  annotation_type: "multirate"
  labels:
    - name: "Build Quality"
    - name: "Value for Money"
    - name: "Ease of Use"
    - name: "Customer Support"
    - name: "Documentation"
  size: 5
  min_label: "Very Poor"
  max_label: "Excellent"
  randomize: true

आउटपुट फॉर्मेट

Multirate एनोटेशन प्रत्येक आइटम को उसकी रेटिंग से मैप करने वाला एक dictionary आउटपुट करता है:

json
{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

उपयोग के मामले

  • LLM मूल्यांकन: कई गुणवत्ता आयामों पर प्रतिक्रियाएँ रेट करें
  • अनुवाद मूल्यांकन: Fluency, adequacy, और terminology का मूल्यांकन करें
  • उत्पाद समीक्षा: विभिन्न उत्पाद पहलुओं में रेटिंग कैप्चर करें
  • सर्वेक्षण अनुसंधान: Likert-style matrix प्रश्न
  • Peer Review: कई मापदंडों पर पेपर रेट करें

सर्वोत्तम प्रथाएँ

  1. आइटम की संख्या सीमित करें - 3-7 आइटम सबसे अच्छे काम करते हैं; अधिक थकान का कारण बनते हैं
  2. सुसंगत स्केल का उपयोग करें - सभी आइटम को एक ही रेटिंग स्केल का उपयोग करना चाहिए
  3. आइटम तार्किक रूप से क्रमबद्ध करें - संबंधित आयामों को एक साथ समूहित करें
  4. स्पष्ट परिभाषाएँ प्रदान करें - प्रत्येक आयाम को समझाने के लिए tooltip का उपयोग करें
  5. यादृच्छिकरण पर विचार करें - प्रतिक्रियाओं में क्रम पूर्वाग्रह को रोकता है