Multirate (मैट्रिक्स रेटिंग)

एक matrix फॉर्मेट में एक ही स्केल पर कई आइटम रेट करें।

Multirate प्रकार एकाधिक आइटम को matrix फॉर्मेट में प्रदर्शित करता है जहाँ प्रत्येक आइटम को एक ही स्केल पर रेट किया जाता है। एक आइटम के कई आयामों का मूल्यांकन करने के लिए आदर्श।

बुनियादी कॉन्फ़िगरेशन

yaml

annotation_schemes:
  - name: "aspect_ratings"

कॉन्फ़िगरेशन विकल्प

फ़ील्ड	प्रकार	आवश्यक	विवरण
`name`	string	हाँ	एनोटेशन के लिए अद्वितीय पहचानकर्ता
`description`	string	हाँ	एनोटेटर्स को दिखाए जाने वाले निर्देश
`annotation_type`	string	हाँ	`"multirate"` होना चाहिए
`labels`	array	हाँ	रेट किए जाने वाले आइटम (पंक्तियाँ)
`options`	array	हाँ	रेटिंग स्केल विकल्प (कॉलम)
`size`	number	नहीं	options का विकल्प: स्केल बिंदुओं की संख्या
`min_label`	string	नहीं	सबसे कम रेटिंग के लिए लेबल
`max_label`	string	नहीं	सबसे उच्च रेटिंग के लिए लेबल
`randomize`	boolean	नहीं	आइटम क्रम यादृच्छिक करें
`compact`	boolean	नहीं	कॉम्पैक्ट लेआउट का उपयोग करें

उदाहरण

प्रतिक्रिया गुणवत्ता मूल्यांकन

yaml

- name: "quality_assessment"

अनुवाद गुणवत्ता

yaml

- name: "translation_quality"

उत्पाद समीक्षा आयाम

yaml

- name: "product_dimensions"

आउटपुट फॉर्मेट

Multirate एनोटेशन प्रत्येक आइटम को उसकी रेटिंग से मैप करने वाला एक dictionary आउटपुट करता है:

json

{
  "id": "item_1",
  "annotations": {
    "aspect_ratings": {
      "Accuracy": "4",
      "Clarity": "5",
      "Helpfulness": "3"
    }
  }
}

उपयोग के मामले

LLM मूल्यांकन: कई गुणवत्ता आयामों पर प्रतिक्रियाएँ रेट करें
अनुवाद मूल्यांकन: Fluency, adequacy, और terminology का मूल्यांकन करें
उत्पाद समीक्षा: विभिन्न उत्पाद पहलुओं में रेटिंग कैप्चर करें
सर्वेक्षण अनुसंधान: Likert-style matrix प्रश्न
Peer Review: कई मापदंडों पर पेपर रेट करें

सर्वोत्तम प्रथाएँ

आइटम की संख्या सीमित करें - 3-7 आइटम सबसे अच्छे काम करते हैं; अधिक थकान का कारण बनते हैं
सुसंगत स्केल का उपयोग करें - सभी आइटम को एक ही रेटिंग स्केल का उपयोग करना चाहिए
आइटम तार्किक रूप से क्रमबद्ध करें - संबंधित आयामों को एक साथ समूहित करें
स्पष्ट परिभाषाएँ प्रदान करें - प्रत्येक आयाम को समझाने के लिए tooltip का उपयोग करें
यादृच्छिकरण पर विचार करें - प्रतिक्रियाओं में क्रम पूर्वाग्रह को रोकता है