Cette page n'est pas encore disponible dans votre langue. La version anglaise est affichée.
Multirate (Matrix Rating)
एक matrix फॉर्मेट में एक ही स्केल पर कई आइटम रेट करें।
Multirate (Matrix Rating) Annotation
Multirate प्रकार एकाधिक आइटम को matrix फॉर्मेट में प्रदर्शित करता है जहाँ प्रत्येक आइटम को एक ही स्केल पर रेट किया जाता है। एक आइटम के कई आयामों का मूल्यांकन करने के लिए आदर्श।
बुनियादी कॉन्फ़िगरेशन
yaml
annotation_schemes:
- name: "aspect_ratings"
description: "Rate each aspect of the response"
annotation_type: "multirate"
labels:
- name: "Accuracy"
- name: "Clarity"
- name: "Helpfulness"
options:
- name: "1"
- name: "2"
- name: "3"
- name: "4"
- name: "5"कॉन्फ़िगरेशन विकल्प
| फ़ील्ड | प्रकार | आवश्यक | विवरण |
|---|---|---|---|
name | string | हाँ | एनोटेशन के लिए अद्वितीय पहचानकर्ता |
description | string | हाँ | एनोटेटर्स को दिखाए जाने वाले निर्देश |
annotation_type | string | हाँ | "multirate" होना चाहिए |
labels | array | हाँ | रेट किए जाने वाले आइटम (पंक्तियाँ) |
options | array | हाँ | रेटिंग स्केल विकल्प (कॉलम) |
size | number | नहीं | options का विकल्प: स्केल बिंदुओं की संख्या |
min_label | string | नहीं | सबसे कम रेटिंग के लिए लेबल |
max_label | string | नहीं | सबसे उच्च रेटिंग के लिए लेबल |
randomize | boolean | नहीं | आइटम क्रम यादृच्छिक करें |
compact | boolean | नहीं | कॉम्पैक्ट लेआउट का उपयोग करें |
उदाहरण
प्रतिक्रिया गुणवत्ता मूल्यांकन
yaml
- name: "quality_assessment"
description: "Rate each aspect of the AI response"
annotation_type: "multirate"
labels:
- name: "Accuracy"
tooltip: "Is the information factually correct?"
- name: "Completeness"
tooltip: "Does it fully address the question?"
- name: "Clarity"
tooltip: "Is it easy to understand?"
- name: "Relevance"
tooltip: "Does it stay on topic?"
size: 5
min_label: "Poor"
max_label: "Excellent"अनुवाद गुणवत्ता
yaml
- name: "translation_quality"
description: "Evaluate the translation quality"
annotation_type: "multirate"
labels:
- name: "Fluency"
- name: "Adequacy"
- name: "Terminology"
- name: "Style"
options:
- name: "1 - Unacceptable"
- name: "2 - Poor"
- name: "3 - Acceptable"
- name: "4 - Good"
- name: "5 - Excellent"उत्पाद समीक्षा आयाम
yaml
- name: "product_dimensions"
description: "Rate each aspect of the product"
annotation_type: "multirate"
labels:
- name: "Build Quality"
- name: "Value for Money"
- name: "Ease of Use"
- name: "Customer Support"
- name: "Documentation"
size: 5
min_label: "Very Poor"
max_label: "Excellent"
randomize: trueआउटपुट फॉर्मेट
Multirate एनोटेशन प्रत्येक आइटम को उसकी रेटिंग से मैप करने वाला एक dictionary आउटपुट करता है:
json
{
"id": "item_1",
"annotations": {
"aspect_ratings": {
"Accuracy": "4",
"Clarity": "5",
"Helpfulness": "3"
}
}
}उपयोग के मामले
- LLM मूल्यांकन: कई गुणवत्ता आयामों पर प्रतिक्रियाएँ रेट करें
- अनुवाद मूल्यांकन: Fluency, adequacy, और terminology का मूल्यांकन करें
- उत्पाद समीक्षा: विभिन्न उत्पाद पहलुओं में रेटिंग कैप्चर करें
- सर्वेक्षण अनुसंधान: Likert-style matrix प्रश्न
- Peer Review: कई मापदंडों पर पेपर रेट करें
सर्वोत्तम प्रथाएँ
- आइटम की संख्या सीमित करें - 3-7 आइटम सबसे अच्छे काम करते हैं; अधिक थकान का कारण बनते हैं
- सुसंगत स्केल का उपयोग करें - सभी आइटम को एक ही रेटिंग स्केल का उपयोग करना चाहिए
- आइटम तार्किक रूप से क्रमबद्ध करें - संबंधित आयामों को एक साथ समूहित करें
- स्पष्ट परिभाषाएँ प्रदान करें - प्रत्येक आयाम को समझाने के लिए tooltip का उपयोग करें
- यादृच्छिकरण पर विचार करें - प्रतिक्रियाओं में क्रम पूर्वाग्रह को रोकता है