एनोटेशन स्कीमा कैसे चुनें
अपने शोध प्रश्न को सही Potato एनोटेशन प्रकार से कैसे जोड़ें, radio, multiselect, span, likert, slider, pairwise, best-worst, multirate, rubric, और बाक़ी।
एनोटेशन स्कीमा वह आकार है जिसमें आप एनोटेटरों से सवाल पूछते हैं। इसे यह पूछकर चुनें कि आपको किस तरह का जवाब चाहिए: एक श्रेणी, कई श्रेणियाँ, आइटम का कोई हिस्सा, किसी पैमाने पर एक जगह, या दो आइटम की आपस में तुलना। Potato 50 से ज़्यादा एनोटेशन प्रकार देता है; यह मार्गदर्शिका उनमें से चुनाव आसान करती है।
सभी विकल्पों और उनकी सेटिंग की पूरी सूची के लिए एनोटेशन स्कीमा संदर्भ देखें।
चुनाव की मार्गदर्शिका
| अगर आपको चाहिए… | यह प्रकार लें | उदाहरण |
|---|---|---|
| ठीक एक श्रेणी | radio | Sentiment: positive / negative / neutral |
| एक साथ कई श्रेणियाँ | multiselect | लेख में मौजूद विषय |
| लंबी सूची में से एक श्रेणी | select (ड्रॉपडाउन) | देश, भाषा, ICD कोड |
| टेक्स्ट/ऑडियो के भीतर का कोई हिस्सा | span | नामित इकाइयाँ, error span |
| पैमाने पर एक जगह | likert | सहमति, प्रवाह, गुणवत्ता |
| एक सतत मान | slider | Confidence 0–100 |
| दो में से बेहतर आइटम | pairwise | कौन सा मॉडल जवाब बेहतर है? |
| समूह में सबसे अच्छा और सबसे ख़राब | best_worst_scaling | अनुवादों को प्रवाह के हिसाब से क्रम दें |
| कई आइटम पर वही पैमाना | multirate | हर निकाले गए दस्तावेज़ को आँकें |
| कई भार वाले मानदंड | rubric_eval | MT-Bench शैली की LLM स्कोरिंग |
| लिखित जवाब | text | तर्क, सुधार |
उदाहरण: एक लेबल बनाम कई लेबल
अगर श्रेणियाँ आपस में विशिष्ट हैं, तो radio लें ताकि एनोटेटर को एक ही चुनना पड़े:
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: trueअगर किसी आइटम पर एक साथ कई लेबल लग सकते हैं, तो multiselect लें और सीमाएँ तय करें:
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]sequential_key_binding: true से एनोटेटर क्लिक करने के बजाय नंबर की कुंजियाँ दबा सकते हैं, जिससे बड़े काम तेज़ी से निपटते हैं।
बड़े कार्यों के लिए स्कीमा जोड़ना
आप एक ही स्क्रीन पर कई स्कीमा रख सकते हैं, जैसे एक श्रेणी के साथ फ़्री-टेक्स्ट में कारण। इन्हें शर्त वाली लॉजिक से जोड़ दें ताकि कारण तभी दिखे जब उसकी ज़रूरत हो:
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false