एनोटेशन स्कीम
परिभाषित करें कि एनोटेटर आपके डेटा को क्या और कैसे लेबल करेंगे।
एनोटेशन स्कीम
एनोटेशन स्कीम आपके एनोटेटरों के लिए लेबलिंग कार्यों को परिभाषित करती हैं। Potato 2.0 चौदह एनोटेशन प्रकारों का समर्थन करता है जिन्हें जटिल एनोटेशन कार्य बनाने के लिए संयोजित किया जा सकता है।
बुनियादी संरचना
प्रत्येक स्कीम annotation_schemes सरणी में परिभाषित की जाती है:
annotation_schemes:
- annotation_type: radio
name: sentiment
description: "What is the sentiment?"
labels:
- Positive
- Negative
- Neutralआवश्यक फील्ड
| फील्ड | विवरण |
|---|---|
annotation_type | एनोटेशन का प्रकार (radio, multiselect, likert, span, text, number, slider, multirate) |
name | आंतरिक पहचानकर्ता (कोई स्पेस नहीं, आउटपुट में उपयोग) |
description | एनोटेटरों को दिखाए जाने वाले निर्देश |
समर्थित एनोटेशन प्रकार
1. Radio (एकल विकल्प)
सूची से बिल्कुल एक विकल्प चुनें:
- annotation_type: radio
name: sentiment
description: "What is the sentiment of this text?"
labels:
- Positive
- Negative
- Neutral
# Optional features
keyboard_shortcuts:
Positive: "1"
Negative: "2"
Neutral: "3"
# Or use sequential binding (1, 2, 3... automatically)
sequential_key_binding: true
# Horizontal layout instead of vertical
horizontal: true2. Likert स्केल
लेबल किए गए एंडपॉइंट के साथ रेटिंग स्केल:
- annotation_type: likert
name: agreement
description: "How much do you agree with this statement?"
size: 5 # Number of scale points
min_label: "Strongly Disagree"
max_label: "Strongly Agree"
# Optional mid-point label
mid_label: "Neutral"
# Show numeric values
show_numbers: true3. Multiselect (बहु विकल्प)
सूची से एकाधिक विकल्प चुनें:
- annotation_type: multiselect
name: topics
description: "Select all relevant topics"
labels:
- Politics
- Technology
- Sports
- Entertainment
- Science
# Selection constraints
min_selections: 1
max_selections: 3
# Allow free text response
free_response: true
free_response_label: "Other (specify)"4. स्पैन एनोटेशन
पाठ खंडों को हाइलाइट और लेबल करें:
- annotation_type: span
name: entities
description: "Highlight named entities in the text"
labels:
- PERSON
- ORGANIZATION
- LOCATION
- DATE
# Visual customization
label_colors:
PERSON: "#3b82f6"
ORGANIZATION: "#10b981"
LOCATION: "#f59e0b"
DATE: "#8b5cf6"
# Allow overlapping spans
allow_overlapping: false
# Keyboard shortcuts for labels
sequential_key_binding: true5. Slider
निरंतर संख्यात्मक रेंज:
- annotation_type: slider
name: confidence
description: "How confident are you in your answer?"
min: 0
max: 100
step: 1
default: 50
# Endpoint labels
min_label: "Not confident"
max_label: "Very confident"
# Show current value
show_value: true6. पाठ इनपुट
स्वतंत्र-रूप पाठ प्रतिक्रियाएं:
- annotation_type: text
name: explanation
description: "Explain your reasoning"
# Multi-line input
textarea: true
# Character limits
min_length: 10
max_length: 500
# Placeholder text
placeholder: "Enter your explanation here..."
# Disable paste (for transcription tasks)
disable_paste: true7. संख्या इनपुट
बाधाओं के साथ संख्यात्मक इनपुट:
- annotation_type: number
name: count
description: "How many entities are mentioned?"
min: 0
max: 100
step: 1
default: 08. Multirate (मैट्रिक्स रेटिंग)
एक ही स्केल पर एकाधिक आइटम रेट करें:
- annotation_type: multirate
name: quality_aspects
description: "Rate each aspect of the response"
items:
- Accuracy
- Clarity
- Completeness
- Relevance
size: 5 # Scale points
min_label: "Poor"
max_label: "Excellent"
# Randomize item order
randomize: true
# Layout options
compact: falseसामान्य विकल्प
कीबोर्ड शॉर्टकट
कीबोर्ड बाइंडिंग के साथ एनोटेशन तेज़ करें:
# Manual shortcuts
keyboard_shortcuts:
Positive: "1"
Negative: "2"
Neutral: "3"
# Or automatic sequential binding
sequential_key_binding: true # Assigns 1, 2, 3...टूलटिप
लेबलों के लिए होवर संकेत प्रदान करें:
tooltips:
Positive: "Expresses happiness, approval, or satisfaction"
Negative: "Expresses sadness, anger, or disappointment"
Neutral: "No clear emotional content"लेबल रंग
दृश्य अंतर के लिए कस्टम रंग:
label_colors:
PERSON: "#3b82f6"
LOCATION: "#10b981"
ORGANIZATION: "#f59e0b"आवश्यक फील्ड
सबमिशन से पहले एक स्कीम को आवश्यक बनाएं:
- annotation_type: radio
name: sentiment
required: true
labels:
- Positive
- Negativeएकाधिक स्कीम
प्रति इंस्टेंस एकाधिक एनोटेशन प्रकार संयोजित करें:
annotation_schemes:
# Primary classification
- annotation_type: radio
name: sentiment
description: "Overall sentiment"
labels:
- Positive
- Negative
- Neutral
required: true
sequential_key_binding: true
# Confidence rating
- annotation_type: likert
name: confidence
description: "How confident are you?"
size: 5
min_label: "Guessing"
max_label: "Certain"
# Topic tags
- annotation_type: multiselect
name: topics
description: "Select all relevant topics"
labels:
- Politics
- Technology
- Sports
- Entertainment
free_response: true
# Notes
- annotation_type: text
name: notes
description: "Any additional observations?"
textarea: true
required: falseउन्नत सुविधाएं
Pairwise Comparison
दो आइटम की तुलना करें:
- annotation_type: pairwise
name: preference
description: "Which response is better?"
options:
- label: "Response A"
value: "A"
- label: "Response B"
value: "B"
- label: "Equal"
value: "tie"
# Allow tie selection
allow_tie: trueBest-Worst Scaling
सर्वोत्तम और सबसे खराब चुनकर आइटम रैंक करें:
- annotation_type: best_worst
name: ranking
description: "Select the best and worst items"
# Items come from the data fileDropdown Select
स्पेस-कुशल एकल चयन:
- annotation_type: select
name: category
description: "Select a category"
labels:
- Category A
- Category B
- Category C
- Category D
- Category E
# Default selection
default: "Category A"डेटा प्रारूप संदर्भ
इनपुट
एनोटेशन स्कीम आपके डेटा प्रारूप के साथ काम करती हैं:
{
"id": "doc_1",
"text": "This is the text to annotate."
}आउटपुट
एनोटेशन स्कीम नामों को कुंजी के रूप में सहेजे जाते हैं:
{
"id": "doc_1",
"annotations": {
"sentiment": "Positive",
"confidence": 4,
"topics": ["Technology", "Science"],
"entities": [
{"start": 0, "end": 4, "label": "ORGANIZATION", "text": "This"}
],
"notes": "Clear positive sentiment about technology."
}
}सर्वोत्तम अभ्यास
1. स्पष्ट लेबल
स्पष्ट, विशिष्ट लेबल उपयोग करें:
# Good
labels:
- Strongly Positive
- Somewhat Positive
- Neutral
- Somewhat Negative
- Strongly Negative
# Avoid
labels:
- Good
- OK
- Fine
- Acceptable2. सहायक टूलटिप
सूक्ष्म लेबलों के लिए टूलटिप जोड़ें:
tooltips:
Sarcasm: "The text says the opposite of what it means"
Irony: "A mismatch between expectation and reality"3. कीबोर्ड शॉर्टकट
उच्च-मात्रा कार्यों के लिए शॉर्टकट सक्षम करें:
sequential_key_binding: true4. तार्किक क्रम
लेबलों को क्रमिक रूप से व्यवस्थित करें:
- सबसे सामान्य पहले
- वर्णानुक्रम में
- तीव्रता से (कम से अधिक)
5. विकल्प सीमित करें
बहुत अधिक विकल्प एनोटेशन धीमा करते हैं:
- Radio: 2-7 विकल्प
- Multiselect: 5-15 विकल्प
- Likert: 5-7 बिंदु
6. पहले परीक्षण करें
तैनाती से पहले स्वयं कई उदाहरण एनोटेट करें ताकि पकड़ सकें:
- अस्पष्ट लेबल
- गुम श्रेणियाँ
- अस्पष्ट निर्देश