बोली में भावों का वर्गीकरण
Potato में ऑडियो भाव वर्गीकरण का कार्य बनाइए: इंटरैक्टिव waveform, प्लेबैक गति के नियंत्रण, Likert स्केल, और अपनी ज़रूरत के हिसाब से भाव लेबल सेट।
Speech emotion recognition (SER) वर्चुअल असिस्टेंट, मानसिक स्वास्थ्य के टूल और कॉल-सेंटर विश्लेषण में काम आता है, और इन सबको प्रशिक्षण के लिए लेबल किया हुआ ऑडियो चाहिए। यह ट्यूटोरियल श्रेणीगत भावों, आयामी रेटिंग, और ऐसे क्लिप के लिए एनोटेशन इंटरफ़ेस दिखाता है जिनमें एक से ज़्यादा भाव मौजूद हों। नीचे चलने वाले ऑडियो विकल्पों के लिए ऑडियो एनोटेशन दस्तावेज़ देखें।
भाव एनोटेशन के तरीक़े
बोली में भाव लेबल करने के कुछ आम तरीक़े हैं। आप happy, sad या angry जैसी अलग-अलग श्रेणियाँ इस्तेमाल कर सकते हैं। आप valence, arousal और dominance जैसे सतत आयामों पर रेटिंग ले सकते हैं। आप एनोटेटरों को एक साथ कई भाव, तीव्रता की रेटिंग के साथ, चिह्नित करने दे सकते हैं। या लंबे क्लिप के लिए अलग-अलग समय पर अलग-अलग भाव टैग कर सकते हैं।
श्रेणीगत भाव वर्गीकरण
बुनियादी सेटअप
annotation_task_name: "Speech Emotion Recognition"
data_files:
- data/utterances.json
item_properties:
id_key: id
audio_key: audio_path
text_key: transcript # Optional transcript
audio:
enabled: true
display: waveform
waveform_color: "#8B5CF6"
progress_color: "#A78BFA"
speed_control: true
speed_options: [0.75, 1.0, 1.25]
annotation_schemes:
- annotation_type: radio
name: emotion
description: "What emotion is expressed in this speech?"
labels:
- name: Happy
description: "Joy, excitement, amusement"
keyboard_shortcut: "h"
- name: Sad
description: "Sorrow, disappointment, grief"
keyboard_shortcut: "s"
- name: Angry
description: "Frustration, irritation, rage"
keyboard_shortcut: "a"
- name: Fearful
description: "Anxiety, worry, terror"
keyboard_shortcut: "f"
- name: Surprised
description: "Astonishment, shock"
keyboard_shortcut: "u"
- name: Disgusted
description: "Revulsion, distaste"
keyboard_shortcut: "d"
- name: Neutral
description: "No clear emotion"
keyboard_shortcut: "n"
label_requirement:
required: truePotato एनोटेशन लेबल के साथ-साथ प्लेबैक नियंत्रण वाला एक इंटरैक्टिव waveform दिखाता है:
ऑडियो एनोटेशन इंटरफ़ेस, जिसमें प्लेबैक नियंत्रण वाला इंटरैक्टिव waveform और श्रेणीगत भाव लेबल दिख रहे हैं
तीव्रता जोड़ना
annotation_schemes:
- annotation_type: radio
name: emotion
labels: [Happy, Sad, Angry, Fearful, Surprised, Disgusted, Neutral]
label_requirement:
required: true
- annotation_type: likert
name: intensity
description: "How intense is this emotion?"
size: 5
min_label: "Very weak"
max_label: "Very strong"आयामी भाव एनोटेशन
VAD (Valence-Arousal-Dominance) मॉडल हर क्लिप को किसी एक श्रेणी में ठूँसने के बजाय तीन सतत स्केल पर आँकता है:
annotation_task_name: "Dimensional Emotion Rating"
annotation_schemes:
# Valence: negative to positive
- annotation_type: likert
name: valence
description: "Valence: How positive or negative?"
size: 7
min_label: "Very negative"
max_label: "Very positive"
# Arousal: calm to excited
- annotation_type: likert
name: arousal
description: "Arousal: How calm or excited?"
size: 7
min_label: "Very calm"
max_label: "Very excited"
# Dominance: submissive to dominant
- annotation_type: likert
name: dominance
description: "Dominance: How submissive or dominant?"
size: 7
min_label: "Very submissive"
max_label: "Very dominant"दृश्य स्केल (SAM)
Self-Assessment Manikin की शैली में:
annotation_schemes:
- annotation_type: likert
min_label: "Very negative"
max_label: "Very positive"
name: valence
description: "Select the figure that matches the emotional valence"
size: 9मिले-जुले भावों की पहचान
ऐसी बोली के लिए जिसमें कई भाव हों:
annotation_schemes:
- annotation_type: multiselect
name: emotions_present
description: "Select ALL emotions you detect (can be multiple)"
labels:
- Happy
- Sad
- Angry
- Fearful
- Surprised
- Disgusted
- Contempt
- annotation_type: radio
name: primary_emotion
description: "Which emotion is MOST prominent?"
labels:
- Happy
- Sad
- Angry
- Fearful
- Surprised
- Disgusted
- Contempt
- Mixed (no dominant)पूरा भाव एनोटेशन
annotation_task_name: "Comprehensive Speech Emotion Annotation"
data_files:
- data/speech_samples.json
item_properties:
id_key: id
audio_key: audio_url
text_key: transcript
audio:
enabled: true
display: waveform
waveform_color: "#EC4899"
progress_color: "#F472B6"
height: 120
speed_control: true
speed_options: [0.5, 0.75, 1.0, 1.25]
show_duration: true
autoplay: false
# Show transcript if available
display:
show_text: true
text_field: transcript
text_label: "Transcript (for reference)"
annotation_schemes:
# Primary categorical emotion
- annotation_type: radio
name: primary_emotion
description: "Primary emotion expressed"
labels:
- name: Happiness
color: "#FCD34D"
keyboard_shortcut: "1"
- name: Sadness
color: "#60A5FA"
keyboard_shortcut: "2"
- name: Anger
color: "#F87171"
keyboard_shortcut: "3"
- name: Fear
color: "#A78BFA"
keyboard_shortcut: "4"
- name: Surprise
color: "#34D399"
keyboard_shortcut: "5"
- name: Disgust
color: "#FB923C"
keyboard_shortcut: "6"
- name: Neutral
color: "#9CA3AF"
keyboard_shortcut: "7"
label_requirement:
required: true
# Emotional intensity
- annotation_type: likert
name: intensity
description: "Emotional intensity"
size: 5
min_label: "Very mild"
max_label: "Very intense"
label_requirement:
required: true
# Dimensional ratings
- annotation_type: likert
name: valence
description: "Valence (negative to positive)"
size: 7
min_label: "Negative"
max_label: "Positive"
- annotation_type: likert
name: arousal
description: "Arousal (calm to excited)"
size: 7
min_label: "Calm"
max_label: "Excited"
# Voice quality
- annotation_type: multiselect
name: voice_qualities
description: "Voice characteristics (select all that apply)"
labels:
- Trembling voice
- Raised pitch
- Lowered pitch
- Loud/shouting
- Soft/whisper
- Fast speech rate
- Slow speech rate
- Breathy
- Tense/strained
- Crying
- Laughing
# Genuineness
- annotation_type: radio
name: authenticity
description: "Does the emotion seem genuine?"
labels:
- Clearly genuine
- Likely genuine
- Uncertain
- Likely acted/fake
- Clearly acted/fake
# Confidence
- annotation_type: likert
name: confidence
description: "How confident are you in your annotation?"
size: 5
min_label: "Guessing"
max_label: "Certain"
annotation_guidelines:
title: "Emotion Annotation Guidelines"
content: |
## Listening Instructions
1. Listen to the entire clip before annotating
2. You may replay as many times as needed
3. Focus on the VOICE, not just the words
## Emotion Categories
- **Happiness**: Joy, amusement, contentment
- **Sadness**: Sorrow, disappointment, melancholy
- **Anger**: Frustration, irritation, rage
- **Fear**: Anxiety, nervousness, terror
- **Surprise**: Astonishment, startle
- **Disgust**: Revulsion, contempt
- **Neutral**: Calm, matter-of-fact
## Tips
- Consider tone, pitch, speaking rate
- The transcript may not match the emotion
- When unsure between two emotions, choose the stronger one
- Use the intensity scale for unclear cases
output_annotation_dir: annotations/
export_annotation_format: jsonlआउटपुट प्रारूप
{
"id": "utt_001",
"audio_url": "/audio/sample_001.wav",
"transcript": "I can't believe this happened!",
"annotations": {
"primary_emotion": "Surprise",
"intensity": 4,
"valence": 2,
"arousal": 6,
"voice_qualities": ["Raised pitch", "Fast speech rate"],
"authenticity": "Clearly genuine",
"confidence": 4
},
"annotator": "rater_01",
"timestamp": "2024-12-05T10:30:00Z"
}सेगमेंट-स्तर पर भाव
लंबे ऑडियो के लिए, जिसमें भाव बदलते रहते हैं:
annotation_schemes:
- annotation_type: audio_annotation
name: emotion_segments
description: "Mark time segments with different emotions"
labels:
- name: Happy
color: "#FCD34D"
- name: Sad
color: "#60A5FA"
- name: Angry
color: "#F87171"
- name: Neutral
color: "#9CA3AF"गुणवत्ता नियंत्रण
quality_control:
attention_checks:
enabled: true
gold_items:
- audio: "/audio/gold/clearly_happy.wav"
expected:
primary_emotion: "Happiness"
intensity: [4, 5] # Accept 4 or 5
- audio: "/audio/gold/clearly_angry.wav"
expected:
primary_emotion: "Anger"भाव एनोटेशन के सुझाव
तय करने से पहले पूरा क्लिप सुनिए, और इस पर ध्यान दीजिए कि बात कही कैसे गई है, न कि सिर्फ़ शब्दों पर। याद रखिए कि भाव जताने के तरीक़े संस्कृति के साथ बदलते हैं, इसलिए जो एक जगह ग़ुस्सा लगता है वह दूसरी जगह ज़ोर देना भर हो सकता है। भाव एनोटेशन थका देता है, इसलिए बीच-बीच में विराम को बढ़ावा दीजिए, और टीम को असहमतियों पर नियमित बात करने दीजिए ताकि सब एक ही समझ पर बने रहें।
अगले क़दम
- कई वक्ताओं पर भाव देखने के लिए speaker diarization जोड़िए
- बड़े पैमाने पर डेटा जुटाने के लिए क्राउडसोर्सिंग सेट कीजिए
- भाव कार्यों के लिए अंतर-एनोटेटर सहमति निकालिए
दस्तावेज़ ऑडियो एनोटेशन पर हैं।