ऑडियो इवेंट की पहचान और टैगिंग
बोली, संगीत, तालियाँ या आसपास की आवाज़ों जैसी ख़ास ध्वनियाँ पकड़ने के लिए समय के निशान वाले span के साथ एनोटेशन सेट कीजिए।
Audio event detection का मतलब है किसी रिकॉर्डिंग के भीतर ख़ास आवाज़ें ढूँढ़ना: कुत्ते का भौंकना, सायरन, संगीत का एक टुकड़ा, दरवाज़े का ज़ोर से बंद होना। यह ट्यूटोरियल ध्वनि पहचानने वाले मॉडल के प्रशिक्षण के लिए समय के निशान पर आधारित एनोटेशन को देखता है। इसके पीछे के ऑडियो कॉन्फ़िगरेशन विकल्पों के लिए ऑडियो एनोटेशन दस्तावेज़ देखें।
ऑडियो इवेंट एनोटेशन के प्रकार
सबसे सरल रूप है क्लिप-स्तर की टैगिंग, जिसमें आप पूरे क्लिप पर उसमें मौजूद आवाज़ों के लेबल लगाते हैं। Temporal detection इससे आगे जाकर हर इवेंट की शुरुआत और अंत चिह्नित करता है। प्रति-इवेंट सटीक समय के निशान को आम तौर पर “strong” लेबलिंग कहा जाता है और बिना समय के सिर्फ़ मौजूदगी या ग़ैर-मौजूदगी को “weak” लेबलिंग। आपको कौन सा चाहिए, यह इस पर टिका है कि आपके मॉडल को क्या सीखना है।
क्लिप-स्तर की ध्वनि टैगिंग
एकल इवेंट वाले छोटे क्लिप के लिए:
annotation_task_name: "Sound Event Classification"
data_files:
- data/audio_clips.json
item_properties:
audio_path: audio_path
annotation_schemes:
- annotation_type: audio_annotation
name: sound_class
description: "What sound is in this clip?"
labels:
- Dog bark
- Car horn
- Siren
- Music
- Speech
- Footsteps
- Door knock
- Glass breaking
- Gunshot
- Baby cry
- Other
- Silence/noise onlyसमय के साथ sound event detection
चिह्नित कीजिए कि इवेंट कब होते हैं:
annotation_task_name: "Sound Event Detection"
data_files:
- data/recordings.json
item_properties:
audio_path: audio_path
annotation_schemes:
- annotation_type: audio_annotation
playback_rate_control: true
name: events
description: "Mark all sound events with timestamps"
labels:
- name: speech
color: "#3B82F6"
- name: music
color: "#8B5CF6"
- name: vehicle
color: "#EF4444"
- name: animal
color: "#F59E0B"
- name: nature
color: "#10B981"
- name: mechanical
color: "#6B7280"पूरा ऑडियो इवेंट कॉन्फ़िगरेशन
annotation_task_name: "AudioSet-Style Event Detection"
data_files:
- data/audio_10sec.json
item_properties:
audio_path: audio_url
annotation_schemes:
# Temporal event marking with audio playback
- annotation_type: audio_annotation
playback_rate_control: true
name: sound_events
description: "Mark all distinct sound events"
labels:
# Human sounds
- name: Speech
color: "#3B82F6"
keyboard_shortcut: "1"
category: human
- name: Singing
color: "#8B5CF6"
keyboard_shortcut: "2"
category: human
- name: Laughter
color: "#EC4899"
category: human
- name: Cough/Sneeze
color: "#F472B6"
category: human
# Music
- name: Music
color: "#A855F7"
keyboard_shortcut: "m"
category: music
- name: Musical instrument
color: "#7C3AED"
category: music
# Animals
- name: Dog
color: "#F59E0B"
keyboard_shortcut: "d"
category: animal
- name: Cat
color: "#FBBF24"
category: animal
- name: Bird
color: "#FCD34D"
category: animal
# Vehicles
- name: Car
color: "#EF4444"
keyboard_shortcut: "c"
category: vehicle
- name: Motorcycle
color: "#DC2626"
category: vehicle
- name: Siren
color: "#B91C1C"
category: vehicle
- name: Aircraft
color: "#991B1B"
category: vehicle
# Environment
- name: Rain
color: "#06B6D4"
category: nature
- name: Thunder
color: "#0891B2"
category: nature
- name: Wind
color: "#0E7490"
category: nature
- name: Water
color: "#0D9488"
category: nature
# Domestic
- name: Door
color: "#84CC16"
category: domestic
- name: Alarm
color: "#65A30D"
category: domestic
- name: Appliance
color: "#4D7C0F"
category: domestic
# Other
- name: Noise/Unknown
color: "#6B7280"
keyboard_shortcut: "n"
category: other
# Segment attributes
# Clip-level tags (weak labels)
- annotation_type: multiselect
name: clip_tags
description: "What sounds are present anywhere in this clip?"
labels:
- Speech
- Music
- Vehicle sounds
- Animal sounds
- Nature sounds
- Domestic sounds
- Silence
# Audio quality
- annotation_type: radio
name: quality
description: "Recording quality"
labels:
- Clean (clear sounds)
- Moderate noise
- Very noisy
- Distorted/clipped
annotation_guidelines:
title: "Sound Event Detection Guide"
content: |
## Your Task
Mark the START and END times of each distinct sound event.
## Event Detection Rules
- Mark sounds that are clearly audible
- Include overlapping sounds (use multiple labels)
- Short sounds (<100ms) may be a single point
## Segment Boundaries
- Start: When sound becomes audible
- End: When sound fades or stops
## Confidence Levels
- Clear: Easily identifiable
- Moderate: Reasonably sure
- Faint: Background, hard to identify
## Foreground vs Background
- Foreground: Main focus of audio
- Background: Ambient sounds
आउटपुट प्रारूप
{
"id": "clip_001",
"audio_url": "/audio/street_scene.wav",
"duration": 10.0,
"annotations": {
"sound_events": [
{
"label": "Speech",
"start": 0.5,
"end": 3.2,
"attributes": {
"confidence": "Clear",
"foreground": true
}
},
{
"label": "Car",
"start": 1.8,
"end": 4.5,
"attributes": {
"confidence": "Moderate",
"foreground": false
}
},
{
"label": "Dog",
"start": 6.1,
"end": 6.8,
"attributes": {
"confidence": "Clear",
"foreground": true
}
}
],
"clip_tags": ["Speech", "Vehicle sounds", "Animal sounds"],
"quality": "Moderate noise"
}
}डिटेक्टर से पूर्व-एनोटेशन
आप इंटरफ़ेस में मॉडल की भविष्यवाणियाँ पहले से भर सकते हैं, ताकि एनोटेटर शून्य से शुरू करने के बजाय सुधार करें:
pre_annotation:
enabled: true
field: detected_events
show_confidence: true
confidence_threshold: 0.3
allow_modification: trueऑडियो इवेंट एनोटेशन के सुझाव
यहाँ अच्छे हेडफ़ोन से असली फ़र्क़ पड़ता है, क्योंकि बहुत सारे इवेंट धीमे होते हैं, और शांत कमरा भी मदद करता है। ज़्यादातर एनोटेटर दो चक्करों में काम करते हैं: पहले में इवेंट ढूँढ़ना, दूसरे में समय के निशान कसना। प्लेबैक 0.5x पर करने से सीमाएँ लगाना कहीं आसान हो जाता है। पहले ही तय कर लीजिए कि “सुनाई देने लायक” किसे माना जाएगा, ताकि सब एक ही जगह लकीर खींचें।
अगले क़दम
- संगीत वाली सामग्री के लिए music classification जोड़िए
- बोली के लिए speaker diarization सीखिए
- इवेंट पहचान के लिए गुणवत्ता नियंत्रण सेट कीजिए
पूरे ऑडियो दस्तावेज़ ऑडियो एनोटेशन पर हैं।