Skip to content
Tutorials5 min read

ऑडियो इवेंट की पहचान और टैगिंग

बोली, संगीत, तालियाँ या आसपास की आवाज़ों जैसी ख़ास ध्वनियाँ पकड़ने के लिए समय के निशान वाले span के साथ एनोटेशन सेट कीजिए।

Potato Team

Audio event detection का मतलब है किसी रिकॉर्डिंग के भीतर ख़ास आवाज़ें ढूँढ़ना: कुत्ते का भौंकना, सायरन, संगीत का एक टुकड़ा, दरवाज़े का ज़ोर से बंद होना। यह ट्यूटोरियल ध्वनि पहचानने वाले मॉडल के प्रशिक्षण के लिए समय के निशान पर आधारित एनोटेशन को देखता है। इसके पीछे के ऑडियो कॉन्फ़िगरेशन विकल्पों के लिए ऑडियो एनोटेशन दस्तावेज़ देखें।

ऑडियो इवेंट एनोटेशन के प्रकार

सबसे सरल रूप है क्लिप-स्तर की टैगिंग, जिसमें आप पूरे क्लिप पर उसमें मौजूद आवाज़ों के लेबल लगाते हैं। Temporal detection इससे आगे जाकर हर इवेंट की शुरुआत और अंत चिह्नित करता है। प्रति-इवेंट सटीक समय के निशान को आम तौर पर “strong” लेबलिंग कहा जाता है और बिना समय के सिर्फ़ मौजूदगी या ग़ैर-मौजूदगी को “weak” लेबलिंग। आपको कौन सा चाहिए, यह इस पर टिका है कि आपके मॉडल को क्या सीखना है।

क्लिप-स्तर की ध्वनि टैगिंग

एकल इवेंट वाले छोटे क्लिप के लिए:

yaml
annotation_task_name: "Sound Event Classification"
 
data_files:
  - data/audio_clips.json
 
item_properties:
  audio_path: audio_path
 
annotation_schemes:
  - annotation_type: audio_annotation
    name: sound_class
    description: "What sound is in this clip?"
    labels:
      - Dog bark
      - Car horn
      - Siren
      - Music
      - Speech
      - Footsteps
      - Door knock
      - Glass breaking
      - Gunshot
      - Baby cry
      - Other
      - Silence/noise only

समय के साथ sound event detection

चिह्नित कीजिए कि इवेंट कब होते हैं:

yaml
annotation_task_name: "Sound Event Detection"
 
data_files:
  - data/recordings.json
 
item_properties:
  audio_path: audio_path
 
annotation_schemes:
  - annotation_type: audio_annotation
    playback_rate_control: true
    name: events
    description: "Mark all sound events with timestamps"
    labels:
      - name: speech
        color: "#3B82F6"
      - name: music
        color: "#8B5CF6"
      - name: vehicle
        color: "#EF4444"
      - name: animal
        color: "#F59E0B"
      - name: nature
        color: "#10B981"
      - name: mechanical
        color: "#6B7280"

पूरा ऑडियो इवेंट कॉन्फ़िगरेशन

yaml
annotation_task_name: "AudioSet-Style Event Detection"
 
data_files:
  - data/audio_10sec.json
 
item_properties:
  audio_path: audio_url
 
annotation_schemes:
  # Temporal event marking with audio playback
  - annotation_type: audio_annotation
    playback_rate_control: true
    name: sound_events
    description: "Mark all distinct sound events"
    labels:
      # Human sounds
      - name: Speech
        color: "#3B82F6"
        keyboard_shortcut: "1"
        category: human
      - name: Singing
        color: "#8B5CF6"
        keyboard_shortcut: "2"
        category: human
      - name: Laughter
        color: "#EC4899"
        category: human
      - name: Cough/Sneeze
        color: "#F472B6"
        category: human
 
      # Music
      - name: Music
        color: "#A855F7"
        keyboard_shortcut: "m"
        category: music
      - name: Musical instrument
        color: "#7C3AED"
        category: music
 
      # Animals
      - name: Dog
        color: "#F59E0B"
        keyboard_shortcut: "d"
        category: animal
      - name: Cat
        color: "#FBBF24"
        category: animal
      - name: Bird
        color: "#FCD34D"
        category: animal
 
      # Vehicles
      - name: Car
        color: "#EF4444"
        keyboard_shortcut: "c"
        category: vehicle
      - name: Motorcycle
        color: "#DC2626"
        category: vehicle
      - name: Siren
        color: "#B91C1C"
        category: vehicle
      - name: Aircraft
        color: "#991B1B"
        category: vehicle
 
      # Environment
      - name: Rain
        color: "#06B6D4"
        category: nature
      - name: Thunder
        color: "#0891B2"
        category: nature
      - name: Wind
        color: "#0E7490"
        category: nature
      - name: Water
        color: "#0D9488"
        category: nature
 
      # Domestic
      - name: Door
        color: "#84CC16"
        category: domestic
      - name: Alarm
        color: "#65A30D"
        category: domestic
      - name: Appliance
        color: "#4D7C0F"
        category: domestic
 
      # Other
      - name: Noise/Unknown
        color: "#6B7280"
        keyboard_shortcut: "n"
        category: other
 
 
    # Segment attributes
 
  # Clip-level tags (weak labels)
  - annotation_type: multiselect
    name: clip_tags
    description: "What sounds are present anywhere in this clip?"
    labels:
      - Speech
      - Music
      - Vehicle sounds
      - Animal sounds
      - Nature sounds
      - Domestic sounds
      - Silence
 
  # Audio quality
  - annotation_type: radio
    name: quality
    description: "Recording quality"
    labels:
      - Clean (clear sounds)
      - Moderate noise
      - Very noisy
      - Distorted/clipped
 
annotation_guidelines:
  title: "Sound Event Detection Guide"
  content: |
    ## Your Task
    Mark the START and END times of each distinct sound event.
 
    ## Event Detection Rules
    - Mark sounds that are clearly audible
    - Include overlapping sounds (use multiple labels)
    - Short sounds (<100ms) may be a single point
 
    ## Segment Boundaries
    - Start: When sound becomes audible
    - End: When sound fades or stops
 
    ## Confidence Levels
    - Clear: Easily identifiable
    - Moderate: Reasonably sure
    - Faint: Background, hard to identify
 
    ## Foreground vs Background
    - Foreground: Main focus of audio
    - Background: Ambient sounds
 

आउटपुट प्रारूप

json
{
  "id": "clip_001",
  "audio_url": "/audio/street_scene.wav",
  "duration": 10.0,
  "annotations": {
    "sound_events": [
      {
        "label": "Speech",
        "start": 0.5,
        "end": 3.2,
        "attributes": {
          "confidence": "Clear",
          "foreground": true
        }
      },
      {
        "label": "Car",
        "start": 1.8,
        "end": 4.5,
        "attributes": {
          "confidence": "Moderate",
          "foreground": false
        }
      },
      {
        "label": "Dog",
        "start": 6.1,
        "end": 6.8,
        "attributes": {
          "confidence": "Clear",
          "foreground": true
        }
      }
    ],
    "clip_tags": ["Speech", "Vehicle sounds", "Animal sounds"],
    "quality": "Moderate noise"
  }
}

डिटेक्टर से पूर्व-एनोटेशन

आप इंटरफ़ेस में मॉडल की भविष्यवाणियाँ पहले से भर सकते हैं, ताकि एनोटेटर शून्य से शुरू करने के बजाय सुधार करें:

yaml
pre_annotation:
  enabled: true
  field: detected_events
  show_confidence: true
  confidence_threshold: 0.3
  allow_modification: true

ऑडियो इवेंट एनोटेशन के सुझाव

यहाँ अच्छे हेडफ़ोन से असली फ़र्क़ पड़ता है, क्योंकि बहुत सारे इवेंट धीमे होते हैं, और शांत कमरा भी मदद करता है। ज़्यादातर एनोटेटर दो चक्करों में काम करते हैं: पहले में इवेंट ढूँढ़ना, दूसरे में समय के निशान कसना। प्लेबैक 0.5x पर करने से सीमाएँ लगाना कहीं आसान हो जाता है। पहले ही तय कर लीजिए कि “सुनाई देने लायक” किसे माना जाएगा, ताकि सब एक ही जगह लकीर खींचें।

अगले क़दम


पूरे ऑडियो दस्तावेज़ ऑडियो एनोटेशन पर हैं।