音声アノテーション
Potato における音声アノテーションの完全ガイド。分類、タグ付け、波形上での音響イベント検出、書き起こし、品質(MOS)評価、感情、話者ダイアライゼーションを解説します。
音声アノテーションは、クリップ全体にラベルを付ける作業(「これは音声か音楽か?」)から、波形上である音がちょうど起こる瞬間を示す作業まで、あらゆるものを対象とします。 Potato は再生と時間マーカー付きのインタラクティブな波形を表示するため、同じツールで分類、タグ付け、時間整合したイベント検出、書き起こし、品質評価、話者関連の作業を扱えます。機能リファレンスは音声アノテーションを参照してください。
このガイドでは、よくある音声タスクのそれぞれを Potato の設定と実行可能なショーケース設計に対応づけます。
クリップレベルの分類
クリップ全体に 1 つのカテゴリを付けます。これは音響シーン分類、環境音分類、キーワードスポッティング、呼吸音分類に該当します。
annotation_schemes:
- annotation_type: radio
name: scene
description: "What environment was this recorded in?"
labels: [Street, Park, Office, Home, Vehicle]複数ラベルのタグ付け
音楽タグ付けや AudioSet 形式のイベント分類のように、複数の音やタグが同時に当てはまる場合は multiselect を使います。
annotation_schemes:
- annotation_type: multiselect
name: tags
description: "Select every instrument you can hear."
labels: [Guitar, Drums, Piano, Vocals, Bass, Synth]音響イベント検出:波形上のスパン
音がいつ始まり終わるかを示すには、音声のタイムライン上にスパンを引きます。これが音響イベント検出で、スパンアノテーションの音声版です。
annotation_schemes:
- annotation_type: span
name: events
description: "Mark the start and end of each sound event and label it."
labels: [Speech, Music, Dog bark, Siren, Silence]書き起こし
音声の書き起こしでは、再生を自由記述のテキスト欄と組み合わせます。アノテーターは入力しながら波形をスクラブできます。
annotation_schemes:
- annotation_type: text
name: transcript
description: "Type what is said in this clip."品質評価:MOS と明瞭度
主観的な音質は平均オピニオン評点で測定します。これは複数の聴取者にわたって平均した 1〜5 のリッカート評価です。これは音声品質(MOS)と音声明瞭度に該当します。
annotation_schemes:
- annotation_type: likert
name: mos
description: "Rate the overall quality of this audio."
size: 5
min_label: "Bad"
max_label: "Excellent"尺度設計のコツは評価尺度を参照してください。
感情と感情極性
音声感情認識と音声感情極性分析は、カテゴリ(感情)と次元的な評価(覚醒度、感情価)を組み合わせ、radio に slider または likert を併用して実現します。
話者ダイアライゼーション
話者ダイアライゼーションは「誰がいつ話したか」に答えます。アノテーターは時間スパンを示し、それぞれを話者に紐づけます。これはスパンアノテーションに紐づけの手順を加えたものです。
実践的なヒント
- 一、二回の再生で判断できる程度にクリップを短く保ちます。長いクリップは一致度を下げます。
- イベント検出では、境界をどの程度正確にすべきか合意し、スパンの粒度で一致度を測ってください。アノテーター間一致度を参照。
- クリップ間でラウドネスを正規化し、品質評価が音量に左右されないようにします。