カテゴリと次元による音声感情アノテーション

音声感情アノテーションは、聞き手に、録音から聞き取れる感情を、怒りや悲しみのようなカテゴリとして、または感情価、覚醒度、支配性の評定としてラベル付けしてもらいます。主要なコーパスはクリップあたり二つから十の判断を集め、カテゴリについて 0.27 から 0.52 の偶然補正済みの一致度を報告しました。クリップあたり少なくとも五人の評価者を計画し、すべての評価者のラベルを保持してください。

音声感情認識のモデルは、音声感情のラベルから学習します。カテゴリラベルは、感情の分類の離散モデルのように、固定された集合から一つの感情を割り当てます。次元評定は、発話を連続的な尺度の上に置き、通常は感情価（否定的から肯定的）、覚醒度または活性化（穏やかから興奮）、支配性（弱いから強い）を使います。この三つの尺度は、PAD モデルの軸です。次元評定は、Self-Assessment Manikinで集められることがよくあります。マニキンは、各尺度に対する漫画の人物像の列です。

知覚された感情は聞き手が聞き取るもので、表出された感情または意図された感情は、話者や俳優が伝えようとしたものです。評価者間の一致度は、評価者間信頼性として報告されます。最も一般的な係数は、Fleiss のカッパまたは Krippendorff のアルファです。

このガイドは、音声感情の調査の設計上の判断を扱い、Potato を実例として使います。音声アノテーションは、すべての音声タスクを Potato のスキームに対応づけ、チュートリアル音声の感情を分類するは、いくつかの感情インターフェースを段階的に構築します。音声アノテーションツールの比較はツールを比較し、評定尺度とリッカート設計は、あらゆるタスクの尺度設計を扱います。

四つの音声感情コーパスにおけるラベルと評価者

広く使われている四つの英語コーパスは、ラベルの集合、評価者の数、合意の規則の幅を示しています。各行は、参考文献に挙げたコーパスの論文によるものです。

IEMOCAP の評価者はターンの 74.6% で多数に達し、MSP-Podcast は、相対多数が生じなかったターンのために「no agreement」クラスを報告しています。CREMA-D は、二項多数決のないクリップを曖昧なものとして別にします。クリップごとに一つのラベルが必要な調査では、多数のラベルが得られないまま終わるクリップが一定の割合で出ることを見込んでおいてください。

音声感情ラベルの公刊された一致度

四つのコーパスは、感情カテゴリについて、0.27 から 0.52 の偶然補正済みの一致度を報告しています。IEMOCAP は、全ターンについて Fleiss のカッパ 0.27 を報告しています。このカッパは、著者らが happiness を excited と統合し、fear、disgust、surprise を other にまとめた後に、0.35 に上がりました。MSP-Podcast は、主感情についてカッパ 0.411 を報告し、CREMA-D は、感情ラベルについて Krippendorff のアルファ 0.42 を報告しています。RAVDESS は、音声のみの発話についての Fleiss のカッパを、通常の強度で 0.41、強い強度で 0.52 と報告しています。

三つの次元をすべて報告している二つのコーパスでは、感情価の評定が最もよく一致します。MSP-Podcast は、Krippendorff のアルファを、感情価 0.508、覚醒度 0.441、支配性 0.386 と報告しています。IEMOCAP は、二人の評価者間の Cronbach のアルファを、感情価 0.809、活性化 0.607、支配性 0.608 と報告しています。Cronbach のアルファと Krippendorff のアルファは異なるものを測っているため、二つのコーパスは、値ではなく次元の順序で比較してください。カテゴリのカッパが 0.4 前後のパイロットは、公刊されたコーパスと同程度で、IEMOCAP の 0.27 を大きく下回るパイロットのカッパは、規模を拡大する前に、ガイドラインを見直すか評価者を確認すべき理由になります。

知覚された感情と表出された感情

俳優と聞き手は、発話がどの感情を表しているかについて、しばしば意見が分かれます。IEMOCAP では、六人の俳優が、各自が演じた即興のターンにラベルを付け、俳優のラベルが聞き手の多数のラベルと一致したのは 60% で、ほかの聞き手では 79% でした。CREMA-D では、個々の評価者が俳優の意図した感情と一致したのは、音声のみのクリップで 40.9%、映像のみのクリップで 58.2%、音声と映像のクリップで 63.6% でした。RAVDESS の評価者は、通常の強度の音声のみの発話の 58%、強い強度では 67% で、意図された感情を識別しました。

質問を書く前に、ラベルがどの構成概念を測るべきかを決めてください。知覚された感情の調査では、「どの感情が聞こえますか？」と尋ね、評価者の分布を答えとして扱います。表出された感情の調査では、話者の意図したラベルまたは自己報告を保持し、聞き手の評定を使って、録音がその感情を伝えていることを確認します。CREMA-D や RAVDESS のような演技のコーパスは、意図された感情と知覚された感情の両方を記録し、MSP-Podcast のような自然発話のコーパスは、知覚された感情のみを記録します。

対話全体か、孤立した発話か

IEMOCAP の著者らは、発話の文脈が感情の認識にとって重要だと考えたため、評価者にターンを文脈の中で判断させました。IEMOCAP の評価者は、各セッションを視聴し、ターンを順に評価しました。以前のターンは、すべての判断で評価者が利用できました。MSP-Podcast は、ポッドキャストを単一話者のターンに切り分け、各ターンを別々のアイテムとして評価させます。MSP-Podcast は、評価者が判断するのに十分な発話を確保するため、下限を 2.75 秒に設定しています。MSP-Podcast のチームは、一つのターン内で感情が変わりうるため、11 秒より長いターンを分割しました。

Potato では、クリップごとのラベルは audio ディスプレイの隣の radio または likert スキームで、以前のターンは、クリップの上のテキストフィールドに置けます。感情が移り変わる長い録音には、audio_annotation スキームを使うと、評価者は波形上でセグメントに印を付け、それぞれにラベルを付けられます。questions モードでは、同じスキームが、評価者が印を付けたすべてのセグメントについて、一組の質問をします。

聴取環境と評価者のスクリーニング

RAVDESS、CREMA-D、MSP-Podcast は、それぞれ、評価者が何を聞いたか、または誰が評価したかについての制御を記録しています。RAVDESS の評価者は、防音ブースで固定の音量の Sennheiser のヘッドホンを使って座り、評定画面はクリップが終わった後にのみ表示されました。CREMA-D の評価者は、タスクの開始前に、小、中、大の音量で再生された三つの単語を、最大三回の試行で認識しなければなりませんでした。MSP-Podcast は、一致度のチェックの後に、430 人のクラウドワーカーとその 44,968 件のアノテーションを除外し、スクリーニングテストに合格して週ごとの一致度のレポートを受け取る、訓練を受けた学生の評価者に移行しました。

Potato は、これらの制御のオンライン版をカバーします。headphone_check フェーズは、スピーカーで聞いている参加者を除外します。訓練フェーズは、フィードバック付きの練習クリップを提供し、ゴールドアイテムと注意チェックは、実際のタスクの間の正確さを採点します。min_response_time を設定すると、Potato は、クリップを聞き終えられるより速く与えられた注意チェックの回答を、不合格にします。評価者は、Prolific と SONA でのクラウドソーシング調査の実施で説明されているとおり、Prolific または大学の SONA プールから集められます。Potato はソフトウェアのみで、Potato チームは評価者を提供しません。

多数決かラベルの分布か

多数決は、複数の判断を一つの学習ラベルに変え、不一致を捨てます。IEMOCAP と MSP-Podcast は、どちらもカテゴリに多数決を使い、MSP-Podcast は次元の評定を平均します。MSP-Podcast は、各ターンの個々のアノテーションも配布しており、著者らは、ソフトラベルでの学習を用途の一つに挙げています。ソフトラベルは、各感情を選んだ評価者の割合です。五人のうち三人が怒りと聞き、二人がフラストレーションと聞いたクリップは、怒り 0.6、フラストレーション 0.4 になります。

Potato は各評価者の回答を別々に保存し、収集後に、多数決、平均、分布のいずれも計算できます。soft_label スキームはさらに進んで、各評価者に、100 点を感情の間に配分してもらいます。クラウドラベルの集約は、投票に基づく集約とモデルに基づく集約を、より詳しく比較しています。

/admin/iaa の一致度レポートは、スキームタイプによって指標を選びます。

• radio: 百分率一致、Cohen のカッパ、Fleiss のカッパ、名義の Krippendorff のアルファ。
• likert: 線形および二次の重み付きカッパ、Spearman のロー、順序の Krippendorff のアルファ。
• slider: Pearson の r、平均絶対誤差、二乗平均平方根誤差、間隔の Krippendorff のアルファ、ICC(2,k)。
• soft_label: すべての感情でプールした、および各感情別の Krippendorff のアルファ。

公刊されたコーパスにおけるクリップあたりの評価者

公刊されたコーパスは、クリップあたり二人から十人の評価者を使いました。IEMOCAP のカテゴリの評価者 3 人と次元の評価者 2 人は下限で、CREMA-D と RAVDESS は、各クリップに 10 の判断を集めました。MSP-Podcast の最低五人の評価者は、相対多数決には十分で、ソフトラベルのための五票の分布を与えます。すべてのクリップではなく、曖昧なクリップにより多くの評価者を割り当ててください。検出力の計算については、アノテーターは何人必要かを参照してください。

Potato での音声感情タスク

IEMOCAP ショーケースの項目は、このコーパスを要約しています。以下の設定は、IEMOCAP のラベルの集合を音声のみのクリップに適応させ、IEMOCAP の五段階尺度で三つの次元を評定し、以前のターンをテキストとして表示します。文脈フィールドは、IEMOCAP の文脈内設計を踏襲しています。各クリップには、MSP-Podcast の最低人数に合わせて五人の評価者が付き、ヘッドホンチェックと練習クリップは、最初の本番のアイテムの前に実行されます。

annotation_task_name: "Speech emotion, one utterance at a time"
task_dir: "."
data_files:
  - "data/utterances.jsonl"
item_properties:
  id_key: id
  text_key: audio_url
output_annotation_dir: "annotation_output/"
 
instance_display:
  fields:
    - key: context
      type: text
      label: "Earlier in the conversation"
    - key: audio_url
      type: audio
      label: "Utterance to rate"
      display_options:
        show_waveform: true
 
annotation_schemes:
  - annotation_type: radio
    name: emotion
    description: "Which emotion do you hear in this utterance?"
    labels: [neutral, happiness, excitement, sadness, anger, frustration, fear, surprise, disgust, other]
    label_requirement: {required: true}
  - annotation_type: likert
    name: valence
    description: "How negative or positive does the speaker sound?"
    size: 5
    min_label: "Very negative"
    max_label: "Very positive"
  - annotation_type: likert
    name: arousal
    description: "How calm or excited does the speaker sound?"
    size: 5
    min_label: "Very calm"
    max_label: "Very excited"
  - annotation_type: likert
    name: dominance
    description: "How weak or strong does the speaker sound?"
    size: 5
    min_label: "Very weak"
    max_label: "Very strong"
 
num_annotators_per_item: 5
 
training:
  enabled: true
  data_file: "data/training.json"
  allow_retry: true
 
phases:
  order: [headphones, training, annotation]
  headphones:
    type: headphone_check
    test: huggins
  training: {type: training, title: "Practice clips"}
  annotation: {type: annotation}

data/utterances.jsonl の各行には、id、audio_url、そして前のターンを含む context の文字列が含まれます。MSP-Podcast のように各ターンを別々のアイテムとして評定するには、instance_display から context フィールドを取り除いてください。data/training.json は、各クリップの correct_answers の項目と explanation を持つ練習クリップを一覧します。サーバーは potato start config.yaml で起動し、パイロットのバッチの後に /admin/iaa を確認して、一致度が公刊された範囲に近いかどうかを見てください。

よくある質問

音声感情アノテーションとは何ですか？

音声感情アノテーションは、録音された音声に、聞き手が聞き取る感情を、カテゴリとして、感情価、覚醒度、支配性の評定として、またはその両方としてラベル付けすることです。IEMOCAP と MSP-Podcast は、両方の種類のラベルを集めています。このラベルは、音声感情認識のモデルの学習と評価に使われます。公刊されたコーパスは、クリップあたり二つから十の判断を集めています。

音声のアノテーションでは、どのような感情ラベルが使われますか？

IEMOCAP、MSP-Podcast、CREMA-D、RAVDESS は、それぞれ基本感情の短いリストに、neutral または感情なしの選択肢を加えて使っています。IEMOCAP は、anger、sadness、happiness、disgust、fear、surprise に frustration と excited を加え、MSP-Podcast は、主感情のリストに contempt を加え、16 の副感情を提供しています。感情価、覚醒度、支配性の次元ラベルは、通常カテゴリと並んで置かれます。評価者は、各次元を五段階または七段階のマニキン尺度で採点します。

評価者が音声クリップを聞いて感情にラベルを付けるタスクは、どのように設定しますか？

各クリップを、一つのカテゴリの質問と、各次元の任意の評定尺度の隣にあるオーディオプレーヤーで表示し、クリップごとに少なくとも五人の評価者を割り当てます。本番のタスクの前に、ヘッドホンチェックと練習クリップで評価者をスクリーニングしてください。すべての評価者の回答を保持し、収集後に多数決のラベル、ラベルの分布、またはその両方を計算します。

関連資料

• 音声アノテーション。Potato で設定する各音声タスクについて
• 音声の感情を分類する。段階的なチュートリアル
• 音声・発話アノテーションのための Potato
• 評定尺度とリッカート設計
• アノテーター間一致度の解説
• クラウドラベルの集約
• 音声アノテーションツールの比較

参考文献

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). IEMOCAP: Interactive Emotional Dyadic Motion Capture Database. Language Resources and Evaluation, 42(4), 335-359. https://doi.org/10.1007/s10579-008-9076-6

Busso, C., Lotfian, R., Sridhar, K., Salman, A. N., Lin, W.-C., Goncalves, L., Parthasarathy, S., Naini, A. R., Leem, S.-G., Martinez-Lucas, L., Chou, H.-C., and Mote, P. (2025). The MSP-Podcast Corpus. arXiv 2509.09791. https://doi.org/10.48550/arXiv.2509.09791

Cao, H., Cooper, D. G., Keutmann, M. K., Gur, R. C., Nenkova, A., and Verma, R. (2014). CREMA-D: Crowd-Sourced Emotional Multimodal Actors Dataset. IEEE Transactions on Affective Computing, 5(4), 377-390. https://doi.org/10.1109/TAFFC.2014.2336244

Livingstone, S. R., and Russo, F. A. (2018). The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A Dynamic, Multimodal Set of Facial and Vocal Expressions in North American English. PLOS ONE, 13(5), e0196391. https://doi.org/10.1371/journal.pone.0196391