Разметка эмоций в речи: категории и измерения

При разметке эмоций в речи слушатель отмечает эмоцию, которую слышит в записи, либо категорией, например гнев или грусть, либо оценками валентности, возбуждения и доминантности. Крупные корпуса собирали от двух до десяти суждений на клип и сообщали согласованность с поправкой на случайность для категорий от 0,27 до 0,52. Закладывайте не меньше пяти оценщиков на клип и сохраняйте метку каждого оценщика.

Модели распознавания эмоций в речи обучаются на метках эмоций в речи. Категориальная метка присваивает одну эмоцию из фиксированного набора, как в дискретных моделях классификации эмоций. Размерная оценка помещает высказывание на непрерывные шкалы, обычно это валентность (от негативного к позитивному), возбуждение, или активация (от спокойного к возбуждённому), и доминантность (от слабого к сильному). Эти три шкалы служат осями модели PAD. Размерные оценки часто собирают с помощью Self-Assessment Manikin. Манекен представляет собой ряд схематичных фигурок для каждой шкалы.

Воспринимаемая эмоция — это то, что слышит слушатель, а выраженная, или намеренная, эмоция — это то, что говорящий или актёр хотел передать. Согласованность между оценщиками сообщают как надёжность между оценщиками. Чаще всего используют коэффициенты каппа Флейса или альфа Криппендорфа.

Это руководство разбирает проектные решения для исследования эмоций в речи и использует Potato как рабочий пример. Разметка аудио сопоставляет каждой аудиозадаче схему Potato, а учебный материал Классификация эмоций в речи шаг за шагом строит несколько интерфейсов для разметки эмоций. Сравнение инструментов разметки аудио сравнивает инструменты, а Шкалы оценок и дизайн шкал Лайкерта описывает устройство шкал для любой задачи.

Метки и оценщики в четырёх корпусах эмоциональной речи

Четыре широко используемых англоязычных корпуса показывают разброс наборов меток, числа оценщиков и правил консенсуса. Каждая строка взята из статьи о корпусе, указанной в разделе «Литература».

Оценщики IEMOCAP пришли к большинству на 74,6% реплик, а MSP-Podcast выделяет класс «нет согласия» для реплик, где относительное большинство не сложилось. CREMA-D откладывает клипы без биномиального большинства как неоднозначные. Исследованию, которому нужна одна метка на клип, стоит заложить долю клипов, которые останутся без метки большинства.

Опубликованная согласованность меток эмоций в речи

Четыре корпуса сообщают согласованность с поправкой на случайность для категорий эмоций от 0,27 до 0,52. IEMOCAP сообщает каппу Флейса 0,27 по всем репликам. Каппа выросла до 0,35 после того, как авторы объединили радость с возбуждением (excited) и свели страх, отвращение и удивление в категорию «другая». MSP-Podcast сообщает каппу 0,411 для основных эмоций, а CREMA-D сообщает альфу Криппендорфа 0,42 для меток эмоций. RAVDESS сообщает каппу Флейса для речи только в аудио 0,41 при обычной интенсивности и 0,52 при сильной интенсивности.

Оценки валентности согласуются лучше всего в обоих корпусах, которые сообщают все три измерения. MSP-Podcast сообщает альфу Криппендорфа 0,508 для валентности, 0,441 для возбуждения и 0,386 для доминантности. IEMOCAP сообщает альфу Кронбаха между двумя своими оценщиками 0,809 для валентности, 0,607 для активации и 0,608 для доминантности. Альфа Кронбаха и альфа Криппендорфа измеряют разные вещи, поэтому сравнивайте два корпуса по порядку измерений, а не по значениям. Пилот с категориальной каппой около 0,4 соответствует опубликованным корпусам, а пилотная каппа намного ниже 0,27 у IEMOCAP служит поводом пересмотреть инструкции или проверить оценщиков перед масштабированием.

Воспринимаемая и выраженная эмоция

Актёры и слушатели часто расходятся в том, какую эмоцию выражает высказывание. В IEMOCAP шесть актёров разметили импровизированные реплики, которые каждый из них исполнил, и метки актёров совпали с меткой большинства слушателей в 60% случаев против 79% у других слушателей. В CREMA-D отдельные оценщики совпали с задуманной актёром эмоцией на 40,9% клипов только с аудио, 58,2% клипов только с видео и 63,6% аудиовизуальных клипов. Оценщики RAVDESS определили задуманную эмоцию в 58% речи только в аудио при обычной интенсивности и в 67% при сильной интенсивности.

Решите, какой конструкт должны измерять метки, прежде чем формулировать вопрос. В исследовании воспринимаемой эмоции спрашивайте «Какую эмоцию вы слышите?» и считайте ответом распределение меток оценщиков. В исследовании выраженной эмоции сохраняйте метку, задуманную говорящим, или его самоотчёт, а оценки слушателей используйте для проверки того, что запись передаёт эмоцию. Актёрские корпуса, такие как CREMA-D и RAVDESS, фиксируют и задуманную, и воспринимаемую эмоцию, а натуралистические корпуса, такие как MSP-Podcast, фиксируют только воспринимаемую эмоцию.

Весь диалог или отдельное высказывание

Авторы IEMOCAP просили оценщиков судить о репликах в контексте, потому что считали контекст высказывания важным для распознавания эмоции. Оценщики IEMOCAP смотрели каждую сессию и оценивали реплики по порядку. При каждом суждении оценщику были доступны предыдущие реплики. MSP-Podcast нарезает подкасты на реплики одного говорящего и отдаёт каждую реплику на оценку как отдельный объект. MSP-Podcast задаёт нижнюю границу 2,75 секунды, чтобы у оценщиков было достаточно речи для суждения. Команда MSP-Podcast разделяла реплики длиннее 11 секунд, потому что эмоция может меняться внутри реплики.

В Potato метка на клип задаётся схемой radio или likert рядом с отображением audio, а предыдущие реплики можно поместить в текстовое поле над клипом. Для длинных записей, где эмоция меняется, схема audio_annotation позволяет оценщикам отмечать сегменты на осциллограмме и размечать каждый из них. В режиме questions та же схема задаёт набор вопросов о каждом сегменте, который отметил оценщик.

Условия прослушивания и отбор оценщиков

RAVDESS, CREMA-D и MSP-Podcast документируют меры контроля над тем, что слышали оценщики, или над тем, кто оценивал. Оценщики RAVDESS сидели в звукоизолированных кабинах в наушниках Sennheiser с фиксированной громкостью, а экран оценки появлялся только после окончания клипа. Оценщики CREMA-D перед началом задачи должны были распознать три слова, проигранные на низкой, средней и высокой громкости, не более чем за три попытки. MSP-Podcast после проверок согласованности исключил 430 краудворкеров вместе с их 44 968 аннотациями, а затем перешёл к обученным оценщикам-студентам, которые прошли отборочный тест и получали еженедельные отчёты о согласованности.

Potato покрывает онлайн-варианты этих мер контроля. Фаза headphone_check отсеивает участников, которые слушают через динамики. Обучающая фаза даёт тренировочные клипы с обратной связью, а эталонные объекты и проверки внимания оценивают точность во время основной задачи. Если задан min_response_time, Potato засчитывает как неверный любой ответ на проверку внимания, данный быстрее, чем клип можно было прослушать. Оценщиков можно набирать через Prolific или университетский пул SONA, как описано в руководстве Как провести краудсорсинговое исследование на Prolific и SONA. Potato — это только программа, и команда Potato не предоставляет оценщиков.

Голосование большинством или распределения меток

Голосование большинством превращает несколько суждений в одну обучающую метку и отбрасывает расхождения. IEMOCAP и MSP-Podcast оба используют голосование для категорий, а MSP-Podcast усредняет размерные оценки. MSP-Podcast также распространяет отдельные аннотации для каждой реплики, и авторы называют обучение на мягких метках среди возможных применений. Мягкая метка — это доля оценщиков, выбравших каждую эмоцию. Клип, в котором трое из пяти оценщиков услышали гнев, а двое фрустрацию, превращается в 0,6 гнева и 0,4 фрустрации.

Potato хранит ответы каждого оценщика отдельно, и голосование, среднее или распределение можно вычислить после сбора. Схема soft_label идёт дальше и просит каждого оценщика распределить 100 баллов между эмоциями. Агрегация краудсорсинговых меток подробнее сравнивает агрегацию голосованием и агрегацию на основе моделей.

Отчёт о согласованности по адресу /admin/iaa выбирает меры в зависимости от типа схемы:

• radio: процент совпадений, каппа Коэна, каппа Флейса и номинальная альфа Криппендорфа.
• likert: линейно и квадратично взвешенная каппа, ро Спирмена и порядковая альфа Криппендорфа.
• slider: r Пирсона, средняя абсолютная ошибка, среднеквадратичная ошибка, интервальная альфа Криппендорфа и ICC(2,k).
• soft_label: альфа Криппендорфа, объединённая по всем эмоциям и отдельно для каждой эмоции.

Число оценщиков на клип в опубликованных корпусах

В опубликованных корпусах на клип приходилось от двух до десяти оценщиков. Три категориальных и два размерных оценщика IEMOCAP составляют нижнюю границу, а CREMA-D и RAVDESS собрали по 10 суждений на каждый клип. Минимума MSP-Podcast в пять оценщиков достаточно для голосования относительным большинством, и он даёт распределение из пяти голосов для мягких меток. Оплачивайте дополнительных оценщиков для неоднозначных клипов, а не для всех клипов подряд, а расчёт мощности приведён в руководстве Сколько нужно разметчиков?.

Задача разметки эмоций в речи в Potato

Запись IEMOCAP в витрине кратко описывает корпус. Конфигурация ниже адаптирует набор меток IEMOCAP к клипам только с аудио, оценивает три измерения по пятибалльной шкале IEMOCAP и показывает предыдущие реплики в виде текста. Поле контекста повторяет схему IEMOCAP с оценкой в контексте. Каждый клип получает пять оценщиков, как в минимуме MSP-Podcast, а проверка наушников и тренировочные клипы идут перед первым настоящим объектом.

annotation_task_name: "Speech emotion, one utterance at a time"
task_dir: "."
data_files:
  - "data/utterances.jsonl"
item_properties:
  id_key: id
  text_key: audio_url
output_annotation_dir: "annotation_output/"
 
instance_display:
  fields:
    - key: context
      type: text
      label: "Earlier in the conversation"
    - key: audio_url
      type: audio
      label: "Utterance to rate"
      display_options:
        show_waveform: true
 
annotation_schemes:
  - annotation_type: radio
    name: emotion
    description: "Which emotion do you hear in this utterance?"
    labels: [neutral, happiness, excitement, sadness, anger, frustration, fear, surprise, disgust, other]
    label_requirement: {required: true}
  - annotation_type: likert
    name: valence
    description: "How negative or positive does the speaker sound?"
    size: 5
    min_label: "Very negative"
    max_label: "Very positive"
  - annotation_type: likert
    name: arousal
    description: "How calm or excited does the speaker sound?"
    size: 5
    min_label: "Very calm"
    max_label: "Very excited"
  - annotation_type: likert
    name: dominance
    description: "How weak or strong does the speaker sound?"
    size: 5
    min_label: "Very weak"
    max_label: "Very strong"
 
num_annotators_per_item: 5
 
training:
  enabled: true
  data_file: "data/training.json"
  allow_retry: true
 
phases:
  order: [headphones, training, annotation]
  headphones:
    type: headphone_check
    test: huggins
  training: {type: training, title: "Practice clips"}
  annotation: {type: annotation}

Каждая строка data/utterances.jsonl содержит id, audio_url и строку context с предшествующими репликами. Удалите поле context из instance_display, чтобы оценивать каждую реплику как отдельный объект, как это делает MSP-Podcast. В data/training.json перечислены тренировочные клипы, и для каждого клипа указаны запись correct_answers и explanation. Запустите сервер командой potato start config.yaml и после пилотной партии откройте /admin/iaa, чтобы проверить, близка ли согласованность к опубликованному диапазону.

Частые вопросы

Что такое разметка эмоций в речи?

Разметка эмоций в речи — это присвоение записанной речи метки эмоции, которую слышит слушатель, в виде категории, в виде оценок валентности, возбуждения и доминантности или в виде того и другого. IEMOCAP и MSP-Podcast собирают оба вида меток. Метки используют для обучения и оценки моделей распознавания эмоций в речи. Опубликованные корпуса собирают от двух до десяти суждений на клип.

Какие метки эмоций используют при разметке аудио и речи?

IEMOCAP, MSP-Podcast, CREMA-D и RAVDESS используют короткий список базовых эмоций плюс вариант «нейтральная» или «нет эмоции». IEMOCAP добавляет фрустрацию и возбуждение (excited) к гневу, грусти, радости, отвращению, страху и удивлению, а MSP-Podcast добавляет презрение в основной список и предлагает 16 дополнительных эмоций. Размерные метки валентности, возбуждения и доминантности обычно стоят рядом с категориями. Оценщики оценивают каждое измерение по пятибалльной или семибалльной шкале манекена.

Как настроить задачу, в которой оценщики слушают голосовые записи и размечают эмоции?

Покажите каждый клип в аудиоплеере рядом с одним категориальным вопросом и необязательной шкалой оценки для каждого измерения, затем назначьте не меньше пяти оценщиков на клип. Отберите оценщиков с помощью проверки наушников и тренировочных клипов перед основной задачей. Сохраняйте ответ каждого оценщика и после сбора вычисляйте метку большинства, распределение меток или и то и другое.

Что почитать дальше

• Разметка аудио: настройка каждой аудиозадачи в Potato
• Классификация эмоций в речи: пошаговое руководство
• Potato для разметки аудио и речи
• Шкалы оценок и дизайн шкал Лайкерта
• Согласованность разметчиков: как её считать
• Агрегация краудсорсинговых меток
• Сравнение инструментов разметки аудио

Литература

Busso, C., Bulut, M., Lee, C.-C., Kazemzadeh, A., Mower, E., Kim, S., Chang, J. N., Lee, S., and Narayanan, S. S. (2008). IEMOCAP: Interactive Emotional Dyadic Motion Capture Database. Language Resources and Evaluation, 42(4), 335-359. https://doi.org/10.1007/s10579-008-9076-6

Busso, C., Lotfian, R., Sridhar, K., Salman, A. N., Lin, W.-C., Goncalves, L., Parthasarathy, S., Naini, A. R., Leem, S.-G., Martinez-Lucas, L., Chou, H.-C., and Mote, P. (2025). The MSP-Podcast Corpus. arXiv 2509.09791. https://doi.org/10.48550/arXiv.2509.09791

Cao, H., Cooper, D. G., Keutmann, M. K., Gur, R. C., Nenkova, A., and Verma, R. (2014). CREMA-D: Crowd-Sourced Emotional Multimodal Actors Dataset. IEEE Transactions on Affective Computing, 5(4), 377-390. https://doi.org/10.1109/TAFFC.2014.2336244

Livingstone, S. R., and Russo, F. A. (2018). The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS): A Dynamic, Multimodal Set of Facial and Vocal Expressions in North American English. PLOS ONE, 13(5), e0196391. https://doi.org/10.1371/journal.pone.0196391