Сервисы разметки аудио и собственные инструменты разметки

Что спросить у поставщика разметки аудио до подписания договора, что нужно для собственного исследования с расшифровкой или диаризацией и как самостоятельно проверить метки поставщика.

Сервис разметки аудио предоставляет обученных разметчиков и возвращает размеченное аудио по цене, которую называет для каждого проекта отдельно. Собственный инструмент разметки даёт только программу, а набирает, обучает и проверяет разметчиков ваша команда. Платите поставщику, когда работе нужны языки или объёмы, на которые у вашей команды нет людей, и размечайте сами, когда записи нельзя выносить за пределы вашего учреждения или когда метки зависят от суждений, которые есть только у вашей команды.

Размеченные данные для речи и аудио включают расшифровки, диаризацию говорящих (кто и когда говорил), звуковые события, эмоции и намерения в речи. Сервис разметки аудио — это компания, которая набирает разметчиков для этих задач и поставляет метки. Такую компанию также называют поставщиком разметки данных. Инструмент разметки — это программа, которая показывает запись разметчику и сохраняет его метки. Расшифровки обычно оценивают по доле ошибок в словах (word error rate), а метки сегментов и категорий — по надёжности между независимыми разметчиками.

Potato — бесплатный инструмент разметки с открытым исходным кодом (GPL-3.0-or-later), который работает на вашем собственном сервере, и команда Potato не предоставляет разметчиков. Это руководство разбирает выбор между покупкой размеченного аудио и самостоятельной разметкой. Сравнение инструментов разметки аудио сравнивает инструменты для собственной разметки, а Разметка аудио описывает настройку каждой аудиозадачи в Potato. Эксперты или краудсорсинг в разметке разбирает, кому поручать разметку, а Создать или купить инструмент разметки разбирает выбор программы для данных любого типа.

Услуги разметки аудио на страницах поставщиков

Поставщики описывают работу с аудио в общем словаре, куда входят расшифровка, диаризация, звуковые события и паралингвистические или эмоциональные метки. Поставщики продают эту работу вместе с управляемым штатом исполнителей и процессом контроля качества. Команда Potato прочитала страницу услуг по аудио или речи каждого поставщика 2 ноября 2026 года. В таблице ниже поставщики перечислены в алфавитном порядке, и для каждого записано, что сказано на его странице.

Поставщик	Работа с аудио, названная на странице поставщика	Исполнители и языки, как указано	Цена на странице
Appen	Расшифровка с указанием говорящих по протоколу подсчёта ошибок в словах, диаризация с временными метками реплик, невербальные сигналы, тональность, просодия и эмоции для данных синтеза речи	Краудсорсинговый пул в более чем 500 локалях	По запросу
CVAT.ai	Расшифровка речи нескольких говорящих, детекция речевой активности, сегментация реплик говорящих, сегментация звуковых событий, атрибуты говорящего, включая акцент и эмоции	Более 300 разметчиков в 12 часовых поясах	Оплата за минуту или за набор данных, минимальный бюджет 5000 долларов, поминутная ставка не опубликована
iMerit	Дословная и отредактированная расшифровка, субтитры с временными метками, разметка намерений и слотов	Языковые специалисты и эксперты в предметной области	По запросу
LXT	Преобразование речи в текст, диаризация говорящих, временные метки событий, разметка акустических шумов	Более 10 миллионов исполнителей в LXT и дочерней компании clickworker	По запросу
Shaip	Расшифровка с идентификаторами говорящих и пословными временными метками, диаризация, классификация акустических событий, разметка намерений и слотов	Более 150 языков и диалектов	По запросу

CVAT.ai выпускает открытый инструмент CVAT и продаёт услуги разметки наряду с этим инструментом. На странице Shaip среди выходных форматов Shaip названы TextGrid, ELAN и CTM. Potato читает все три формата, как показывает раздел о гибридных схемах ниже.

Вопросы к поставщику разметки аудио

Страницы поставщиков описывают процесс контроля качества и иногда приводят один процент точности или согласованности. Оценить такой процент можно только после того, как вы узнаете, как поставщик его вычислил. До подписания договора запросите следующее.

Пробную работу на вашем собственном аудио. Отправьте поставщику выборку самых трудных записей вместе с вашими инструкциями по разметке. Оцените полученные метки сами, прежде чем выделять весь бюджет.
Показатели согласованности и метод расчёта каждого показателя. Спросите, какой коэффициент сообщает поставщик, сколько разметчиков разметило каждый объект и относится ли показатель к вашей задаче или к другому проекту. Для расшифровок спросите, измеряется ли доля ошибок в словах относительно второго разметчика или относительно правки проверяющего.
Охват языков и диалектов. Спросите, сколько разметчиков являются носителями каждого диалекта в вашем аудио и как обрабатывается речь с переключением кодов.
Обращение с данными и срок хранения. Спросите, где хранится аудио, кто может прослушивать записи, работают ли разметчики из дома или из контролируемого помещения и когда поставщик удаляет аудио после сдачи работы.
Права на аудио и метки. Убедитесь, что ваши формы информированного согласия разрешают третьей стороне слушать записи и что договор передаёт права на метки вам и запрещает поставщику использовать ваше аудио в собственных наборах данных поставщика.
Единицу оплаты. Спросите, считается ли цена за минуту аудио, за час аудио, за метку или за час работы разметчика и сколько стоит раунд доработки.

Partnership on AI публикует библиотеку Responsible Sourcing Library для команд, которые покупают работу по разметке. В руководствах библиотеки Partnership on AI просит покупателей платить работникам больше местной прожиточной заработной платы, проводить пилотный запуск до начала работы и давать проверенные инструкции или обучение. В библиотеку входят шаблон для сравнения поставщиков и таблица прожиточной заработной платы.

Собственная разметка аудио в Potato

Собственная разметка означает, что ваша команда отвечает за каждую часть исследования, описанную ниже. Potato закрывает программную часть, а ваша команда обеспечивает людей и время.

Инструмент. Схема audio_annotation в Potato показывает форму волны и, по желанию, спектрограмму. Разметчики протягивают курсор по форме волны и создают размеченные сегменты. Схема speech_transcript показывает готовую расшифровку сегмент за сегментом для исправления, а схема tiered_annotation хранит уровни в стиле ELAN, которые экспортируются в EAF и TextGrid.

Разметчики. Разметчики могут прийти из вашей лаборатории, из университетского пула участников через SONA или с Prolific. Potato подключается к Prolific через идентификаторы участников в ссылке на исследование и коды завершения в конце. Mechanical Turk закрылся 30 сентября 2026 года. Руководство Как провести краудсорсинговое исследование описывает набор участников и справедливую оплату.

Обучение и контроль качества. Этап обучения даёт разметчикам пробные клипы с обратной связью и допускает только тех разметчиков, кто выполнил критерии прохождения. Эталонные примеры и проверки внимательности подмешиваются в основную задачу, чтобы оценивать точность и выявлять разметчиков, которые не слушают записи.

Согласованность. Для аудиосегментов Potato сравнивает каждую пару разметчиков по временному IoU и по F1 обнаружения при пороге сопоставления 0,5 по умолчанию. У согласованности по сегментам в Potato пока нет поправки на случайность, и причину объясняет страница Согласованность во времени.

Обращение с данными. Записи остаются на сервере, которым управляете вы. Локальная расшифровка в Potato использует faster-whisper на вашей собственной машине, и вся установка работает без доступа к сети (air-gapped), как только веса модели окажутся на машине, как описано на странице Развёртывание без доступа к сети и офлайн.

Главная статья расходов при собственной разметке — время вашей команды. Проведите короткий пилот, чтобы измерить, сколько времени уходит на каждый клип. Калькулятор стоимости разметки переводит это время на клип в бюджет.

Выбор между сервисом и собственной разметкой

Ниже каждой типичной ситуации сопоставлен путь, который обычно ей подходит.

Ситуация	Что обычно подходит
Тысячи часов на десятках языков, а штатных разметчиков нет	Сервис
Жёсткий срок через несколько недель и нет времени набирать или обучать людей	Сервис
Клинические, юридические или детские записи, согласие на которые запрещает прослушивание третьими лицами	Собственная разметка
Фонетическая транскрипция, просодия или схема кодирования, которую применяют только обученные лингвисты	Собственная разметка
Инструкции, которые будут меняться по мере того, как команда узнаёт данные	Собственная разметка
Публикуемое исследование, в котором нужно сообщить согласованность и то, как обучались разметчики	Собственная разметка или сервис, который передаёт метки каждого разметчика
Объём на уровне поставщика при собственном контроле качества	Оба варианта, совмещённые, как описано ниже

Гибридные схемы с поставщиком и вашим собственным сервером

Две гибридные схемы позволяют команде купить мощности и сохранить контроль над качеством.

Проверка меток поставщика на выборке. Импортируйте сданную поставщиком работу в Potato, попросите своих разметчиков независимо разметить случайную выборку и сравните два набора. potato import читает файлы Praat TextGrid и ELAN EAF как проекты с уровнями, где сегменты поставщика становятся предварительной разметкой, как описано на странице Импорт проекта. Страница Форматы расшифровок перечисляет 21 формат расшифровок, которые загружаются для исправления. WhisperX JSON, NIST CTM, SubRip и WebVTT входят в эти 21 формат. Potato не разбирает отдельные файлы диаризации RTTM, поэтому поставку в RTTM сначала нужно преобразовать в поддерживаемый формат.

Подключение разметчиков поставщика к вашему собственному серверу Potato. Провайдер экспертных приглашений Potato даёт каждому разметчику по договору личную ссылку с токеном. Тогда разметчики поставщика размечают на вашем сервере, и записи хранятся только на вашем сервере. Ваш этап обучения, эталонные примеры и отчёт о согласованности применяются к разметчикам поставщика так же, как к вашим собственным разметчикам. Следующий минимальный конфиг настраивает разметку реплик говорящих в записях звонков:

yaml

annotation_task_name: "Call center speaker turns"
task_dir: "."
data_files:
  - "data/clips.jsonl"
item_properties:
  id_key: id
  text_key: audio_url
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
annotation_schemes:
  - annotation_type: audio_annotation
    name: speaker_turns
    description: "Mark each stretch where one speaker talks and choose the speaker."
    mode: label
    labels:
      - {name: agent, color: "#4ECDC4"}
      - {name: caller, color: "#FF6B6B"}
      - {name: overlap, color: "#F39C12"}
    spectrogram: true

expert_invites.yaml сопоставляет каждому токену отображаемое имя, и Potato отклоняет любой токен, которого нет в файле. Отправьте каждому разметчику https://your-server/?invite=<token>. Панель администратора показывает объём разметки и время работы по каждому разметчику, и по этим цифрам можно сверить счета поставщика. Документация по экспертным разметчикам описывает генерацию токенов.

Частые вопросы

Какие компании предлагают услуги разметки аудио?

Appen, CVAT.ai, iMerit, LXT и Shaip входят в число компаний, чьи собственные страницы предлагают разметку аудио или речи. Все пять страниц предлагают расшифровку, и большинство из них также предлагает диаризацию или звуковые события. Раздел «Услуги разметки аудио на страницах поставщиков» фиксирует, что было указано на каждой странице 2 ноября 2026 года. Прежде чем выбирать, запросите пробную работу на ваших собственных записях и сами оцените полученные метки.

На что разработчикам смотреть в сервисе разметки аудио?

Разработчикам стоит искать пробную работу на собственном аудио команды, показатель согласованности или доли ошибок в словах вместе с методом его расчёта, носителей всех диалектов, которые есть в данных, и формат поставки, который конвейер уже читает. Проверьте условия хранения и повторного использования аудио, прежде чем отправлять какие-либо записи. Поставка в TextGrid, EAF, CTM или WhisperX JSON загружается в Potato. Затем ваша команда может проверить выборку меток поставщика в Potato.

Использовать сервис разметки аудио или размечать аудио своими силами?

Используйте сервис, когда объём или охват языков превышает то, что ваша команда успеет набрать и обучить. Размечайте своими силами, когда записи нельзя передавать третьей стороне, когда метки требуют суждения специалиста или когда исследование должно сообщить, как обучались разметчики и насколько согласованно они размечали. В гибридной схеме поставщик размечает основную часть аудио, а ваша команда проверяет выборку у себя.

Что почитать дальше

Сравнение инструментов разметки аудио, чтобы выбрать инструмент для собственной разметки
Разметка аудио, где описана настройка каждой аудиозадачи в Potato
Potato для разметки аудио и речи
Эксперты или краудсорсинг в разметке
Создать или купить инструмент разметки
Как провести краудсорсинговое исследование на Prolific и SONA
Как размечать расшифровки Whisper