音频标注服务与内部标注工具对比
签约前应向音频标注供应商问哪些问题，在内部开展转写或说话人分离研究需要投入什么，以及如何自己检查供应商交付的标签。
音频标注服务提供经过培训的标注者，交付带标签的音频，价格按项目报价。内部标注工具只提供软件，标注者由你的团队招募、培训和检查。当任务需要的语种或数量超出团队的人手时，就付费找供应商；当录音不能离开你的机构，或者标签依赖只有你的团队才具备的判断时，就在内部标注。
语音和音频的标注数据包括转写、说话人分离（谁在什么时候说话）、声音事件、情绪和口语意图。音频标注服务是为这些任务配备标注者并交付标签的公司，这类公司也叫数据标注供应商。标注工具是向标注者播放录音并记录标签的软件。转写通常用词错误率（WER）评分，片段标签和类别标签则用独立标注者之间的评分者间信度评估。
Potato 是一款免费、开源的标注工具（GPL-3.0-or-later），运行在你自己的服务器上，Potato 团队不提供标注者。本指南讨论的是付费购买带标签的音频，还是自己生成带标签的音频。音频标注工具对比比较了内部路线可用的工具，音频标注介绍如何在 Potato 中设置每一种音频任务。专家标注与众包标注讨论由谁来标注，自建还是购买标注工具讨论任何数据类型下的软件选择。
供应商页面上列出的音频服务
供应商描述音频工作时使用一套共同的词汇：转写、说话人分离、声音事件，以及副语言或情绪标签。供应商出售的是配有受管理标注团队和质量流程的服务。Potato 团队于 2026 年 11 月 2 日阅读了每家供应商自己的音频或语音服务页面。下表按字母顺序列出这些供应商，并记录各页面上的说法。
| 供应商 | 供应商页面上列出的音频工作 | 页面所述的标注团队与语种 | 页面上的价格 |
|---|---|---|---|
| Appen | 按词错误规范完成、标明说话人的转写，带话轮级时间戳的说话人分离，非言语线索，以及用于语音合成数据的情感、韵律和情绪 | 覆盖 500 多个语言区域（locale）的众包人员 | 需询价 |
| CVAT.ai | 多说话人转写、语音活动检测、说话人话轮切分、声音事件切分，以及包括口音和情绪在内的说话人属性 | 分布在 12 个时区的 300 多名标注者 | 按分钟和按数据集两种计价方式，最低预算 5,000 美元，未公布每分钟价格 |
| iMerit | 逐字转写和编辑转写、带时间戳的字幕、意图和槽位标注 | 语言专家和领域专家 | 需询价 |
| LXT | 语音转文本转写、说话人分离、事件时间戳、声学噪声标注 | LXT 及其子公司 clickworker 合计 1,000 多万名贡献者 | 需询价 |
| Shaip | 带说话人 ID 和词级时间戳的转写、说话人分离、声学事件分类、意图和槽位标注 | 150 多种语言和方言 | 需询价 |
CVAT.ai 发布开源的 CVAT 工具，同时出售标注服务。Shaip 的页面列出了 TextGrid、ELAN 和 CTM 等输出格式。Potato 能读取这三种格式，下文的混合方案一节会说明。
签约前要问音频标注供应商的问题
供应商页面会介绍质量流程，有时还会给出一个准确率或一致性百分比。只有知道供应商是怎么算出这个百分比的，你才能判断它。签约前请问清以下几点：
- 用你自己的音频做样例。 把最难的一批录音样本连同标注指南发给供应商，自己给返回的标签评分，然后再投入全部预算。
- 一致性数字及其背后的计算方法。 问清供应商报告的是哪种系数、每个条目由几名标注者标注，以及这个数字来自你的任务还是另一个项目。对于转写，要问词错误率是对照第二名标注者测得的，还是对照审核者的修正测得的。
- 语种和方言覆盖。 问清你的音频中每种方言各有多少母语标注者，以及语码转换的语音如何处理。
- 数据处理与留存。 问清音频存放在哪里、谁能收听录音、标注者是居家工作还是在受控场所工作，以及交付后供应商何时删除音频。
- 音频和标签的权利。 确认你的知情同意书允许第三方收听这些录音，并确认合同把标签的权利归属于你，且禁止供应商把你的音频用于其自有数据集。
- 计价单位。 问清价格是按音频分钟、音频小时、标签还是标注者工时计算，以及一轮返工要多少钱。
Partnership on AI 为采购标注工作的团队发布了一个负责任采购资料库。资料库中的指南要求采购方向工作者支付高于当地生活工资的报酬，在正式启动前先做试点，并提供经过核实的说明或培训。资料库还附有供应商比较模板和生活工资电子表格。
用 Potato 在内部开展音频标注
在内部做这项工作，意味着下面描述的研究各个环节都由你的团队负责。Potato 负责软件，人员和时间由你的团队负责。
工具。 Potato 的 audio_annotation 方案显示波形，并可选择显示频谱图。标注者在波形上拖动即可创建带标签的片段。speech_transcript 方案逐段展示已有转写供修正，tiered_annotation 方案容纳 ELAN 式的层，并可导出为 EAF 和 TextGrid。
标注者。 标注者可以来自你自己的实验室，可以通过 SONA 来自大学被试池，也可以来自 Prolific。Potato 通过研究链接中的参与者 ID 和结束时的完成码与 Prolific 对接。Mechanical Turk 已于 2026 年 9 月 30 日关闭。开展众包研究介绍招募和合理报酬。
培训与质量检查。 培训阶段给标注者提供带反馈的练习片段，只放行达到及格标准的标注者。黄金标准条目和注意力检查混在正式任务中，用来给准确率打分，并发现没有认真听的标注者。
一致性。 对于音频片段，Potato 对每一对标注者比较时间 IoU，以及在某个匹配阈值下的检出 F1，阈值默认为 0.5。Potato 的片段一致性目前还没有偶然校正，时间维度上的一致性解释了原因。
数据处理。 录音保存在你运行的服务器上。Potato 的本地转写在你自己的机器上使用 faster-whisper，一旦模型权重就位于本机，整套系统即可气隙运行，详见气隙与离线部署。
内部标注的主要成本是团队的时间。先做一次简短的试点，测出每个片段要花多长时间。标注成本计算器可以把每个片段的耗时换算成预算。
在外包服务和内部标注之间如何选择
下表把几种常见情形与通常合适的路线对应起来：
| 情形 | 通常合适的路线 |
|---|---|
| 几千小时的音频、几十种语言，而团队里没有标注者 | 外包服务 |
| 截止日期就在几周后，没有时间招募或培训 | 外包服务 |
| 临床、法律或儿童录音，知情同意禁止第三方收听 | 内部标注 |
| 语音学转写、韵律，或只有受过训练的语言学者才会使用的编码方案 | 内部标注 |
| 标注指南会随着团队从数据中学到的东西而改变 | 内部标注 |
| 发表的研究必须报告一致性以及标注者的培训方式 | 内部标注，或能提供每位标注者标签的外包服务 |
| 需要供应商级别的数据量，同时由内部把控质量 | 两者结合，方式见下文 |
结合供应商与自有服务器的混合方案
有两种混合方式能让团队既购买产能，又保留对质量的控制。
抽样检查供应商的标签。 把供应商交付的数据导入 Potato，让你自己的标注者独立标注一个随机样本，再比较两组标签。potato import 把 Praat TextGrid 和 ELAN EAF 文件读取为分层项目，并把供应商的片段作为预标注，详见导入项目。转写格式列出了可加载用于修正的 21 种转写格式，其中包括 WhisperX JSON、NIST CTM、SubRip 和 WebVTT。Potato 不能解析单独的 RTTM 说话人分离文件，以 RTTM 交付的数据需要先转换成支持的格式。
让供应商的标注者在你自己的 Potato 服务器上工作。 Potato 的专家邀请提供方会给每位签约标注者一个带令牌的私有链接。这样供应商的标注者就在你的服务器上标注，录音也只保存在你的服务器上。你的培训阶段、黄金标准条目和一致性报告对供应商的标注者和对你自己的标注者同样适用。下面这个最小配置用于在通话录音上标注说话人话轮：
annotation_task_name: "Call center speaker turns"
task_dir: "."
data_files:
- "data/clips.jsonl"
item_properties:
id_key: id
text_key: audio_url
output_annotation_dir: "annotation_output/"
login:
type: url_direct
url_argument: invite
crowdsourcing:
provider: expert
expert:
invites_file: "expert_invites.yaml"
annotation_schemes:
- annotation_type: audio_annotation
name: speaker_turns
description: "Mark each stretch where one speaker talks and choose the speaker."
mode: label
labels:
- {name: agent, color: "#4ECDC4"}
- {name: caller, color: "#FF6B6B"}
- {name: overlap, color: "#F39C12"}
spectrogram: trueexpert_invites.yaml 把每个令牌映射到一个显示名称，文件中没有的令牌会被 Potato 拒绝。给每位标注者发送 https://your-server/?invite=<token>。管理员面板按标注者报告标注数量和任务用时，你可以用这些数字核对供应商的账单。专家标注者文档介绍了如何生成令牌。
常见问题
哪些公司提供音频标注服务？
在自己的页面上提供音频或语音标注服务的公司中，有 Appen、CVAT.ai、iMerit、LXT 和 Shaip。这五个页面都提供转写，其中大多数还提供说话人分离或声音事件标注。“供应商页面上列出的音频服务”一节记录了 2026 年 11 月 2 日各页面上的说法。做选择之前，先请供应商用你自己的录音做样例，并自己给返回的标签评分。
开发者选择音频标注服务时应该看什么？
开发者应当看供应商能否用团队自己的音频做样例，能否给出一致性或词错误率数字及其计算方法，母语标注者能否覆盖数据中的方言，以及交付格式是不是现有流程已经能读取的格式。发送任何录音之前，先查看音频的留存和再利用条款。以 TextGrid、EAF、CTM 或 WhisperX JSON 交付的数据可以加载到 Potato 中，然后你自己的团队就能在 Potato 中抽样检查供应商的标签。
我应该使用音频标注服务，还是在内部自己标注音频？
当数据量或语种覆盖超出团队能及时招募和培训的范围时，就使用外包服务。当录音不能交给第三方、标签需要专业判断，或者研究必须报告标注者的培训方式和一致性程度时，就在内部标注。混合方案是由供应商标注大部分音频，再由你的团队在内部抽样检查。
延伸阅读
- 音频标注工具对比，用于选择内部使用的工具
- 音频标注，介绍如何在 Potato 中设置每一种音频任务
- 用 Potato 做音频与语音标注
- 专家标注与众包标注
- 自建还是购买标注工具
- 在 Prolific 和 SONA 上开展众包研究
- 如何标注 Whisper 转写文本