音声アノテーションサービスと自社運用のアノテーションツールの比較

音声アノテーションサービスは、訓練されたアノテーターを提供し、プロジェクトごとの見積り価格でラベル付き音声を納品します。自社運用のアノテーションツールが提供するのはソフトウェアだけで、アノテーターの募集、訓練、確認はチームが行います。チームが確保できない言語や量が作業に必要な場合はベンダーに支払い、録音を所属機関の外に出せない場合や、ラベルがチームだけが持つ判断に依存する場合は、自社でアノテーションしてください。

音声と発話向けのラベル付きデータには、文字起こし、話者分離（誰がいつ話したか）、音響イベント、感情、発話の意図が含まれます。音声アノテーションサービスとは、こうしたタスクのためにアノテーターを手配し、ラベルを納品する企業です。そのような企業は、データアノテーションベンダーとも呼ばれます。アノテーションツールは、録音をアノテーターに提示し、ラベルを記録するソフトウェアです。文字起こしは通常単語誤り率で評価され、セグメントやカテゴリのラベルは、独立したアノテーター間の評価者間信頼性で評価されます。

Potato は、自分のサーバーで動作する無料のオープンソースのアノテーションツール（GPL-3.0-or-later）であり、Potato チームはアノテーターを提供しません。このガイドでは、ラベル付き音声を購入するか、自分で作るかという判断を扱います。音声アノテーションツールの比較では自社運用向けのツールを比較し、音声アノテーションでは Potato で各音声タスクを設定します。専門家とクラウドによるアノテーションでは誰がラベルを付けるべきかを扱い、アノテーションツールを作るか買うかでは、あらゆるデータ型に共通するソフトウェアの判断を扱います。

ベンダーのページに載っている音声サービス

ベンダーは、文字起こし、話者分離、音響イベント、パラ言語・感情ラベルという共通の語彙で音声作業を説明します。ベンダーは、管理された労働力と品質管理プロセスを組み合わせて、この作業を販売しています。Potato チームは、2026 年 11 月 2 日に各ベンダー自身の音声または音声認識サービスのページを読みました。以下の表はベンダーをアルファベット順に並べ、各ページに書かれている内容を記録したものです。

CVAT.ai はオープンソースの CVAT ツールを公開し、そのツールと並行してラベル付けサービスを販売しています。Shaip のページは、TextGrid、ELAN、CTM を Shaip の出力形式として挙げています。Potato は、下のハイブリッドのセクションで示すとおり、この三つの形式をすべて読み込めます。

音声アノテーションのベンダーに尋ねるべきこと

ベンダーのページは、品質管理プロセスを説明し、ときには精度や一致度の単一のパーセンテージを載せています。パーセンテージを判断できるのは、ベンダーがそれをどう計算したかを知ってからです。契約前に、次の点を確認してください。

• 自分の音声でのサンプル作業。 最も難しい録音のサンプルとガイドラインをベンダーに送ってください。全予算を投じる前に、納品されたラベルを自分で採点してください。
• 一致度の数値と、各数値の算出方法。 ベンダーがどの係数を報告しているか、各アイテムに何人のアノテーターがラベルを付けたか、その数値が自分のタスクのものか別のプロジェクトのものかを尋ねてください。文字起こしの場合は、単語誤り率が二人目のアノテーターとの比較で測られているのか、レビュアーの修正との比較で測られているのかを尋ねてください。
• 言語と方言の対応範囲。 自分の音声に含まれる各方言について、母語話者のアノテーターが何人いるか、またコードスイッチした発話をどう扱うかを尋ねてください。
• データの取り扱いと保持。 音声がどこに保存されるか、誰が録音を聞けるか、アノテーターが自宅で作業するのか管理された施設で作業するのか、納品後にベンダーがいつ音声を削除するのかを尋ねてください。
• 音声とラベルに関する権利。 同意書が第三者による録音の聴取を許可していること、また契約でラベルの帰属が自分側にあり、ベンダー自身のデータセットでの音声の再利用が禁じられていることを確認してください。
• 価格の単位。 価格が音声の分あたり、音声の時間あたり、ラベルあたり、アノテーターの作業時間あたりのどれなのか、また手直しのラウンドにいくらかかるのかを尋ねてください。

Partnership on AI は、アノテーション作業を購入するチーム向けに責任ある調達ライブラリを公開しています。このライブラリのガイドラインで Partnership on AI は、購入者に対して、現地の生活賃金を上回る報酬を労働者に支払うこと、開始前にパイロットを実施すること、検証済みの指示または訓練を提供することを求めています。ライブラリには、ベンダー比較のテンプレートと生活賃金のスプレッドシートが含まれています。

Potato による自社運用の音声アノテーション

作業を自社で運用するとは、以下に述べる調査の各部分をチームが自分で担うことを意味します。Potato がソフトウェアを担い、チームが人材と時間を担います。

ツール。 Potato の audio_annotation スキームは、波形と、任意でスペクトログラムを表示します。アノテーターは波形上をドラッグして、ラベル付きのセグメントを作成します。speech_transcript スキームは、既存の文字起こしをセグメントごとに提示して修正できるようにし、tiered_annotation スキームは、EAF と TextGrid にエクスポートできる ELAN 形式のティアを保持します。

アノテーター。 アノテーターは、自分の研究室、SONA 経由の大学の被験者プール、または Prolific から集められます。Potato は、調査リンクに含まれる参加者 ID と、最後の完了コードを通じて Prolific と連携します。Mechanical Turk は 2026 年 9 月 30 日に終了しました。クラウドソーシング調査の実施では、募集と公正な報酬を扱います。

訓練と品質チェック。 訓練フェーズは、フィードバック付きの練習用クリップをアノテーターに提供し、合格基準を満たしたアノテーターだけを受け入れます。ゴールドアイテムと注意チェックは、実際のタスクに混ぜ込まれ、精度を採点し、音声を聞いていないアノテーターを見つけます。

一致度。 音声セグメントについて、Potato はすべてのアノテーターのペアを、時間的 IoU と、デフォルトで 0.5 のマッチング閾値での検出 F1 で比較します。Potato のセグメント一致度には、まだ偶然による一致の補正がなく、その理由は時間にわたる一致度で説明されています。

データの取り扱い。 録音は、自分で運用するサーバーに留まります。Potato のローカル文字起こしは、自分のマシン上で WhisperX または faster-whisper を使い、モデルの重みがマシンに置かれていれば、エアギャップとオフラインのデプロイで説明されているとおり、セットアップ全体をエアギャップ環境で動かせます。

自社でのアノテーションの主なコストは、チームの時間です。短いパイロットを実施して、各クリップにかかる時間を測定してください。アノテーションコスト計算ツールは、そのクリップあたりの時間を予算に換算します。

サービスと自社アノテーションの選び方

以下では、よくある状況ごとに、通常その状況に合う方法を対応させています。

ベンダーと自社サーバーを組み合わせるハイブリッド構成

二つのハイブリッドのパターンにより、チームは作業力を購入しながら、品質の管理を手元に残せます。

サンプルでベンダーのラベルを確認する。 ベンダーの納品物を Potato にインポートし、自社のアノテーターにランダムなサンプルへ独立してラベルを付けてもらい、二つのセットを比較します。potato import は、Praat TextGrid と ELAN EAF のファイルを、ベンダーのセグメントを事前アノテーションとするティア付きプロジェクトとして読み込みます。これはプロジェクトのインポートで説明されています。文字起こし形式には、修正用に読み込める 21 の文字起こし形式が一覧されています。WhisperX JSON、NIST CTM、SubRip、WebVTT は、この 21 形式に含まれます。RTTM 話者分離での納品物は、potato import -f rttm で、録音ごとに1項目として、ベンダーの話者ターンを事前アノテーションとして読み込めます。これはプロジェクトのインポートで説明されています。segments エクスポートは、修正したターンを採点用に RTTM として書き戻します。

ベンダーのアノテーターを自社の Potato サーバーに迎える。 Potato のエキスパート招待プロバイダーは、契約した各アノテーターに、トークン付きの専用リンクを発行します。ベンダーのアノテーターはその後、自社のサーバー上でラベルを付け、録音は自社のサーバーにのみ保存されます。自社の訓練フェーズ、ゴールドアイテム、一致度レポートは、自社のアノテーターと同じようにベンダーのアノテーターにも適用されます。次の最小限の設定は、コールセンターの録音に対して話者ターンを設定します。

annotation_task_name: "Call center speaker turns"
task_dir: "."
data_files:
  - "data/clips.jsonl"
item_properties:
  id_key: id
  text_key: audio_url
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
annotation_schemes:
  - annotation_type: audio_annotation
    name: speaker_turns
    description: "Mark each stretch where one speaker talks and choose the speaker."
    mode: label
    labels:
      - {name: agent, color: "#4ECDC4"}
      - {name: caller, color: "#FF6B6B"}
      - {name: overlap, color: "#F39C12"}
    spectrogram: true

expert_invites.yaml は各トークンを表示名に対応づけ、Potato はファイルにないトークンをすべて拒否します。各アノテーターに https://your-server/?invite=<token> を送ってください。管理ダッシュボードはアノテーターごとのアノテーション数と作業時間を報告するので、ベンダーの請求書をその数値と照合できます。エキスパートアノテーターのドキュメントでは、トークンの生成を扱います。

よくある質問

音声アノテーションサービスを提供している企業はどこですか？

Appen、CVAT.ai、iMerit、LXT、Shaip は、自社のページで音声または発話のアノテーションを提供している企業に含まれます。五つのページはすべて文字起こしを提供しており、そのうち多くのページが話者分離や音響イベントも提供しています。「ベンダーのページに載っている音声サービス」のセクションには、2026 年 11 月 2 日時点で各ページに書かれていた内容が記録されています。選ぶ前に、自分の録音でのサンプル作業を依頼し、納品されたラベルを自分で採点してください。

音声アノテーションサービスを選ぶ際に、開発者は何を確認すべきですか？

開発者が確認すべきなのは、チーム自身の音声でのサンプル作業、算出方法を添えた一致度または単語誤り率の数値、データに含まれる方言を母語とする話者の対応範囲、パイプラインがすでに読み込める納品形式です。録音を送る前に、音声の保持と再利用に関する条件を確認してください。TextGrid、EAF、CTM、RTTM、WhisperX JSON での納品物は、Potato に読み込めます。その後、自社のチームが Potato でベンダーのラベルのサンプルを確認できます。

音声アノテーションサービスを使うべきですか、それとも自社で音声をアノテーションすべきですか？

量や言語の対応範囲が、チームが期限内に募集し訓練できる範囲を超える場合は、サービスを使ってください。録音を第三者に渡せない場合、ラベルに専門家の判断が必要な場合、またはアノテーターの訓練方法と一致度を調査で報告しなければならない場合は、自社でアノテーションしてください。ハイブリッド設計では、ベンダーが音声の大半にラベルを付け、自社のチームがサンプルを社内で確認します。

関連資料

• 音声アノテーションツールの比較。自社運用のツールを選ぶために
• 音声アノテーション。Potato で設定する各音声タスクについて
• 音声・発話アノテーションのための Potato
• 専門家とクラウドによるアノテーション
• アノテーションツールを作るか買うか
• Prolific と SONA でのクラウドソーシング調査の実施
• Whisper の文字起こしをアノテーションする方法