오디오 어노테이션 서비스와 사내 어노테이션 도구 비교

오디오 어노테이션 서비스는 훈련된 어노테이터를 제공하고 프로젝트별로 견적한 가격에 라벨링된 오디오를 돌려줍니다. 사내 어노테이션 도구는 소프트웨어만 제공하며, 어노테이터를 모집하고 훈련하고 검수하는 일은 팀이 맡습니다. 팀이 인력을 확보할 수 없는 언어나 물량이 필요한 작업이라면 업체에 비용을 지불하고, 녹음이 기관 밖으로 나갈 수 없거나 라벨이 팀만 가진 판단에 달려 있다면 사내에서 어노테이션하세요.

음성과 오디오를 위한 라벨링된 데이터에는 전사문, 화자 분리(누가 언제 말했는지), 소리 이벤트, 감정, 발화 의도가 있습니다. 오디오 어노테이션 서비스는 이러한 작업을 위해 어노테이터를 투입하고 라벨을 납품하는 회사입니다. 이런 회사를 데이터 어노테이션 업체라고도 부릅니다. 어노테이션 도구는 녹음을 어노테이터에게 보여 주고 라벨을 기록하는 소프트웨어입니다. 전사문은 보통 단어 오류율로 평가하고, 구간 및 범주 라벨은 독립된 어노테이터 사이의 평가자 간 신뢰도로 평가합니다.

Potato는 자체 서버에서 실행되는 무료 오픈 소스 어노테이션 도구(GPL-3.0-or-later)이며, Potato 팀은 어노테이터를 제공하지 않습니다. 아래 가이드는 라벨링된 오디오를 구매할 것인지 직접 만들 것인지의 결정을 다룹니다. 오디오 어노테이션 도구 비교는 사내 방식을 위한 도구를 비교하고, 오디오 어노테이션은 Potato에서 각 오디오 작업을 설정하는 방법을 설명합니다. 전문가 대 크라우드 어노테이션은 누가 라벨링해야 하는지를, 어노테이션 도구를 만들 것인가 살 것인가는 모든 데이터 유형에 해당하는 소프트웨어 결정을 다룹니다.

업체 페이지에 나온 오디오 서비스

업체들은 오디오 작업을 전사, 화자 분리, 소리 이벤트, 준언어 또는 감정 라벨이라는 공통된 용어로 설명합니다. 업체는 관리되는 인력과 품질 관리 절차를 갖추고 그 작업을 판매합니다. Potato 팀은 2026년 11월 2일에 각 업체의 오디오 또는 음성 서비스 페이지를 직접 읽었습니다. 아래 표는 업체를 알파벳순으로 나열하고 각 페이지가 밝힌 내용을 기록한 것입니다.

CVAT.ai는 오픈 소스 CVAT 도구를 공개하고 이 도구와 함께 라벨링 서비스를 판매합니다. Shaip의 페이지는 출력 형식으로 TextGrid, ELAN, CTM을 나열합니다. 아래 하이브리드 절에서 보듯이 Potato는 세 형식을 모두 읽습니다.

오디오 어노테이션 업체에 물어볼 질문

업체 페이지는 품질 관리 절차를 설명하고 때로는 단일 정확도 또는 일치도 퍼센트를 제시합니다. 퍼센트는 업체가 그 값을 어떻게 계산했는지 알아야만 판단할 수 있습니다. 계약하기 전에 다음을 요청하세요.

• 내 오디오로 만든 샘플 작업. 가장 까다로운 녹음 일부를 지침과 함께 업체에 보내세요. 전체 예산을 투입하기 전에 돌려받은 라벨을 직접 평가하세요.
• 일치도 수치와 각 수치의 산출 방법. 업체가 어떤 계수를 보고하는지, 항목마다 몇 명의 어노테이터가 라벨링했는지, 그 수치가 내 작업에 대한 것인지 다른 프로젝트에 대한 것인지 물어보세요. 전사문의 경우 단어 오류율을 두 번째 어노테이터와 비교해 측정하는지, 검토자의 수정본과 비교해 측정하는지 물어보세요.
• 언어와 방언 범위. 내 오디오에 나오는 방언별로 원어민 어노테이터가 몇 명인지, 코드 전환 발화는 어떻게 처리하는지 물어보세요.
• 데이터 취급과 보관. 오디오가 어디에 저장되는지, 누가 녹음을 들을 수 있는지, 어노테이터가 집에서 작업하는지 통제된 시설에서 작업하는지, 납품 후 업체가 오디오를 언제 삭제하는지 물어보세요.
• 오디오와 라벨에 대한 권리. 내 동의서가 제3자의 녹음 청취를 허용하는지, 계약이 라벨을 내게 귀속시키고 업체 자체 데이터셋에서 내 오디오를 재사용하는 것을 금지하는지 확인하세요.
• 가격 단위. 가격이 오디오 분당인지, 오디오 시간당인지, 라벨당인지, 어노테이터 작업 시간당인지, 재작업 라운드에는 비용이 얼마인지 물어보세요.

Partnership on AI는 어노테이션 작업을 구매하는 팀을 위해 책임 있는 조달 라이브러리를 공개합니다. 이 라이브러리의 지침에서 Partnership on AI는 구매자에게 현지 생활임금 이상의 보수를 지급하고, 출시 전에 시범 운영을 하며, 검증된 지침이나 훈련을 제공하도록 요청합니다. 라이브러리에는 업체 비교 템플릿과 생활임금 스프레드시트가 들어 있습니다.

Potato로 하는 사내 오디오 어노테이션

작업을 사내에서 운영한다는 것은 아래에 설명하는 연구의 각 부분을 팀이 책임진다는 뜻입니다. Potato는 소프트웨어를 담당하고, 사람과 시간은 팀이 담당합니다.

도구. Potato의 audio_annotation 스킴은 파형과 선택적 스펙트로그램을 보여 줍니다. 어노테이터는 파형을 드래그하여 라벨이 붙은 구간을 만듭니다. speech_transcript 스킴은 기존 전사문을 구간별로 제시하여 수정할 수 있게 하고, tiered_annotation 스킴은 EAF와 TextGrid로 내보낼 수 있는 ELAN 방식의 티어를 담습니다.

어노테이터. 어노테이터는 자체 연구실, SONA를 통한 대학 피험자 풀, 또는 Prolific에서 올 수 있습니다. Potato는 연구 링크의 참가자 ID와 마지막의 완료 코드를 통해 Prolific과 연결됩니다. Mechanical Turk는 2026년 9월 30일에 종료되었습니다. 크라우드소싱 연구 운영하기는 모집과 공정한 보수를 다룹니다.

훈련과 품질 검사. 훈련 단계는 어노테이터에게 피드백이 있는 연습 클립을 제공하고 합격 기준을 충족한 어노테이터만 통과시킵니다. 골드 항목과 주의력 확인은 실제 작업에 섞여 들어가 정확도를 평가하고 듣지 않는 어노테이터를 가려냅니다.

일치도. 오디오 구간에 대해 Potato는 모든 어노테이터 쌍을 시간적 IoU와, 기본값 0.5의 매칭 임계값에서의 검출 F1로 비교합니다. Potato의 구간 일치도에는 아직 우연 보정이 없으며, 그 이유는 시간에 따른 일치도에 설명되어 있습니다.

데이터 취급. 녹음은 운영하는 서버에 그대로 남습니다. Potato의 로컬 전사는 자신의 컴퓨터에서 WhisperX 또는 faster-whisper를 사용하며, 모델 가중치가 컴퓨터에 있고 나면 에어갭 및 오프라인 배포에 설명된 대로 전체 설정이 에어갭 상태로 실행됩니다.

사내 어노테이션의 주된 비용은 팀의 시간입니다. 짧은 시범 운영으로 클립마다 걸리는 시간을 측정하세요. 어노테이션 비용 계산기가 클립당 시간을 예산으로 바꿔 줍니다.

서비스와 사내 어노테이션 사이의 선택

아래 표는 흔한 상황마다 보통 어울리는 방식을 짝지은 것입니다.

업체와 자체 서버를 함께 쓰는 하이브리드 구성

두 가지 하이브리드 방식을 쓰면 팀이 인력을 구매하면서도 품질에 대한 통제를 유지할 수 있습니다.

샘플로 업체 라벨 점검하기. 업체의 납품물을 Potato로 가져오고, 사내 어노테이터가 무작위 표본을 독립적으로 라벨링하게 한 다음 두 집합을 비교합니다. potato import는 프로젝트 가져오기에 설명된 대로 Praat TextGrid와 ELAN EAF 파일을 업체의 구간을 사전 어노테이션으로 삼은 티어 프로젝트로 읽습니다. 전사 형식은 수정용으로 불러올 수 있는 21개 전사 형식을 나열합니다. WhisperX JSON, NIST CTM, SubRip, WebVTT가 이 21개 형식에 포함됩니다. RTTM 화자 분리 납품물은 potato import -f rttm으로 가져오며, 녹음마다 항목 하나로, 업체의 화자 턴을 사전 어노테이션으로 삼아 들어오는데, 이는 프로젝트 가져오기에 설명되어 있습니다. segments 내보내기는 수정한 턴을 채점용 RTTM으로 다시 씁니다.

업체의 어노테이터를 내 Potato 서버로 데려오기. Potato의 전문가 초대 제공자는 계약한 각 어노테이터에게 토큰이 붙은 비공개 링크를 줍니다. 그러면 업체의 어노테이터는 내 서버에서 라벨링하고, 녹음은 내 서버에만 저장됩니다. 내 훈련 단계, 골드 항목, 일치도 보고서는 내 어노테이터에게 적용되는 것과 같은 방식으로 업체의 어노테이터에게도 적용됩니다. 다음의 최소 구성은 콜 녹음에서 화자 전환을 설정합니다.

annotation_task_name: "Call center speaker turns"
task_dir: "."
data_files:
  - "data/clips.jsonl"
item_properties:
  id_key: id
  text_key: audio_url
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
annotation_schemes:
  - annotation_type: audio_annotation
    name: speaker_turns
    description: "Mark each stretch where one speaker talks and choose the speaker."
    mode: label
    labels:
      - {name: agent, color: "#4ECDC4"}
      - {name: caller, color: "#FF6B6B"}
      - {name: overlap, color: "#F39C12"}
    spectrogram: true

expert_invites.yaml은 각 토큰을 표시 이름에 매핑하며, Potato는 파일에 없는 토큰을 모두 거부합니다. 각 어노테이터에게 https://your-server/?invite=<token>을 보내세요. 관리자 대시보드는 어노테이터별 어노테이션 수와 작업 시간을 보고하므로, 업체의 청구서를 그 수치와 대조할 수 있습니다. 토큰 생성은 전문가 어노테이터 문서에서 다룹니다.

자주 묻는 질문

오디오 어노테이션 서비스를 제공하는 회사는 어디인가요?

Appen, CVAT.ai, iMerit, LXT, Shaip은 자사 페이지에서 오디오 또는 음성 어노테이션을 제공한다고 밝힌 회사들입니다. 다섯 페이지 모두 전사를 제공하며, 대부분의 페이지는 화자 분리나 소리 이벤트도 제공합니다. "업체 페이지에 나온 오디오 서비스" 절은 2026년 11월 2일에 각 페이지가 밝힌 내용을 기록합니다. 선택하기 전에 자신의 녹음으로 만든 샘플 작업을 요청하고 돌려받은 라벨을 직접 평가하세요.

개발자는 오디오 어노테이션 서비스에서 무엇을 살펴봐야 하나요?

개발자는 팀의 오디오로 만든 샘플 작업, 산출 방법이 함께 제시된 일치도 또는 단어 오류율 수치, 데이터에 나오는 방언을 포괄하는 원어민 인력, 파이프라인이 이미 읽을 수 있는 납품 형식을 살펴봐야 합니다. 녹음을 보내기 전에 오디오의 보관 및 재사용 조건을 확인하세요. TextGrid, EAF, CTM, RTTM, WhisperX JSON으로 납품된 결과는 Potato에 불러올 수 있습니다. 그러면 팀이 Potato에서 업체 라벨의 표본을 직접 점검할 수 있습니다.

오디오 어노테이션 서비스를 쓸까요, 사내에서 오디오를 어노테이션할까요?

물량이나 언어 범위가 팀이 제때 모집하고 훈련할 수 있는 수준을 넘어서면 서비스를 사용하세요. 녹음을 제3자에게 보낼 수 없거나, 라벨에 전문가의 판단이 필요하거나, 연구에서 어노테이터를 어떻게 훈련했고 얼마나 일치했는지 보고해야 한다면 사내에서 어노테이션하세요. 하이브리드 설계에서는 업체가 오디오 대부분을 라벨링하고 팀이 사내에서 표본을 점검합니다.

더 읽을거리

• 오디오 어노테이션 도구 비교, 사내 도구 선택용
• 오디오 어노테이션, Potato에서 설정하는 각 오디오 작업
• 오디오 및 음성 어노테이션을 위한 Potato
• 전문가 대 크라우드 어노테이션
• 어노테이션 도구를 만들 것인가 살 것인가
• Prolific과 SONA에서 크라우드소싱 연구 운영하기
• Whisper 전사문 어노테이션하기