본문으로 건너뛰기

의료 텍스트 어노테이션 서비스와 사내 어노테이션 도구 비교

임상 텍스트 어노테이션 업체에 기록을 보내기 전에 물어볼 것, 사내 연구에 필요한 것, 업체가 제공한 라벨을 직접 검증하는 방법을 설명합니다.

의료 텍스트 어노테이션 서비스는 임상 훈련을 받은 어노테이터를 제공하고 프로젝트별로 견적한 가격에 라벨링된 임상 기록을 돌려줍니다. 사내 어노테이션 도구는 소프트웨어만 제공하며, 임상의를 모집하고 승인을 받고 품질 검사를 수행하는 일은 팀이 맡습니다. 팀의 임상의가 그 물량을 라벨링할 수 없고 기록을 제3자에게 보내도 되는 경우에는 업체에 비용을 지불하고, 기록이 기관 밖으로 나갈 수 없거나 라벨에 팀 자체 임상의의 판단이 필요하다면 사내에서 어노테이션하세요.

의료 텍스트 어노테이션은 임상 기록, 퇴원 요약, 영상의학 보고서, 그 밖의 전자 건강 기록 텍스트에 라벨을 붙이는 일입니다. 라벨은 임상 언어 모델을 훈련하거나 모델의 출력을 평가하는 데 쓰입니다. 일반적인 작업은 아래와 같으며, 벤치마크를 세운 공유 과제가 있으면 함께 적었습니다.

  • 임상 개체명 인식. 어노테이터는 문제, 검사, 치료, 약물에 대한 언급을 하나하나 표시합니다. 2010 i2b2/VA 챌린지는 임상 텍스트의 개념, 단언, 관계를 다뤘습니다.
  • 관계 추출. 어노테이터는 약물과 그 용량, 또는 소견과 그 소견이 나타난 신체 부위처럼 두 언급을 연결합니다.
  • 단언과 부정. 어노테이터는 언급된 문제가 존재하는지, 존재하지 않는지, 불확실한지, 그리고 그 문제가 환자 본인에게 속하는지 가족에게 속하는지 기록합니다. "denies chest pain"에서 흉통은 존재하지 않습니다.
  • 시간 어노테이션. 어노테이터는 시간 표현과 임상 사건을 표시하고 사건을 시간순으로 배열합니다. 2012 i2b2 시간 관계 챌린지가 그 예입니다.
  • 비식별화. 어노테이터는 이름, 날짜, 진료 기록 번호 같은 보호 대상 건강 정보를 표시합니다. 2014 i2b2/UTHealth 공유 과제의 Track 1이 그 예입니다.
  • 코딩과 정규화. 어노테이터는 각 언급을 UMLS, SNOMED CT, ICD-10 같은 용어 체계의 개념에 대응시킵니다.

의료 텍스트 어노테이션 서비스는 위의 작업을 위해 어노테이터를 투입하고 라벨을 납품하는 회사입니다. 같은 표현은 의료 텍스트를 Wikidata 개체에 연결하는 오픈 소스 서비스인 DrNote 같은 자동 개념 태거를 가리키기도 합니다. 아래 가이드는 사람이 하는 라벨링을 다룹니다.

Potato는 자체 서버에서 실행되는 무료 오픈 소스 어노테이션 도구(GPL-3.0-or-later)이며, Potato 팀은 어노테이터를 제공하지 않습니다. 의료 영상 및 임상 텍스트 어노테이션 도구 비교는 사내 방식을 위한 도구를 비교하며, 임상 텍스트용인 INCEpTION과 MedCATtrainer도 포함합니다. 전문가 대 크라우드 어노테이션은 누가 라벨링해야 하는지를, 어노테이션 도구를 만들 것인가 살 것인가는 모든 데이터 유형에 해당하는 소프트웨어 결정을 다룹니다.

업체 페이지에 나온 임상 텍스트 서비스

임상 텍스트를 다루는 업체 페이지에는 제공하는 작업, 인력, 업체가 내세우는 보안 표준이 나와 있습니다. Potato 팀은 2026년 11월 17일에 각 업체의 의료 또는 헬스케어 텍스트 어노테이션 페이지를 직접 읽었습니다. 아래 표는 업체를 알파벳순으로 나열하고 각 페이지가 밝힌 내용을 기록한 것이며, 각 규정 준수 주장은 페이지가 그렇게 밝혔다는 형태로 적었습니다.

업체페이지에 명시된 임상 텍스트 작업인력, 페이지에 밝힌 대로규정 준수, 페이지에 밝힌 대로페이지에 나온 가격
AnnotationBox의료 개체 인식, 영상의학 보고서 어노테이션, 건강 기록 어노테이션, 헬스케어 텍스트 분류훈련된 전문가 1000명 이상명시된 규정 준수 표준 없음견적
Cogito Tech임상 및 생의학 개체 인식, UMLS, ICD-10, SNOMED로의 연결, 비식별화, 의료 기록 어노테이션데이터 및 업계 전문가 1500명 이상, 100개 이상의 언어와 방언을 다루는 언어 및 주제 전문가 포함페이지는 Cogito Tech이 GDPR, HIPAA, ISO 27001 표준을 준수한다고 밝힘가격 없음, 문의 양식
iMerit종적 의료 기록에서 환자, 제공자, 질병, 치료, 결과를 찾아내고 분류하고 연결검증과 벤치마킹을 맡는 미국 전문의 자격 보유 의사페이지는 iMerit 워크플로가 HIPAA, SOC-2, CE, FDA의 규제 준수 요건을 충족한다고 밝힘가격 없음
LXT임상 문서 어노테이션, 기록 속 증상 감지, 환자 기록 비식별화LXT와 자회사 clickworker에 걸친 1,000만 명 이상의 기여자, 100개 이상 분야의 도메인 전문가 25만 명 이상 포함페이지는 ISO 27001 인증을 받은 시설과 GDPR 및 HIPAA 표준 준수를 밝힘가격 없음
Shaip임상 개체 인식, 관계, 단언(상태, 부정, 주체), 시간 및 섹션 어노테이션, 근거 텍스트를 표시한 SNOMED, RxNorm, ICD-10-CM, CPT 코딩자체 인력 1만 명 이상과 크라우드 기여자 50만 명 이상으로 이루어진, 자격을 갖춘 도메인 전문가페이지는 GDPR, HIPAA, ISO 9001:2015, SOC 2 Type II, ISO 27001을 나열하고 HIPAA Safe Harbor 및 Expert Determination 비식별화를 밝힘맞춤 가격, 금액 없음

LXT의 항목은 헬스케어 항목이 한 줄 있는 일반 텍스트 어노테이션 페이지에서 가져왔고, 나머지 네 페이지는 헬스케어 작업을 다룹니다. 위의 모든 규정 준수 항목은 업체 자신의 진술입니다. 프로젝트가 기대는 주장이 있다면 그 뒷받침이 되는 감사 보고서, 인증서, 서명된 계약서를 요청하세요. iMerit의 페이지는 하나의 사례 연구에서 나온 99% 어노테이션 품질을, AnnotationBox의 페이지는 95% 이상의 정확도를 보고합니다. 어느 페이지도 그 수치를 어떻게 측정했는지 밝히지 않습니다.

의료 텍스트 어노테이션 업체에 물어볼 질문

아래 질문에 대한 답이 기록을 업체에 보내도 되는지, 돌려받은 라벨을 믿을 수 있는지를 좌우합니다. 계약하기 전에 물어보세요.

  • 어노테이터 자격. 누가 라벨링하고 누가 검토하는지, 기록마다 몇 명의 어노테이터가 라벨링하는지, 각자의 임상 역할(간호사, 의료 코더, 의사, 훈련받은 비임상 인력)이 무엇인지 물어보세요.
  • 기록이 처리되는 곳. 기록이 어느 나라의 어느 시설에 도달하는지, 어노테이터가 집에서 작업하는지 통제된 시설에서 작업하는지, 하청업체나 크라우드 플랫폼이 텍스트를 보는지, 납품 후 업체가 기록을 언제 삭제하는지 물어보세요.
  • 업무 제휴 계약. HIPAA에 따르면 적용 대상 기관은 자신을 대신해 보호 대상 건강 정보를 받는 계약 업체와 업무 제휴 계약(BAA)을 맺어야 합니다. 프로젝트에 BAA가 필요한지, 비식별화된 기록만 기관 밖으로 나가는지 개인정보 보호 담당 부서에 확인하세요.
  • 지침의 소유권. 누가 어노테이션 지침을 쓰는지, 이후 지침과 라벨을 누가 소유하는지 물어보세요. 계약이 지침의 공개를 허용하고 업체 자체 데이터셋에서 내 기록을 재사용하는 것을 금지하는지 확인하세요.
  • 일치도 보고. 업체가 어떤 일치도 계수를, 어떤 작업에 대해, 기록당 몇 명의 어노테이터 사이에서 보고하는지 물어보세요. 하나로 합친 답이 아니라 이중 어노테이션한 샘플에 대한 어노테이터별 라벨을 요청하세요.
  • 골드 세트 검사. 업체가 내가 작성한 골드 세트로 어노테이터를 평가하는지, 그 점수를 볼 수 있는지 물어보세요.
  • 샘플 작업과 가격 단위. 가장 까다로운 기록을 지침과 함께 보내고, 예산을 투입하기 전에 돌려받은 라벨을 평가하세요. 가격이 기록당인지, 개체당인지, 코드당인지, 어노테이터 작업 시간당인지, 재작업 라운드에는 비용이 얼마인지 물어보세요.

Partnership on AI는 어노테이션 작업을 구매하는 팀을 위해 책임 있는 조달 라이브러리를 공개합니다. 이 라이브러리에는 작업자 보수에 관한 지침과 업체 비교 템플릿이 들어 있습니다.

Potato로 하는 사내 임상 텍스트 어노테이션

작업을 사내에서 운영한다는 것은 아래에 설명하는 연구의 각 부분을 팀이 책임진다는 뜻입니다. Potato는 소프트웨어를 담당하고, 사람과 시간은 팀이 담당합니다.

승인과 비식별화. 누가 기록을 읽을 수 있는지는 보통 기관 심의 위원회의 프로토콜이나 데이터 사용 계약이 정합니다. 승인된 팀 밖의 누구도 텍스트를 보기 전에 기록을 비식별화하세요. HIPAA는 두 가지 비식별화 방법을 인정하는데, Safe Harbor(나열된 18개 요소를 제거하거나 일반화)와 Expert Determination(문서화된 위험 분석)입니다. Potato는 기록을 비식별화하지 않으며, HIPAA 준수 기능도 없습니다.

어노테이터. 임상의의 시간이 주된 비용입니다. 짧은 시범 운영으로 기록마다 걸리는 시간을 측정하고, 어노테이션 비용 계산기로 기록당 시간을 예산으로 바꾸세요. 훈련 단계는 어노테이터에게 피드백이 있는 연습용 기록을 제공하고 통과한 어노테이터만 받아들입니다. 실제 작업에 섞인 골드 항목은 연구 내내 정확도를 평가하고, 범주 기반 배정은 훈련에서 자격을 얻은 기록 유형만 각 어노테이터에게 보냅니다.

도구. span 스킴은 개체, 단언 단서, 비식별화 대상을 표시하고, span_link 스킴은 스팬 사이의 관계를 그립니다(스팬 연결). 개체 연결은 UMLS, Wikidata, 또는 자체 네트워크의 용어 서비스에서 가져온 개념을 rest 유형을 통해 각 스팬에 붙입니다. umls 유형은 UMLS API 키로 NLM의 UTS 서비스를 검색하며, 이때 각 검색 문자열은 네트워크 밖으로 나갑니다. Potato는 SNOMED CT나 ICD-10 파일을 포함하지 않습니다. 둘 중 어느 체계로든 코딩하려면 rest 유형이 소속 기관에서 운영하는 용어 서비스를 가리키게 하세요. Human Phenotype Ontology 같은 OBO 온톨로지의 경우 label_source 블록이 로컬 .obo 파일을 오프라인으로 검색하거나, 스킴이 allow_network: true를 설정한 경우에만 EMBL-EBI의 OLS4를 검색합니다(온톨로지 용어 라벨).

일치도. num_annotators_per_item은 기록마다 몇 명의 어노테이터가 라벨링할지 정합니다. span 스킴의 경우 /admin/iaa의 일치도 보고서는 토큰 수준 kappa, 정확 일치와 부분 일치 스팬 F1, 문자 수준 Krippendorff의 alpha, Mathet의 gamma 간이 형태를 제공하며, 스팬의 일치도에서 설명합니다.

데이터 취급. 기록은 운영하는 서버에 그대로 남으며, 모델 가중치가 컴퓨터에 있고 나면 전체 설정을 에어갭 상태로 실행할 수 있습니다(에어갭 어노테이션). AI 지원을 통한 모델 제안은 endpoint_type: ollama 또는 vllm을 쓰면 서버 안에 머뭅니다. labeling_engine.features.pii_redaction을 켜면 라벨링 엔진은 제3자 모델 API로 보내는 텍스트에서 이메일, URL, IP 주소, 카드 번호, 미국 사회보장번호, 전화번호, @핸들을 가리고, labeling_engine.redaction.categories로 일곱 가지 중 어느 것을 가릴지 고릅니다. 이 패턴은 환자 이름, 날짜, 기록 번호를 찾지 못합니다. Potato의 소스 코드에는 이 마스킹 패턴이 규정 준수 도구가 아니라고 적혀 있으며, 기록이 현장 밖으로 나가서는 안 되는 연구에서는 로컬 모델 소스만 나열해야 합니다.

서비스와 사내 어노테이션 사이의 선택

아래 표는 흔한 상황마다 보통 어울리는 방식을 짝지은 것입니다.

상황보통 어울리는 방식
임상의가 제때 라벨링할 수 있는 양보다 기록이 많고, BAA 아래에서 또는 비식별화 후 업체에 보내도 되는 기록서비스
몇 주 뒤의 고정 마감, 모집하거나 훈련할 시간이 없음서비스
IRB 프로토콜이나 데이터 사용 계약이 기관 안에 두도록 하는 기록사내
종양 병기 분류나 자체 코딩 정책처럼 팀 자체 전문의가 필요한 라벨사내
팀이 기록을 읽으면서 바뀌게 될 지침사내
일치도와 어노테이터 훈련 방식을 보고해야 하는 출판 코퍼스사내, 또는 어노테이터별 라벨을 납품하는 서비스
업체의 인력 규모와 사내의 품질 통제둘을 결합, 아래 설명과 같음

업체의 라벨을 직접 검증하기

업체가 제시하는 일치도 수치는 업체의 어노테이터끼리의 일치를 나타냅니다. 직접 하는 검증은 같은 기록에 대한 내 임상의들의 판독과 업체의 라벨을 비교해 측정합니다. 샘플에 대한 검증은 다섯 단계로 진행합니다.

  1. 무작위 샘플을 뽑습니다. 납품물에 퇴원 요약, 영상의학 보고서, 경과 기록이 섞여 있다면 기록 유형별로 층화합니다. 표본 크기는 어노테이터는 몇 명이 필요한가에서 다룹니다.
  2. 샘플을 독립적으로 라벨링합니다. 내 임상의 두 명이 업체의 스팬을 보지 않은 채 업체의 지침으로 Potato에서 샘플을 라벨링합니다.
  3. 일치도를 계산합니다. 업체의 스팬과 내 어노테이터의 스팬을 item, annotator, label, start, end 열이 있는 하나의 CSV에 넣으면, 스팬 일치도 계산기가 브라우저에서 정확 일치 F1, 부분 일치 F1, 문자 수준 Krippendorff의 alpha를 보고합니다. 단언이나 문서 수준 라벨에는 일치도 계산기가 Cohen의 kappa와 Krippendorff의 alpha를 계산합니다.
  4. 내 두 명과 비교합니다. 내 임상의 두 명 사이의 일치도는 내 기록에서 그 작업이 얼마나 일관되게 수행될 수 있는지를 보여 줍니다. 업체와 임상의 사이의 일치도가 임상의 자신들의 일치도보다 훨씬 낮다면 업체의 오류이거나 업체가 다르게 읽는 지침이 있다는 뜻입니다.
  5. 불일치를 라벨별로 읽습니다. 두 라벨 사이의 혼동이나 연달아 놓친 부정은 다음 배치 전에 지침을 개정해 고치세요.

문자 오프셋은 양쪽에서 같은 기록 텍스트를 가리켜야 합니다. 일치도를 계산하기 전에 업체의 납품물에서 공백, 줄바꿈, 인코딩이 바뀌지 않았는지 확인하세요.

업체와 자체 서버를 함께 쓰는 하이브리드 구성

두 가지 하이브리드 방식으로 팀은 인력 규모를 구매하면서 품질 통제권을 유지할 수 있습니다.

업체의 납품물을 수정합니다. potato import는 brat standoff, CoNLL, doccano, Prodigy 파일을 읽고, 업체의 스팬을 사전 어노테이션으로 삼아 임상의가 수정할 Potato 프로젝트를 만듭니다. brat의 관계와 이벤트는 가져오지 않고 가져오기 경고에 나열됩니다. 관계가 있는 납품물은 Potato에서 관계를 다시 그려야 합니다(프로젝트 가져오기).

업체의 어노테이터를 자체 Potato 서버로 불러옵니다. Potato의 전문가 초대 공급자는 계약한 각 어노테이터에게 토큰이 담긴 전용 링크를 발급합니다. 그러면 업체의 어노테이터는 내 서버에서 라벨링하고, 내 훈련 단계, 골드 항목, 일치도 보고서가 내 어노테이터와 똑같이 업체의 어노테이터에게도 적용됩니다. 업체의 직원이 기록을 읽는 것은 여전하므로, 위의 BAA와 비식별화 질문도 똑같이 적용됩니다. 다음 최소 설정은 퇴원 요약에서 문제, 검사, 치료, 부정 단서를 표시하고, 각 부정 단서를 그것이 부정하는 문제에 연결하며, 각 스팬을 병원 네트워크 안의 용어 서비스에 연결합니다.

yaml
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
  - "data/notes.jsonl"
item_properties:
  id_key: id
  text_key: text
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
 
annotation_schemes:
  - annotation_type: span
    name: concepts
    description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
    labels: [Problem, Test, Treatment, Negation cue]
    entity_linking:
      enabled: true
      knowledge_bases:
        # A terminology service inside the hospital network
        - name: local_terms
          type: rest
          base_url: "http://terminology.internal:8080"
      auto_search: false
 
  - annotation_type: span_link
    name: negations
    description: "Link each negation cue to the problem it negates."
    span_schema: concepts
    link_types:
      - name: negates
        directed: true
        allowed_source_labels: ["Negation cue"]
        allowed_target_labels: ["Problem"]

expert_invites.yaml은 각 토큰을 표시 이름에 대응시키며, Potato는 파일에 없는 토큰을 모두 거부합니다. 각 어노테이터에게 https://your-server/?invite=<token>을 보내세요. auto_search: false이면 어노테이터가 스팬의 링크 아이콘에서 개념 검색을 열며, 부정 단서는 어노테이터가 요청하지 않는 한 검색을 일으키지 않습니다. 관리자 대시보드는 어노테이터별 어노테이션 수와 작업 시간을 보고하며, 전문가 어노테이터 문서는 토큰 생성을 다룹니다.

자주 묻는 질문

의료 텍스트 어노테이션이란 무엇인가요?

의료 텍스트 어노테이션은 임상 기록, 영상의학 보고서, 그 밖의 건강 기록 텍스트에 개체, 관계, 단언 상태, 시간 표현, 보호 대상 건강 정보, 또는 UMLS, SNOMED CT, ICD-10 같은 용어 체계의 코드를 붙이는 일입니다. 라벨은 임상 자연어 처리 모델을 훈련하거나 평가하는 데 쓰입니다. 라벨링은 임상의, 의료 코더, 또는 훈련받은 어노테이터가 사내에서 어노테이션 도구로 하거나 유료 어노테이션 서비스를 통해 수행합니다.

의료 텍스트 어노테이션 서비스를 제공하는 회사는 어디인가요?

AnnotationBox, Cogito Tech, iMerit, LXT, Shaip은 자사 페이지에서 임상 또는 의료 텍스트 어노테이션을 제공하는 회사에 속합니다. 「업체 페이지에 나온 임상 텍스트 서비스」 절은 2026년 11월 17일에 각 페이지가 밝힌 작업, 인력, 규정 준수 주장, 가격을 기록합니다. 다섯 페이지 중 어느 곳도 가격을 공개하지 않습니다. 선택하기 전에 지침을 붙인 샘플 기록을 보내고, 돌려받은 라벨을 자체 임상의의 라벨과 비교해 평가하세요.

더 읽을거리

참고 문헌

  1. Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
  2. Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
  3. Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
  4. Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086

예시 디자인

각 디자인은 내려받아 바로 실행할 수 있는 Potato 설정입니다.