跳转到内容

医疗文本标注服务与内部标注工具对比

向临床文本标注供应商发送病历前应问哪些问题,内部研究需要投入什么,以及如何自己检查供应商交付的标签。

医疗文本标注服务提供经过临床培训的标注者,交付带标签的临床病历,价格按项目报价。内部标注工具只提供软件,临床医生的招募、审批的取得和质量检查都由你的团队负责。当你的临床医生无法完成这么大的标注量、且病历可以交给第三方时,就付费找供应商;当病历不能离开你的机构,或者标签需要你自己的临床医生做判断时,就在内部标注。

医疗文本标注是对临床病历、出院小结、放射学报告和其他电子健康记录文本进行标注。这些标签用来训练临床语言模型,或给模型的输出打分。下面列出常见任务,并在存在基准评测时给出确立该基准的共享任务:

医疗文本标注服务是为上述任务配备标注者并交付标签的公司。同样的说法也指自动概念标注器,例如 DrNote,这是一项把医学文本链接到 Wikidata 实体的开源服务。下文讨论的是由人完成的标注。

Potato 是一款免费、开源的标注工具(GPL-3.0-or-later),运行在你自己的服务器上,Potato 团队不提供标注者。医学影像与临床文本标注工具对比比较了内部路线可用的工具,其中包括用于临床文本的 INCEpTION 和 MedCATtrainer。专家标注与众包标注讨论由谁来标注,自建还是购买标注工具讨论任何数据类型下的软件选择。

供应商页面上列出的临床文本服务

临床文本的供应商页面会列出所提供的任务、标注团队,以及供应商自称具备的安全标准。Potato 团队于 2026 年 11 月 17 日阅读了每家供应商自己的医疗或健康文本标注页面。下表按字母顺序列出这些供应商,并记录各页面上的说法,每一项合规声明都写明是页面自己的陈述:

供应商页面上列出的临床文本工作标注团队,按页面所述合规,按页面所述页面上的价格
AnnotationBox医学实体识别、放射学报告标注、健康记录标注和医疗文本分类1000 多名受过培训的专家未列出任何合规标准需询价
Cogito Tech临床和生物医学实体识别,链接到 UMLS、ICD-10 和 SNOMED,去标识化,以及病历标注1500 多名数据和行业专家,其中语言和领域专家涵盖 100 多种语言和方言页面称 Cogito Tech 遵守 GDPR、HIPAA 和 ISO 27001 标准无价格,提供联系表单
iMerit对纵向病历中的患者、提供者、疾病、治疗和结局进行定位、分类和链接由美国执业认证医师负责验证和基准评测页面称 iMerit 的工作流程满足 HIPAA、SOC-2、CE 和 FDA 的监管合规要求无价格
LXT临床文档标注、病历中的症状检测,以及患者记录的去标识化LXT 及其子公司 clickworker 合计 1000 多万名贡献者,其中包括 100 多个领域的 25 万多名领域专家页面称设施通过 ISO 27001 认证,并符合 GDPR 和 HIPAA 标准无价格
Shaip临床实体识别、关系、断言(状态、否定和主体)、时间和章节标注,以及编码到 SNOMED、RxNorm、ICD-10-CM 和 CPT 并标出支撑文本有资质的领域专家,来自 1 万多人的自有团队和 50 万多名众包贡献者页面列出 GDPR、HIPAA、ISO 9001:2015、SOC 2 Type II 和 ISO 27001,并称提供 HIPAA Safe Harbor 和 Expert Determination 两种去标识化定制报价,未给出数字

LXT 的条目来自一个通用文本标注页面,其中只有一行医疗条目,其余四个页面则专门针对医疗工作。上表中的每一项合规内容都是供应商自己的陈述。对于项目所依赖的任何声明,请索要其背后的审计报告、证书或已签署的协议。iMerit 的页面报告了来自一个案例研究的 99% 标注质量,AnnotationBox 的页面报告了 95% 以上的准确率。两个页面都没有说明这个数字是怎样测得的。

向医疗文本标注供应商提出的问题

下列问题的答案决定病历能否交给供应商,以及返回的标签是否可信。请在签约前问清:

  • 标注者资质。 问清谁标注、谁审核,每份病历由几名标注者标注,以及每个人的临床角色(护士、医学编码员、医生,还是经过培训的非临床人员)。
  • 病历在哪里处理。 问清病历会送到哪个国家、哪个场所,标注者是居家工作还是在受控场所工作,分包商或众包平台是否能看到文本,以及交付后供应商何时删除病历。
  • 业务伙伴协议。 根据 HIPAA,受涵盖实体需要与代其接收受保护健康信息的承包商签订业务伙伴协议(BAA)。请向你所在机构的隐私办公室确认,项目是需要 BAA,还是只有去标识化的病历才会离开机构。
  • 指南的归属。 问清谁撰写标注指南,以及事后指南和标签归谁所有。确认合同允许你公开发表指南,并禁止供应商把你的病历用于供应商自己的数据集。
  • 一致性报告。 问清供应商报告的是哪种一致性系数、针对哪项任务、每份病历有几名标注者。请要求提供双重标注样本上每名标注者的标签,而不是一个合并后的答案。
  • 黄金集检查。 问清供应商是否用你编写的黄金集给标注者打分,以及你能否看到分数。
  • 样例工作与计价单位。 把最难的病历连同你的指南发出去,在投入预算之前给返回的标签评分。问清价格是按病历、按实体、按编码还是按标注者工时计算,以及一轮返工要多少钱。

Partnership on AI 为采购标注工作的团队发布了一个负责任采购资料库。资料库包括关于工作者报酬的指南和一份供应商比较模板。

用 Potato 在内部开展临床文本标注

在内部做这项工作,意味着下面描述的研究各个环节都由你的团队负责。Potato 负责软件,人员和时间由你的团队负责。

审批与去标识化。 谁可以阅读病历,通常由机构审查委员会的方案或数据使用协议规定。在获批团队之外的人看到文本之前,先对病历去标识化。HIPAA 认可两种去标识化方法,即 Safe Harbor(删除或泛化 18 类列明的要素)和 Expert Determination(有文件记录的风险分析)。Potato 不会对病历去标识化,也没有 HIPAA 合规功能。

标注者。 临床医生的时间是主要成本。先做一次简短的试点,测出每份病历要花多长时间,再用标注成本计算器把每份病历的耗时换算成预算。培训阶段给标注者提供带反馈的练习病历,只放行通过的标注者。混入正式任务的黄金标准条目在整个研究期间给准确率打分,基于类别的分配则只把标注者在培训中取得资格的那些病历类型发给该标注者。

工具。 span 方案用来标出实体、断言线索和去标识化目标,span_link 方案用来在片段之间画出关系(片段链接)。实体链接通过 rest 类型,为每个片段附上来自 UMLS、Wikidata 或你自己网络内术语服务的概念。umls 类型使用你的 UMLS API 密钥搜索 NLM 的 UTS 服务,每个搜索字符串随之离开你的网络。Potato 不附带 SNOMED CT 或 ICD-10 文件。若要编码到其中任何一个体系,请把 rest 类型指向你所在机构运行的术语服务。对于人类表型本体(Human Phenotype Ontology)这样的 OBO 本体,label_source 块可以离线搜索本地的 .obo 文件,也可以仅在方案设置了 allow_network: true 时搜索 EMBL-EBI 的 OLS4(本体术语标签)。

一致性。 num_annotators_per_item 设定每份病历由几名标注者标注。对于 span 方案,/admin/iaa 处的一致性报告给出词元级 kappa、精确和部分匹配的片段 F1、字符级 Krippendorff's alpha,以及 Mathet 的 gamma 的简化形式,详见片段的一致性。

数据处理。 病历保存在你运行的服务器上,一旦模型权重就位于本机,整套系统即可气隙运行(气隙标注)。通过 AI 支持提供的模型建议,在 endpoint_type: ollama 或 vllm 下保留在你的服务器上。开启 labeling_engine.features.pii_redaction 后,标注引擎会在把文本发给第三方模型 API 之前,遮盖其中的电子邮件、URL、IP 地址、银行卡号、美国社会安全号码、电话号码和 @用户名,labeling_engine.redaction.categories 用来选择遮盖这七类中的哪几类。这些模式无法找出患者姓名、日期或病历号。Potato 的源代码声明这些遮盖模式不是合规工具,病历不得离开本场所的研究应当只列出本地模型来源。

在外包服务和内部标注之间如何选择

下表把每种常见情形与通常合适的路线对应起来:

情形通常合适的路线
病历数量超过临床医生能按时标注的量,且病历已获准在 BAA 下或去标识化后交给供应商外包服务
截止日期就在几周后,没有时间招募或培训外包服务
你的 IRB 方案或数据使用协议要求病历留在机构内内部标注
标签需要你自己的专科医生,例如肿瘤分期或本机构的编码政策内部标注
指南会随着团队阅读病历而改变内部标注
发表的语料库必须报告一致性以及标注者的培训方式内部标注,或能提供每位标注者标签的外包服务
利用供应商的产能,同时由内部掌控质量两者结合,如下所述

自己检查供应商的标签

供应商给出的一致性数字描述的是供应商的标注者彼此之间的情况。你自己的检查衡量的则是供应商的标签与你的临床医生对同一批病历的判读之间的差异。请按五个步骤对样本做检查:

  1. 随机抽取样本。 从已交付的病历中抽样,当交付内容混有出院小结、放射学报告和病程记录时,按病历类型分层。样本量见需要多少名标注者?。
  2. 独立标注样本。 你的两名临床医生在 Potato 中按供应商的指南标注样本,且看不到供应商标出的片段。
  3. 计算一致性。 把供应商的片段和你的标注者的片段放进同一个 CSV,包含 item、annotator、label、start 和 end 列,片段一致性计算器即可在浏览器中报告精确匹配 F1、部分匹配 F1 和字符级 Krippendorff's alpha。对于断言或文档级标签,一致性计算器计算 Cohen's kappa 和 Krippendorff's alpha。
  4. 与你自己的一对标注者比较。 你的两名临床医生之间的一致性,说明这项任务在你的病历上能做到多一致。供应商与临床医生之间的一致性远低于临床医生自己之间的一致性,说明存在供应商的错误,或者供应商对某条指南的理解不同。
  5. 按标签阅读分歧。 对两个标签之间的混淆,或一连串漏标的否定,请在下一批之前通过修订指南来解决。

两边的字符偏移量必须对应同一份病历文本。计算一致性之前,请确认供应商的交付没有改动空白字符、换行符或编码。

供应商与你自己的服务器的混合方案

两种混合方案能让团队既购买产能,又掌控质量。

修正供应商的交付。 potato import 读取 brat standoff、CoNLL、doccano 和 Prodigy 文件,并建立一个 Potato 项目,把供应商的片段作为预标注,交给你的临床医生修正。brat 的关系和事件会列在导入警告中,而不会被导入。带关系的交付需要在 Potato 中重新画出关系(导入项目)。

把供应商的标注者带到你自己的 Potato 服务器上。 Potato 的专家邀请提供方给每位签约标注者一个带令牌的专属链接。这样供应商的标注者就在你的服务器上标注,你的培训阶段、黄金标准条目和一致性报告对供应商的标注者与对你自己的标注者同样适用。供应商的员工仍然会阅读病历,上文关于 BAA 和去标识化的问题同样适用。下面这份最小配置在出院小结中标出问题、检查、治疗和否定线索,把每个否定线索链接到它所否定的问题,并把每个片段链接到医院网络内部的术语服务:

yaml
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
  - "data/notes.jsonl"
item_properties:
  id_key: id
  text_key: text
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
 
annotation_schemes:
  - annotation_type: span
    name: concepts
    description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
    labels: [Problem, Test, Treatment, Negation cue]
    entity_linking:
      enabled: true
      knowledge_bases:
        # A terminology service inside the hospital network
        - name: local_terms
          type: rest
          base_url: "http://terminology.internal:8080"
      auto_search: false
 
  - annotation_type: span_link
    name: negations
    description: "Link each negation cue to the problem it negates."
    span_schema: concepts
    link_types:
      - name: negates
        directed: true
        allowed_source_labels: ["Negation cue"]
        allowed_target_labels: ["Problem"]

expert_invites.yaml 把每个令牌映射到一个显示名称,Potato 会拒绝文件中没有的任何令牌。请给每位标注者发送 https://your-server/?invite=<token>。设置 auto_search: false 后,标注者要从片段的链接图标打开概念搜索,否定线索除非标注者要求,否则不会触发搜索。管理仪表板按标注者报告标注数量和任务用时,专家标注者文档介绍了令牌的生成。

常见问题

什么是医疗文本标注?

医疗文本标注是用实体、关系、断言状态、时间表达式、受保护的健康信息,或 UMLS、SNOMED CT、ICD-10 等术语体系中的编码,对临床病历、放射学报告和其他健康记录文本进行标注。这些标签用来训练或评估临床自然语言处理模型。标注由临床医生、医学编码员或经过培训的标注者完成,可以在内部使用标注工具进行,也可以通过付费的标注服务进行。

哪些公司提供医疗文本标注服务?

AnnotationBox、Cogito Tech、iMerit、LXT 和 Shaip 都是在自己的页面上提供临床或医疗文本标注的公司。“供应商页面上列出的临床文本服务”一节记录了各页面在 2026 年 11 月 17 日所述的任务、标注团队、合规声明和价格。这五个页面都没有公布价格。选择之前,请发送带有你的指南的样例病历,并用你自己的临床医生的标签给返回的标签评分。

延伸阅读

参考文献

  1. Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
  2. Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
  3. Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
  4. Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086

示例设计

每个设计都是可以下载并直接运行的 Potato 配置。