醫療文本標註服務與內部標註工具對比
向臨床文本標註供應商傳送病歷前應問哪些問題,內部研究需要投入什麼,以及如何自己檢查供應商交付的標籤。
醫療文本標註服務提供經過臨床培訓的標註者,交付帶標籤的臨床病歷,價格按項目報價。內部標註工具只提供軟體,臨床醫生的招募、審批的取得和品質檢查都由你的團隊負責。當你的臨床醫生無法完成這麼大的標註量、且病歷可以交給第三方時,就付費找供應商;當病歷不能離開你的機構,或者標籤需要你自己的臨床醫生做判斷時,就在內部標註。
醫療文本標註是對臨床病歷、出院小結、放射學報告和其他電子健康記錄文本進行標註。這些標籤用來訓練臨床語言模型,或給模型的輸出打分。下面列出常見任務,並在存在基準評測時給出確立該基準的共享任務:
- 臨床命名實體識別。 標註者標出每一處對問題、檢查、治療或藥物的提及。2010 i2b2/VA 挑戰賽涵蓋了臨床文本中的概念、斷言和關係。
- 關係抽取。 標註者把兩處提及連線起來,例如藥物與其劑量,或檢查發現與該發現所在的身體部位。
- 斷言與否定。 標註者記錄所提及的問題是存在、不存在還是不確定,以及該問題屬於患者本人還是其家屬。在“denies chest pain”中,胸痛是不存在的。
- 時間標註。 標註者標出時間表達式和臨床事件,並按時間順序排列這些事件,如 2012 i2b2 時間關係挑戰賽所做的那樣。
- 去標識化。 標註者標出姓名、日期和病歷號等受保護的健康資訊,如 2014 i2b2/UTHealth 共享任務的 Track 1。
- 編碼與規範化。 標註者把每處提及對映到某個術語體系中的概念,例如 UMLS、SNOMED CT 或 ICD-10。
醫療文本標註服務是為上述任務配備標註者並交付標籤的公司。同樣的說法也指自動概念標註器,例如 DrNote,這是一項把醫學文本連結到 Wikidata 實體的開源服務。下文討論的是由人完成的標註。
Potato 是一款免費、開源的標註工具(GPL-3.0-or-later),執行在你自己的伺服器上,Potato 團隊不提供標註者。醫學影像與臨床文本標註工具對比比較了內部路線可用的工具,其中包括用於臨床文本的 INCEpTION 和 MedCATtrainer。專家標註與眾包標註討論由誰來標註,自建還是購買標註工具討論任何資料類型下的軟體選擇。
供應商頁面上列出的臨床文本服務
臨床文本的供應商頁面會列出所提供的任務、標註團隊,以及供應商自稱具備的安全標準。Potato 團隊於 2026 年 11 月 17 日閱讀了每家供應商自己的醫療或健康文本標註頁面。下表按字母順序列出這些供應商,並記錄各頁面上的說法,每一項合規宣告都寫明是頁面自己的陳述:
| 供應商 | 頁面上列出的臨床文本工作 | 標註團隊,按頁面所述 | 合規,按頁面所述 | 頁面上的價格 |
|---|---|---|---|---|
| AnnotationBox | 醫學實體識別、放射學報告標註、健康記錄標註和醫療文本分類 | 1000 多名受過培訓的專家 | 未列出任何合規標準 | 需詢價 |
| Cogito Tech | 臨床和生物醫學實體識別,連結到 UMLS、ICD-10 和 SNOMED,去標識化,以及病歷標註 | 1500 多名資料和行業專家,其中語言和領域專家涵蓋 100 多種語言和方言 | 頁面稱 Cogito Tech 遵守 GDPR、HIPAA 和 ISO 27001 標準 | 無價格,提供聯絡表單 |
| iMerit | 對縱向病歷中的患者、提供者、疾病、治療和結局進行定位、分類和連結 | 由美國執業認證醫師負責驗證和基準評測 | 頁面稱 iMerit 的工作流程滿足 HIPAA、SOC-2、CE 和 FDA 的監管合規要求 | 無價格 |
| LXT | 臨床文件標註、病歷中的症狀檢測,以及患者記錄的去標識化 | LXT 及其子公司 clickworker 合計 1000 多萬名貢獻者,其中包括 100 多個領域的 25 萬多名領域專家 | 頁面稱設施通過 ISO 27001 認證,並符合 GDPR 和 HIPAA 標準 | 無價格 |
| Shaip | 臨床實體識別、關係、斷言(狀態、否定和主體)、時間和章節標註,以及編碼到 SNOMED、RxNorm、ICD-10-CM 和 CPT 並標出支撐文本 | 有資質的領域專家,來自 1 萬多人的自有團隊和 50 萬多名眾包貢獻者 | 頁面列出 GDPR、HIPAA、ISO 9001:2015、SOC 2 Type II 和 ISO 27001,並稱提供 HIPAA Safe Harbor 和 Expert Determination 兩種去標識化 | 定製報價,未給出數字 |
LXT 的條目來自一個通用文本標註頁面,其中只有一行醫療條目,其餘四個頁面則專門針對醫療工作。上表中的每一項合規內容都是供應商自己的陳述。對於項目所依賴的任何宣告,請索要其背後的審計報告、證書或已簽署的協議。iMerit 的頁面報告了來自一個案例研究的 99% 標註品質,AnnotationBox 的頁面報告了 95% 以上的準確率。兩個頁面都沒有說明這個數字是怎樣測得的。
向醫療文本標註供應商提出的問題
下列問題的答案決定病歷能否交給供應商,以及返回的標籤是否可信。請在簽約前問清:
- 標註者資質。 問清誰標註、誰稽核,每份病歷由幾名標註者標註,以及每個人的臨床角色(護士、醫學編碼員、醫生,還是經過培訓的非臨床人員)。
- 病歷在哪裡處理。 問清病歷會送到哪個國家、哪個場所,標註者是居家工作還是在受控場所工作,分包商或眾包平臺是否能看到文本,以及交付後供應商何時刪除病歷。
- 業務夥伴協議。 根據 HIPAA,受涵蓋實體需要與代其接收受保護健康資訊的承包商簽訂業務夥伴協議(BAA)。請向你所在機構的隱私辦公室確認,項目是需要 BAA,還是隻有去標識化的病歷才會離開機構。
- 指南的歸屬。 問清誰撰寫標註指南,以及事後指南和標籤歸誰所有。確認合同允許你公開發表指南,並禁止供應商把你的病歷用於供應商自己的資料集。
- 一致性報告。 問清供應商報告的是哪種一致性係數、針對哪項任務、每份病歷有幾名標註者。請要求提供雙重標註樣本上每名標註者的標籤,而不是一個合併後的答案。
- 黃金集檢查。 問清供應商是否用你編寫的黃金集給標註者打分,以及你能否看到分數。
- 樣例工作與計價單位。 把最難的病歷連同你的指南發出去,在投入預算之前給返回的標籤評分。問清價格是按病歷、按實體、按編碼還是按標註者工時計算,以及一輪返工要多少錢。
Partnership on AI 為採購標註工作的團隊釋出了一個負責任採購資料庫。資料庫包括關於工作者報酬的指南和一份供應商比較模板。
用 Potato 在內部開展臨床文本標註
在內部做這項工作,意味著下面描述的研究各個環節都由你的團隊負責。Potato 負責軟體,人員和時間由你的團隊負責。
審批與去標識化。 誰可以閱讀病歷,通常由機構審查委員會的方案或資料使用協議規定。在獲批團隊之外的人看到文本之前,先對病歷去標識化。HIPAA 認可兩種去標識化方法,即 Safe Harbor(刪除或泛化 18 類列明的要素)和 Expert Determination(有檔案記錄的風險分析)。Potato 不會對病歷去標識化,也沒有 HIPAA 合規功能。
標註者。 臨床醫生的時間是主要成本。先做一次簡短的試點,測出每份病歷要花多長時間,再用標註成本計算器把每份病歷的耗時換算成預算。培訓階段給標註者提供帶反饋的練習病歷,只放行通過的標註者。混入正式任務的黃金標準條目在整個研究期間給準確率打分,基於類別的分配則只把標註者在培訓中取得資格的那些病歷類型發給該標註者。
工具。 span 方案用來標出實體、斷言線索和去標識化目標,span_link 方案用來在片段之間畫出關係(片段連結)。實體連結通過 rest 類型,為每個片段附上來自 UMLS、Wikidata 或你自己網路內術語服務的概念。umls 類型使用你的 UMLS API 金鑰搜尋 NLM 的 UTS 服務,每個搜尋字串隨之離開你的網路。Potato 不附帶 SNOMED CT 或 ICD-10 檔案。若要編碼到其中任何一個體系,請把 rest 類型指向你所在機構執行的術語服務。對於人類表型本體(Human Phenotype Ontology)這樣的 OBO 本體,label_source 塊可以離線搜尋本地的 .obo 檔案,也可以僅在方案設定了 allow_network: true 時搜尋 EMBL-EBI 的 OLS4(本體術語標籤)。
一致性。 num_annotators_per_item 設定每份病歷由幾名標註者標註。對於 span 方案,/admin/iaa 處的一致性報告給出詞元級 kappa、精確和部分匹配的片段 F1、字元級 Krippendorff's alpha,以及 Mathet 的 gamma 的簡化形式,詳見片段的一致性。
資料處理。 病歷儲存在你執行的伺服器上,一旦模型權重就位於本機,整套系統即可氣隙執行(氣隙標註)。通過 AI 支援提供的模型建議,在 endpoint_type: ollama 或 vllm 下保留在你的伺服器上。開啟 labeling_engine.features.pii_redaction 後,標註引擎會在把文本發給第三方模型 API 之前,遮蓋其中的電子郵件、URL、IP 地址、銀行卡號、美國社會安全號碼、電話號碼和 @使用者名稱,labeling_engine.redaction.categories 用來選擇遮蓋這七類中的哪幾類。這些模式無法找出患者姓名、日期或病歷號。Potato 的原始碼宣告這些遮蓋模式不是合規工具,病歷不得離開本場所的研究應當只列出本地模型來源。
在外包服務和內部標註之間如何選擇
下表把每種常見情形與通常合適的路線對應起來:
| 情形 | 通常合適的路線 |
|---|---|
| 病歷數量超過臨床醫生能按時標註的量,且病歷已獲准在 BAA 下或去標識化後交給供應商 | 外包服務 |
| 截止日期就在幾週後,沒有時間招募或培訓 | 外包服務 |
| 你的 IRB 方案或資料使用協議要求病歷留在機構內 | 內部標註 |
| 標籤需要你自己的專科醫生,例如腫瘤分期或本機構的編碼政策 | 內部標註 |
| 指南會隨著團隊閱讀病歷而改變 | 內部標註 |
| 發表的語料庫必須報告一致性以及標註者的培訓方式 | 內部標註,或能提供每位標註者標籤的外包服務 |
| 利用供應商的產能,同時由內部掌控品質 | 兩者結合,如下所述 |
自己檢查供應商的標籤
供應商給出的一致性數字描述的是供應商的標註者彼此之間的情況。你自己的檢查衡量的則是供應商的標籤與你的臨床醫生對同一批病歷的判讀之間的差異。請按五個步驟對樣本做檢查:
- 隨機抽取樣本。 從已交付的病歷中抽樣,當交付內容混有出院小結、放射學報告和病程記錄時,按病歷類型分層。樣本量見需要多少名標註者?。
- 獨立標註樣本。 你的兩名臨床醫生在 Potato 中按供應商的指南標註樣本,且看不到供應商標出的片段。
- 計算一致性。 把供應商的片段和你的標註者的片段放進同一個 CSV,包含 item、annotator、label、start 和 end 列,片段一致性計算器即可在瀏覽器中報告精確匹配 F1、部分匹配 F1 和字元級 Krippendorff's alpha。對於斷言或文件級標籤,一致性計算器計算 Cohen's kappa 和 Krippendorff's alpha。
- 與你自己的一對標註者比較。 你的兩名臨床醫生之間的一致性,說明這項任務在你的病歷上能做到多一致。供應商與臨床醫生之間的一致性遠低於臨床醫生自己之間的一致性,說明存在供應商的錯誤,或者供應商對某條指南的理解不同。
- 按標籤閱讀分歧。 對兩個標籤之間的混淆,或一連串漏標的否定,請在下一批之前通過修訂指南來解決。
兩邊的字元偏移量必須對應同一份病歷文本。計算一致性之前,請確認供應商的交付沒有改動空白字元、換行符或編碼。
供應商與你自己的伺服器的混合方案
兩種混合方案能讓團隊既購買產能,又掌控品質。
修正供應商的交付。 potato import 讀取 brat standoff、CoNLL、doccano 和 Prodigy 檔案,並建立一個 Potato 項目,把供應商的片段作為預標註,交給你的臨床醫生修正。brat 的關係和事件會列在匯入警告中,而不會被匯入。帶關係的交付需要在 Potato 中重新畫出關係(匯入項目)。
把供應商的標註者帶到你自己的 Potato 伺服器上。 Potato 的專家邀請提供方給每位簽約標註者一個帶令牌的專屬連結。這樣供應商的標註者就在你的伺服器上標註,你的培訓階段、黃金標準條目和一致性報告對供應商的標註者與對你自己的標註者同樣適用。供應商的員工仍然會閱讀病歷,上文關於 BAA 和去標識化的問題同樣適用。下面這份最小配置在出院小結中標出問題、檢查、治療和否定線索,把每個否定線索連結到它所否定的問題,並把每個片段連結到醫院網路內部的術語服務:
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
- "data/notes.jsonl"
item_properties:
id_key: id
text_key: text
output_annotation_dir: "annotation_output/"
login:
type: url_direct
url_argument: invite
crowdsourcing:
provider: expert
expert:
invites_file: "expert_invites.yaml"
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
annotation_schemes:
- annotation_type: span
name: concepts
description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
labels: [Problem, Test, Treatment, Negation cue]
entity_linking:
enabled: true
knowledge_bases:
# A terminology service inside the hospital network
- name: local_terms
type: rest
base_url: "http://terminology.internal:8080"
auto_search: false
- annotation_type: span_link
name: negations
description: "Link each negation cue to the problem it negates."
span_schema: concepts
link_types:
- name: negates
directed: true
allowed_source_labels: ["Negation cue"]
allowed_target_labels: ["Problem"]expert_invites.yaml 把每個令牌對映到一個顯示名稱,Potato 會拒絕檔案中沒有的任何令牌。請給每位標註者傳送 https://your-server/?invite=<token>。設定 auto_search: false 後,標註者要從片段的連結圖示開啟概念搜尋,否定線索除非標註者要求,否則不會觸發搜尋。管理儀表板按標註者報告標註數量和任務用時,專家標註者文件介紹了令牌的生成。
常見問題
什麼是醫療文本標註?
醫療文本標註是用實體、關係、斷言狀態、時間表達式、受保護的健康資訊,或 UMLS、SNOMED CT、ICD-10 等術語體系中的編碼,對臨床病歷、放射學報告和其他健康記錄文本進行標註。這些標籤用來訓練或評估臨床自然語言處理模型。標註由臨床醫生、醫學編碼員或經過培訓的標註者完成,可以在內部使用標註工具進行,也可以通過付費的標註服務進行。
哪些公司提供醫療文本標註服務?
AnnotationBox、Cogito Tech、iMerit、LXT 和 Shaip 都是在自己的頁面上提供臨床或醫療文本標註的公司。“供應商頁面上列出的臨床文本服務”一節記錄了各頁面在 2026 年 11 月 17 日所述的任務、標註團隊、合規宣告和價格。這五個頁面都沒有公佈價格。選擇之前,請傳送帶有你的指南的樣例病歷,並用你自己的臨床醫生的標籤給返回的標籤評分。
延伸閱讀
- 醫學影像與臨床文本標註工具對比,用於選擇內部工具
- 面向醫療健康和臨床標註的 Potato
- 音訊標註服務與內部標註工具對比
- 命名實體識別
- 關係與事件抽取
- 實體連結
- 標註者間一致性詳解
- 裁決與分歧的解決
- 專家標註與眾包標註
參考文獻
- Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
- Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
- Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
- Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086
示例設計
每個設計都是可以下載並直接執行的 Potato 配置。
- i2b2 Clinical Named Entity RecognitionNamed entity recognition and assertion classification for clinical notes, based on the i2b2/VA 2010 challenge (Uzuner et al., JAMIA 2011). Annotators identify clinical entities such as problems, treatments, tests, medications, and their assertion status in de-identified medical text.
- RadGraph-XL: Radiology Entity and Relation ExtractionEntity and relation extraction from radiology reports. Annotators identify clinical entities (Anatomy and Observation, each marked definitely present, uncertain, or definitely absent) and label relations between them (located_at, suggestive_of, modify).
- Clinical TempEval - Temporal Information Extraction from Clinical NotesExtraction of temporal information from clinical text, identifying time expressions, event mentions, and their temporal relations. Based on SemEval-2016 Task 12 (Clinical TempEval).