医療テキストアノテーションサービスと自社運用のアノテーションツールの比較
臨床テキストのアノテーションベンダーにノートを送る前に確認すべきこと、自社運用の調査に必要なこと、ベンダーのラベルを自分で検証する方法を解説します。
医療テキストアノテーションサービスは、臨床の訓練を受けたアノテーターを提供し、プロジェクトごとの見積り価格でラベル付きの臨床ノートを納品します。自社運用のアノテーションツールが提供するのはソフトウェアだけで、臨床医の確保、承認の取得、品質チェックはチームが行います。自分たちの臨床医では量をこなせず、ノートを第三者に渡してよい場合はベンダーに支払い、ノートを所属機関の外に出せない場合や、ラベルに自分たちの臨床医の判断が必要な場合は、自社でアノテーションしてください。
医療テキストアノテーションとは、臨床ノート、退院サマリー、放射線レポート、その他の電子健康記録のテキストにラベルを付けることです。ラベルは、臨床言語モデルの訓練や、モデルの出力の採点に使われます。一般的なタスクを以下に挙げ、ベンチマークを確立した共有タスクがある場合はそれも示します。
- 臨床固有表現認識。 アノテーターは、問題、検査、治療、薬剤の言及をそれぞれ囲みます。2010 年の i2b2/VA チャレンジは、臨床テキストにおける概念、アサーション、関係を扱いました。
- 関係抽出。 アノテーターは、薬剤とその用量、所見とその所見がある身体部位のように、二つの言及を結びます。
- アサーションと否定。 アノテーターは、言及された問題が存在するのか、存在しないのか、不確かなのか、また問題が患者本人のものか家族のものかを記録します。「denies chest pain」では、胸痛は存在しません。
- 時間アノテーション。 アノテーターは時間表現と臨床イベントを囲み、2012 年の i2b2 時間関係チャレンジのように、イベントを時間順に並べます。
- 匿名化。 アノテーターは、氏名、日付、診療録番号などの保護対象保健情報を囲みます。例は 2014 年の i2b2/UTHealth 共有タスクの Track 1 です。
- コーディングと正規化。 アノテーターは、各言及を UMLS、SNOMED CT、ICD-10 などの用語体系の概念に対応づけます。
医療テキストアノテーションサービスとは、上記のタスクのためにアノテーターを手配し、ラベルを納品する企業です。同じ語は、医療テキストを Wikidata のエンティティにリンクするオープンソースのサービスである DrNote のような、自動の概念タガーも指します。以下のガイドでは、人によるラベル付けを扱います。
Potato は、自分のサーバーで動作する無料のオープンソースのアノテーションツール(GPL-3.0-or-later)であり、Potato チームはアノテーターを提供しません。医用画像と臨床テキストのアノテーションツールの比較では、自社運用向けのツールを比較しており、臨床テキスト向けの INCEpTION と MedCATtrainer も含まれます。専門家とクラウドによるアノテーションでは誰がラベルを付けるべきかを扱い、アノテーションツールを作るか買うかでは、あらゆるデータ型に共通するソフトウェアの判断を扱います。
ベンダーのページに載っている臨床テキストサービス
臨床テキスト向けのベンダーのページには、提供するタスク、労働力、ベンダーが主張するセキュリティ標準が書かれています。Potato チームは、2026 年 11 月 17 日に各ベンダー自身の医療またはヘルスケア向けテキストアノテーションのページを読みました。以下の表はベンダーをアルファベット順に並べ、各ページに書かれている内容を記録したものです。各コンプライアンスの主張は、ページがそう述べているものとして記しています。
| ベンダー | ページに挙げられている臨床テキスト作業 | 記載されている労働力 | 記載されているコンプライアンス | ページ上の価格 |
|---|---|---|---|---|
| AnnotationBox | 医療エンティティ認識、放射線レポートのアノテーション、健康記録のアノテーション、ヘルスケアテキストの分類 | 訓練を受けた 1000 人以上の専門家 | コンプライアンス標準の記載なし | 見積り |
| Cogito Tech | 臨床・生物医学エンティティの認識、UMLS、ICD-10、SNOMED へのリンク、匿名化、診療記録のアノテーション | 1500 人以上のデータ・業界の専門家と、100 以上の言語と方言に対応する言語・領域の専門家 | ページは、Cogito Tech が GDPR、HIPAA、ISO 27001 の標準に準拠していると述べている | 価格なし、問い合わせフォーム |
| iMerit | 経時的な診療記録における患者、提供者、疾患、治療、転帰の特定、分類、リンク | 検証とベンチマークを担当する米国の認定医師 | ページは、iMerit のワークフローが HIPAA、SOC-2、CE、FDA の規制上のコンプライアンス要件を満たしていると述べている | 価格なし |
| LXT | 臨床文書のアノテーション、ノート中の症状検出、患者記録の匿名化 | LXT と子会社の clickworker にまたがる 1,000 万人以上の貢献者で、100 以上の分野にわたる 25 万人以上の領域専門家を含む | ページは、ISO 27001 認証を受けた施設と、GDPR および HIPAA 標準への準拠を述べている | 価格なし |
| Shaip | 臨床エンティティの認識、関係、アサーション(状態、否定、主体)、時間とセクションのアノテーション、根拠となるテキストを示した SNOMED、RxNorm、ICD-10-CM、CPT へのコーディング | 1 万人以上の自社の労働力と 50 万人以上のクラウド貢献者からなる、資格を持つ領域専門家 | ページは GDPR、HIPAA、ISO 9001:2015、SOC 2 Type II、ISO 27001 を挙げ、HIPAA の Safe Harbor と Expert Determination による匿名化を述べている | カスタム価格、金額の記載なし |
LXT の項目は、ヘルスケアの項目が一行だけある汎用のテキストアノテーションのページから取ったもので、ほかの四つのページはヘルスケア向けの作業を扱っています。上の表のコンプライアンスの項目はすべてベンダー自身の主張です。プロジェクトが頼りにする主張については、その裏づけとなる監査報告書、証明書、署名済みの契約を求めてください。iMerit のページは、一つの事例研究に基づく 99% のアノテーション品質を報告し、AnnotationBox のページは 95% 以上の精度を報告しています。どちらのページも、その数値をどう測定したかを述べていません。
医療テキストアノテーションのベンダーに尋ねるべきこと
以下の質問への答えによって、ノートをそもそもベンダーに渡してよいか、納品されたラベルを信頼できるかが決まります。契約前に確認してください。
- アノテーターの資格。 誰がラベルを付け、誰がレビューするのか、各ノートに何人のアノテーターがラベルを付けるのか、各人の臨床上の役割(看護師、医療コーダー、医師、訓練を受けた非臨床者)を尋ねてください。
- ノートが処理される場所。 ノートがどの国のどの施設に届くか、アノテーターが自宅で作業するのか管理された施設で作業するのか、下請けやクラウドプラットフォームがテキストを見るか、納品後にベンダーがいつノートを削除するかを尋ねてください。
- 業務提携契約。 HIPAA では、対象事業体は、自らに代わって保護対象保健情報を受け取る委託先と、業務提携契約(BAA)を結ぶ必要があります。プロジェクトに BAA が必要なのか、匿名化したノートだけが所属機関の外に出るのかを、プライバシー担当部署に確認してください。
- ガイドラインの所有。 誰がアノテーションのガイドラインを書き、その後ガイドラインとラベルを誰が所有するのかを尋ねてください。契約でガイドラインの公表が認められ、ベンダー自身のデータセットでのノートの再利用が禁じられていることを確認してください。
- 一致度の報告。 ベンダーがどの一致度係数を、どのタスクについて、ノートごとに何人のアノテーター間で報告しているのかを尋ねてください。統合された一つの答えではなく、二重にアノテーションしたサンプルについて、各アノテーターのラベルを求めてください。
- ゴールドセットによるチェック。 ベンダーが、自分で作成したゴールドセットに照らしてアノテーターを採点しているか、そのスコアを見られるかを尋ねてください。
- サンプル作業と価格の単位。 最も難しいノートをガイドラインと一緒に送り、予算を投じる前に、納品されたラベルを採点してください。価格がノートあたり、エンティティあたり、コードあたり、アノテーターの作業時間あたりのどれなのか、手直しのラウンドにいくらかかるのかを尋ねてください。
Partnership on AI は、アノテーション作業を購入するチーム向けに責任ある調達ライブラリを公開しています。このライブラリには、労働者の報酬に関するガイドラインと、ベンダー比較のテンプレートが含まれています。
Potato による自社運用の臨床テキストアノテーション
作業を自社で運用するとは、以下に述べる調査の各部分をチームが自分で担うことを意味します。Potato がソフトウェアを担い、チームが人材と時間を担います。
承認と匿名化。 誰がノートを読めるかは、通常、施設内審査委員会のプロトコルまたはデータ利用契約で決まります。承認されたチームの外の誰かがテキストを見る前に、ノートを匿名化してください。HIPAA は、Safe Harbor(列挙された 18 の要素を削除または一般化する)と Expert Determination(文書化されたリスク分析)という二つの匿名化の方法を認めています。Potato はノートを匿名化せず、HIPAA 準拠の機能もありません。
アノテーター。 臨床医の時間が主なコストです。短いパイロットを実施して、ノートごとにかかる時間を測定し、そのノートあたりの時間をアノテーションコスト計算ツールで予算に換算してください。訓練フェーズは、フィードバック付きの練習用ノートをアノテーターに提供し、合格したアノテーターだけを受け入れます。実際のタスクに混ぜ込まれたゴールドアイテムは、調査の全期間を通じて精度を採点し、カテゴリベースの割り当ては、訓練で適格と認められたノートの種類だけを各アノテーターに送ります。
ツール。 span スキームはエンティティ、アサーションの手がかり、匿名化の対象を囲み、span_link スキームはスパン間の関係を引きます(スパンリンク)。エンティティリンクは、UMLS、Wikidata、または自社ネットワーク上の用語サービスから、rest タイプを通じて各スパンに概念を付けます。umls タイプは、UMLS の API キーを使って NLM の UTS サービスを検索し、各検索文字列はそのときネットワークの外に出ます。Potato は SNOMED CT や ICD-10 のファイルを同梱していません。どちらかの体系にコーディングするには、rest タイプを、所属機関が運用する用語サービスに向けてください。Human Phenotype Ontology のような OBO オントロジーについては、label_source ブロックが、ローカルの .obo ファイルをオフラインで検索するか、スキームが allow_network: true を設定した場合に限り EMBL-EBI の OLS4 を検索します(オントロジー用語ラベル)。
一致度。 num_annotators_per_item は、各ノートに何人のアノテーターがラベルを付けるかを設定します。span スキームでは、/admin/iaa の一致度レポートが、トークンレベルの kappa、完全一致と部分一致のスパン F1、文字レベルの Krippendorff の alpha、Mathet の gamma の簡易版を示します。詳しくはスパンの一致度で説明しています。
データの取り扱い。 ノートは自分で運用するサーバーに留まり、モデルの重みがマシンに置かれていれば、セットアップ全体をエアギャップ環境で動かせます(エアギャップ環境でのアノテーション)。AI サポートによるモデルの提案は、endpoint_type: ollama または vllm を使えば、自分のサーバーに留まります。labeling_engine.features.pii_redaction を有効にすると、ラベリングエンジンは、サードパーティのモデル API に送るテキスト内のメールアドレス、URL、IP アドレス、カード番号、米国の社会保障番号、電話番号、@ハンドルをマスクし、labeling_engine.redaction.categories で七つのうちどれをマスクするかを選びます。このパターンは、患者名、日付、診療録番号を見つけられません。Potato のソースコードには、マスクのパターンはコンプライアンスのためのツールではないと書かれており、ノートを施設の外に出してはならない調査では、ローカルのモデルだけを挙げるべきです。
サービスと自社アノテーションの選び方
以下では、よくある状況ごとに、通常その状況に合う方法を対応させています。
| 状況 | 通常適する方法 |
|---|---|
| 臨床医が期限内にラベルを付けられる量を超えるノートがあり、BAA のもとで、または匿名化後にベンダーへ渡すことが認められている | サービス |
| 数週間後に固定の締め切りがあり、募集や訓練の時間がない | サービス |
| IRB のプロトコルまたはデータ利用契約により、ノートを所属機関内に留めなければならない | 自社運用 |
| 腫瘍のステージ分類や自施設のコーディング方針など、自分たちの専門医が必要なラベル | 自社運用 |
| チームがノートを読むにつれて変わっていくガイドライン | 自社運用 |
| 一致度とアノテーターの訓練方法を報告しなければならない、公刊されるコーパス | 自社運用、またはアノテーターごとのラベルを納品するサービス |
| ベンダーの作業力を使いつつ、品質は自社で管理したい | 両方、下記のように組み合わせる |
ベンダーのラベルを自分で検証する
ベンダーが示す一致度の数値は、ベンダーのアノテーター同士の比較を表しています。自社の検証は、ベンダーのラベルを、同じノートに対する自社の臨床医の読み方と比較して測ります。サンプルに対して、次の五つのステップで検証を行います。
- ランダムにサンプルを抽出する。 納品物に退院サマリー、放射線レポート、経過記録が混在している場合は、ノートの種類で層化して抽出します。サンプルサイズは何人のアノテーターが必要かで扱っています。
- サンプルに独立してラベルを付ける。 自社の臨床医二人が、ベンダーのスパンを見ずに、ベンダーのガイドラインを使って Potato でサンプルにラベルを付けます。
- 一致度を計算する。 ベンダーのスパンと自社のアノテーターのスパンを、item、annotator、label、start、end の列を持つ一つの CSV にまとめると、スパン一致度計算ツールが、完全一致の F1、部分一致の F1、文字レベルの Krippendorff の alpha をブラウザ上で報告します。アサーションや文書レベルのラベルには、一致度計算ツールが Cohen の kappa と Krippendorff の alpha を計算します。
- 自社の二人と比較する。 自社の臨床医二人の間の一致度は、自社のノートでそのタスクをどれだけ一貫して行えるかを示します。ベンダーと臨床医の一致度が、臨床医同士の一致度を大きく下回る場合は、ベンダーの誤りか、ベンダーが異なる読み方をしているガイドラインがあることを示しています。
- 不一致をラベルごとに読む。 二つのラベルの混同や、否定の見落としの連続は、次のバッチの前に、ガイドラインの改訂で解消してください。
文字オフセットは、両側で同じノートのテキストを指していなければなりません。一致度を計算する前に、ベンダーの納品物で空白、改行コード、エンコーディングが変わっていないことを確認してください。
ベンダーと自社サーバーを組み合わせるハイブリッド構成
二つのハイブリッドのパターンにより、チームは作業力を購入しながら、品質の管理を手元に残せます。
ベンダーの納品物を修正する。 potato import は、brat standoff、CoNLL、doccano、Prodigy のファイルを読み込み、ベンダーのスパンを事前アノテーションとして、自社の臨床医が修正するための Potato プロジェクトを作ります。brat の関係とイベントは、インポートされず、インポート時の警告に一覧されます。関係を含む納品物は、Potato で関係を引き直す必要があります(プロジェクトのインポート)。
ベンダーのアノテーターを自社の Potato サーバーに迎える。 Potato のエキスパート招待プロバイダーは、契約した各アノテーターに、トークン付きの専用リンクを発行します。ベンダーのアノテーターはその後、自社のサーバー上でラベルを付け、自社の訓練フェーズ、ゴールドアイテム、一致度レポートは、自社のアノテーターと同じようにベンダーのアノテーターにも適用されます。ベンダーのスタッフがノートを読むことに変わりはなく、上記の BAA と匿名化に関する質問も同じように当てはまります。次の最小限の設定は、退院サマリーの問題、検査、治療、否定の手がかりを囲み、各否定の手がかりを、それが否定する問題にリンクし、各スパンを病院ネットワーク内の用語サービスにリンクします。
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
- "data/notes.jsonl"
item_properties:
id_key: id
text_key: text
output_annotation_dir: "annotation_output/"
login:
type: url_direct
url_argument: invite
crowdsourcing:
provider: expert
expert:
invites_file: "expert_invites.yaml"
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
annotation_schemes:
- annotation_type: span
name: concepts
description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
labels: [Problem, Test, Treatment, Negation cue]
entity_linking:
enabled: true
knowledge_bases:
# A terminology service inside the hospital network
- name: local_terms
type: rest
base_url: "http://terminology.internal:8080"
auto_search: false
- annotation_type: span_link
name: negations
description: "Link each negation cue to the problem it negates."
span_schema: concepts
link_types:
- name: negates
directed: true
allowed_source_labels: ["Negation cue"]
allowed_target_labels: ["Problem"]expert_invites.yaml は各トークンを表示名に対応づけ、Potato はファイルにないトークンをすべて拒否します。各アノテーターに https://your-server/?invite=<token> を送ってください。auto_search: false の場合、アノテーターはスパンのリンクアイコンから概念検索を開き、否定の手がかりは、アノテーターが求めない限り検索を起動しません。管理ダッシュボードはアノテーターごとのアノテーション数と作業時間を報告し、エキスパートアノテーターのドキュメントでは、トークンの生成を扱います。
よくある質問
医療テキストアノテーションとは何ですか?
医療テキストアノテーションとは、臨床ノート、放射線レポート、その他の健康記録のテキストに、エンティティ、関係、アサーションの状態、時間表現、保護対象保健情報、または UMLS、SNOMED CT、ICD-10 などの用語体系のコードを付けることです。ラベルは、臨床の自然言語処理モデルの訓練や評価に使われます。ラベル付けは、臨床医、医療コーダー、または訓練を受けたアノテーターが、自社でアノテーションツールを使って行うか、有料のアノテーションサービスを通じて行います。
医療テキストアノテーションサービスを提供している企業はどこですか?
AnnotationBox、Cogito Tech、iMerit、LXT、Shaip は、自社のページで臨床または医療テキストのアノテーションを提供している企業に含まれます。「ベンダーのページに載っている臨床テキストサービス」のセクションには、2026 年 11 月 17 日時点で各ページに書かれていたタスク、労働力、コンプライアンスの主張、価格が記録されています。五つのページのいずれも価格を公表していません。選ぶ前に、ガイドラインを添えたサンプルのノートを送り、納品されたラベルを自社の臨床医のラベルと照らして採点してください。
関連資料
- 医用画像と臨床テキストのアノテーションツールの比較。自社運用のツールを選ぶために
- ヘルスケアと臨床アノテーションのための Potato
- 音声アノテーションサービスと自社運用のアノテーションツールの比較
- 固有表現認識
- 関係とイベントの抽出
- エンティティリンク
- 評価者間一致度の解説
- 裁定と不一致の解消
- 専門家とクラウドによるアノテーション
参考文献
- Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
- Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
- Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
- Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086
デザイン例
各デザインは、ダウンロードしてそのまま実行できる Potato の設定です。
- i2b2 Clinical Named Entity RecognitionNamed entity recognition and assertion classification for clinical notes, based on the i2b2/VA 2010 challenge (Uzuner et al., JAMIA 2011). Annotators identify clinical entities such as problems, treatments, tests, medications, and their assertion status in de-identified medical text.
- RadGraph-XL: Radiology Entity and Relation ExtractionEntity and relation extraction from radiology reports. Annotators identify clinical entities (Anatomy and Observation, each marked definitely present, uncertain, or definitely absent) and label relations between them (located_at, suggestive_of, modify).
- Clinical TempEval - Temporal Information Extraction from Clinical NotesExtraction of temporal information from clinical text, identifying time expressions, event mentions, and their temporal relations. Based on SemEval-2016 Task 12 (Clinical TempEval).