Перейти к содержимому

Сервисы разметки медицинских текстов и собственные инструменты разметки

Что спросить у поставщика разметки клинических текстов, прежде чем отправлять записи, что нужно для собственного исследования и как самостоятельно проверить метки поставщика.

Сервис разметки медицинских текстов предоставляет разметчиков с клинической подготовкой и возвращает размеченные клинические записи по цене, которую называет для каждого проекта отдельно. Собственный инструмент разметки даёт только программу, а набирать клиницистов, получать разрешения и проверять качество должна ваша команда. Платите поставщику, когда ваши клиницисты не справляются с объёмом, а записи можно передавать третьей стороне, и размечайте сами, когда записи нельзя выносить за пределы вашего учреждения или когда метки требуют суждения ваших собственных клиницистов.

Разметка медицинских текстов — это присвоение меток клиническим записям, выписным эпикризам, рентгенологическим заключениям и другим текстам электронных медицинских карт. Метки обучают клинические языковые модели или оценивают их ответы. Типичные задачи перечислены ниже, и там, где есть эталонный набор, указана общая задача, которая его задала:

Сервис разметки медицинских текстов — это компания, которая набирает разметчиков для перечисленных задач и поставляет метки. Тем же словосочетанием называют и автоматические средства разметки понятий, например DrNote, открытый сервис, который связывает медицинский текст с сущностями Wikidata. Руководство ниже посвящено разметке, которую выполняют люди.

Potato — бесплатный инструмент разметки с открытым исходным кодом (GPL-3.0-or-later), который работает на вашем собственном сервере, и команда Potato не предоставляет разметчиков. Сравнение инструментов разметки медицинских изображений и клинических текстов сравнивает инструменты для собственной разметки и включает INCEpTION и MedCATtrainer для клинических текстов. Эксперты или краудсорсинг в разметке разбирает, кому поручать разметку, а Создать или купить инструмент разметки разбирает выбор программы для данных любого типа.

Услуги разметки клинических текстов на страницах поставщиков

Страницы поставщиков по клиническим текстам называют предлагаемые задачи, исполнителей и стандарты безопасности, которые поставщик заявляет. Команда Potato прочитала страницу каждого поставщика о разметке медицинских или клинических текстов 17 ноября 2026 года. В таблице ниже поставщики перечислены в алфавитном порядке, и для каждого записано, что сказано на его странице. Каждое заявление о соответствии стандартам приведено как слова самой страницы.

ПоставщикРабота с клиническими текстами, названная на страницеИсполнители, как указаноСоответствие стандартам, как указаноЦена на странице
AnnotationBoxРаспознавание медицинских сущностей, разметка рентгенологических заключений, разметка медицинских карт и классификация медицинских текстовБолее 1000 обученных экспертовНи один стандарт не названПо запросу
Cogito TechРаспознавание клинических и биомедицинских сущностей, связывание с UMLS, ICD-10 и SNOMED, деидентификация и разметка медицинских записейБолее 1500 экспертов по данным и отраслям, а также языковые и предметные эксперты в более чем 100 языках и диалектахСтраница утверждает, что Cogito Tech соблюдает стандарты GDPR, HIPAA и ISO 27001Цены нет, форма обратной связи
iMeritЛокализация, классификация и связывание пациентов, поставщиков медицинских услуг, заболеваний, видов лечения и исходов в продольных медицинских записяхВрачи с американской сертификацией для проверки и оценки эталонных наборовСтраница утверждает, что рабочие процессы iMerit отвечают требованиям HIPAA, SOC-2, CE и регуляторным требованиям FDAЦены нет
LXTРазметка клинической документации, выявление симптомов в записях и деидентификация записей пациентовБолее 10 миллионов исполнителей в LXT и дочерней компании clickworker, включая более 250 тысяч экспертов в более чем 100 областяхСтраница называет объекты, сертифицированные по ISO 27001, и соответствие стандартам GDPR и HIPAAЦены нет
ShaipРаспознавание клинических сущностей, связи, утверждения (статус, отрицание и субъект), временная и секционная разметка, кодирование в SNOMED, RxNorm, ICD-10-CM и CPT с выделением подтверждающего текстаАккредитованные эксперты в предметной области из штата более 10 000 человек и более 500 тысяч краудсорсинговых исполнителейСтраница перечисляет GDPR, HIPAA, ISO 9001:2015, SOC 2 Type II и ISO 27001 и заявляет деидентификацию по методам HIPAA Safe Harbor и Expert DeterminationИндивидуальный расчёт, без сумм

Запись о LXT взята с общей страницы разметки текстов, где здравоохранению отведён один пункт, а остальные четыре страницы посвящены работе в здравоохранении. Каждая запись о соответствии стандартам в таблице выше — это собственное заявление поставщика. Запросите аудиторский отчёт, сертификат или подписанное соглашение, стоящие за любым заявлением, на которое опирается проект. Страница iMerit сообщает о 99% качества разметки по одному кейсу, а страница AnnotationBox — о точности более 95%. Ни одна из страниц не объясняет, как этот показатель измерен.

Вопросы к поставщику разметки медицинских текстов

Ответы на вопросы ниже определяют, можно ли вообще передавать записи поставщику и можно ли доверять возвращённым меткам. Задайте их до подписания договора.

  • Квалификация разметчиков. Спросите, кто размечает и кто проверяет, сколько разметчиков размечает каждую запись и какова клиническая роль каждого (медсестра, медицинский кодировщик, врач или обученный неклиницист).
  • Где обрабатываются записи. Спросите, в какую страну и на какой объект попадают записи, работают ли разметчики из дома или из контролируемого помещения, видят ли текст субподрядчики или краудсорсинговая платформа и когда поставщик удаляет записи после сдачи работы.
  • Соглашение с деловым партнёром. Согласно HIPAA, организации, подпадающей под закон, нужно соглашение с деловым партнёром (BAA) с подрядчиком, который получает защищённую медицинскую информацию от её имени. Уточните у отдела конфиденциальности вашего учреждения, нужно ли проекту BAA или за пределы учреждения выходят только деидентифицированные записи.
  • Права на инструкции. Спросите, кто пишет инструкции по разметке и кому после этого принадлежат инструкции и метки. Убедитесь, что договор позволяет вам публиковать инструкции и запрещает использовать ваши записи в собственных наборах данных поставщика.
  • Отчётность о согласованности. Спросите, какой коэффициент согласованности сообщает поставщик, по какой задаче и между сколькими разметчиками на запись. Запросите метки каждого разметчика на дважды размеченной выборке вместо одного объединённого ответа.
  • Проверки по эталонному набору. Спросите, оценивает ли поставщик разметчиков по эталонному набору, который пишете вы, и видите ли вы оценки.
  • Пробная работа и единица оплаты. Отправьте самые трудные записи вместе с вашими инструкциями и оцените возвращённые метки, прежде чем выделять бюджет. Спросите, считается ли цена за запись, за сущность, за код или за час работы разметчика и сколько стоит раунд доработки.

Partnership on AI публикует библиотеку ответственных закупок для команд, которые покупают работу по разметке. В библиотеку входят рекомендации по оплате труда работников и шаблон для сравнения поставщиков.

Собственная разметка клинических текстов в Potato

Собственная разметка означает, что ваша команда отвечает за каждую часть исследования, описанную ниже. Potato закрывает программную часть, а ваша команда обеспечивает людей и время.

Разрешения и деидентификация. Кто может читать записи, обычно определяет протокол этического комитета или соглашение об использовании данных. Деидентифицируйте записи до того, как текст увидит кто-либо за пределами утверждённой команды. HIPAA признаёт два метода деидентификации — Safe Harbor (удаление или обобщение 18 перечисленных элементов) и Expert Determination (документированный анализ риска). Potato не деидентифицирует записи и не имеет функции соответствия HIPAA.

Разметчики. Основная статья расходов — время клиницистов. Проведите короткий пилот, чтобы измерить, сколько времени уходит на каждую запись, и переведите это время на запись в бюджет с помощью калькулятора стоимости разметки. Этап обучения даёт разметчикам пробные записи с обратной связью и допускает только прошедших. Эталонные примеры, подмешанные в основную задачу, оценивают точность на протяжении всего исследования, а назначение по категориям отправляет каждому разметчику только те типы записей, для которых он получил допуск на обучении.

Инструмент. Схема span выделяет сущности, признаки утверждения и объекты деидентификации, а схема span_link проводит связи между спанами (Связи между спанами). Связывание сущностей прикрепляет к каждому спану понятие из UMLS, из Wikidata или из терминологического сервиса в вашей собственной сети через тип rest. Тип umls ищет в сервисе UTS Национальной медицинской библиотеки США по вашему ключу UMLS API, и каждая строка поиска при этом покидает сеть. Potato не поставляется с файлами SNOMED CT или ICD-10. Чтобы кодировать в любую из этих систем, направьте тип rest на терминологический сервис, который запускает ваше учреждение. Для онтологий OBO, таких как Human Phenotype Ontology, блок label_source ищет в локальном файле .obo без доступа к сети или ищет в OLS4 от EMBL-EBI, только если схема задаёт allow_network: true (Метки терминов онтологий).

Согласованность. num_annotators_per_item задаёт, сколько разметчиков размечает каждую запись. Для схемы span отчёт о согласованности по адресу /admin/iaa даёт каппу на уровне токенов, F1 по спанам для точного и частичного совпадения, альфу Криппендорфа на уровне символов и упрощённый вариант гаммы Матэ, как объясняет страница Согласованность для спанов.

Обращение с данными. Записи остаются на сервере, которым управляете вы, и вся установка работает без доступа к сети (air-gapped), как только веса модели окажутся на машине (Разметка без доступа к сети). Подсказки модели через поддержку ИИ остаются на вашем сервере при endpoint_type: ollama или vllm. При включённом labeling_engine.features.pii_redaction движок разметки маскирует адреса электронной почты, URL, IP-адреса, номера карт, номера социального страхования США, телефонные номера и @-имена в тексте, отправляемом в API сторонней модели, а labeling_engine.redaction.categories выбирает, какие из семи категорий маскировать. Эти шаблоны не находят имена пациентов, даты и номера карт. В исходном коде Potato сказано, что шаблоны маскирования не являются средством обеспечения соответствия требованиям, и в исследовании, где записи не должны покидать площадку, следует указывать только локальные источники моделей.

Выбор между сервисом и собственной разметкой

Ниже каждой типичной ситуации сопоставлен путь, который обычно ей подходит.

СитуацияЧто обычно подходит
Записей больше, чем клиницисты успевают разметить в срок, и записи разрешено передавать поставщику по BAA или после деидентификацииСервис
Жёсткий срок через несколько недель и нет времени набирать или обучать людейСервис
Записи, которые протокол вашего этического комитета или соглашение об использовании данных оставляют внутри учрежденияСобственная разметка
Метки, для которых нужны ваши собственные специалисты, например стадирование в онкологии или местные правила кодированияСобственная разметка
Инструкции, которые будут меняться по мере того, как команда читает записиСобственная разметка
Публикуемый корпус, в котором нужно сообщить согласованность и то, как обучались разметчикиСобственная разметка или сервис, который передаёт метки каждого разметчика
Объём на уровне поставщика при собственном контроле качестваОба варианта, совмещённые, как описано ниже

Как самостоятельно проверить метки поставщика

Показатель согласованности поставщика описывает разметчиков поставщика относительно друг друга. Ваша собственная проверка сравнивает метки поставщика с тем, как те же записи читают ваши клиницисты. Проведите проверку на выборке в пять шагов.

  1. Возьмите случайную выборку из сданных записей, стратифицированную по типу записи, если в поставке смешаны выписные эпикризы, рентгенологические заключения и записи о динамике. Размер выборки разбирает страница Сколько разметчиков вам нужно?.
  2. Разметьте выборку независимо. Два ваших клинициста размечают выборку в Potato по инструкциям поставщика, не видя спанов поставщика.
  3. Вычислите согласованность. Поместите спаны поставщика и спаны ваших разметчиков в один CSV со столбцами item, annotator, label, start и end, и калькулятор согласованности спанов сообщит в браузере F1 по точному совпадению, F1 по частичному совпадению и альфу Криппендорфа на уровне символов. Для утверждений и меток на уровне документа калькулятор согласованности считает каппу Коэна и альфу Криппендорфа.
  4. Сравните с вашей собственной парой. Согласованность между двумя вашими клиницистами показывает, насколько последовательно задачу можно выполнить на ваших записях. Согласованность поставщика с клиницистами, заметно более низкая, чем у клиницистов между собой, указывает на ошибки поставщика или на инструкцию, которую поставщик понимает иначе.
  5. Прочитайте расхождения по меткам. Путаницу между двумя метками или серию пропущенных отрицаний устраняйте пересмотром инструкции до следующей партии.

Смещения символов должны относиться к одному и тому же тексту записи с обеих сторон. Прежде чем считать согласованность, убедитесь, что поставка поставщика не изменила пробелы, окончания строк или кодировку.

Гибридные схемы с поставщиком и вашим собственным сервером

Две гибридные схемы позволяют команде купить мощности и сохранить контроль над качеством.

Исправление поставки поставщика. potato import читает файлы brat standoff, CoNLL, doccano и Prodigy и строит проект Potato, где спаны поставщика служат предварительной разметкой, которую ваши клиницисты исправляют. Связи и события brat не импортируются, а перечисляются в предупреждениях импорта. Для поставки со связями связи нужно перерисовать в Potato (Импорт проекта).

Подключение разметчиков поставщика к вашему собственному серверу Potato. Провайдер экспертных приглашений Potato даёт каждому разметчику по договору личную ссылку с токеном. Тогда разметчики поставщика размечают на вашем сервере, а ваш этап обучения, эталонные примеры и отчёт о согласованности применяются к разметчикам поставщика так же, как к вашим собственным. Сотрудники поставщика по-прежнему читают записи, и вопросы о BAA и деидентификации выше применимы так же. Следующий минимальный конфиг размечает проблемы, исследования, лечение и признаки отрицания в выписных эпикризах, связывает каждый признак отрицания с проблемой, которую он отрицает, и связывает каждый спан с терминологическим сервисом внутри сети больницы:

yaml
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
  - "data/notes.jsonl"
item_properties:
  id_key: id
  text_key: text
output_annotation_dir: "annotation_output/"
 
login:
  type: url_direct
  url_argument: invite
 
crowdsourcing:
  provider: expert
  expert:
    invites_file: "expert_invites.yaml"
 
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
 
annotation_schemes:
  - annotation_type: span
    name: concepts
    description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
    labels: [Problem, Test, Treatment, Negation cue]
    entity_linking:
      enabled: true
      knowledge_bases:
        # A terminology service inside the hospital network
        - name: local_terms
          type: rest
          base_url: "http://terminology.internal:8080"
      auto_search: false
 
  - annotation_type: span_link
    name: negations
    description: "Link each negation cue to the problem it negates."
    span_schema: concepts
    link_types:
      - name: negates
        directed: true
        allowed_source_labels: ["Negation cue"]
        allowed_target_labels: ["Problem"]

expert_invites.yaml сопоставляет каждому токену отображаемое имя, и Potato отклоняет любой токен, которого нет в файле. Отправьте каждому разметчику https://your-server/?invite=<token>. При auto_search: false разметчик открывает поиск понятий по значку связи у спана, а признак отрицания не запускает поиск, пока разметчик его не запросит. Панель администратора показывает объём разметки и время работы по каждому разметчику, а документация по экспертным разметчикам описывает генерацию токенов.

Частые вопросы

Что такое разметка медицинских текстов?

Разметка медицинских текстов — это присвоение клиническим записям, рентгенологическим заключениям и другим текстам медицинских карт меток сущностей, связей, статуса утверждения, временных выражений, защищённой медицинской информации или кодов терминологии, такой как UMLS, SNOMED CT или ICD-10. Метки обучают или оценивают модели клинической обработки естественного языка. Размечают клиницисты, медицинские кодировщики или обученные разметчики, либо своими силами с помощью инструмента разметки, либо через платный сервис разметки.

Какие компании предлагают услуги разметки медицинских текстов?

AnnotationBox, Cogito Tech, iMerit, LXT и Shaip входят в число компаний, чьи собственные страницы предлагают разметку клинических или медицинских текстов. Раздел «Услуги разметки клинических текстов на страницах поставщиков» фиксирует задачи, исполнителей, заявления о соответствии стандартам и цены, указанные на каждой странице 17 ноября 2026 года. Ни одна из пяти страниц не публикует цену. Прежде чем выбирать, отправьте пробные записи вместе с вашими инструкциями и оцените возвращённые метки, сравнив их с метками ваших собственных клиницистов.

Что почитать дальше

Источники

  1. Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
  2. Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
  3. Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
  4. Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086

Примеры дизайнов

Каждый дизайн — рабочая конфигурация Potato, которую можно скачать и запустить.