Сервисы разметки медицинских текстов и собственные инструменты разметки
Что спросить у поставщика разметки клинических текстов, прежде чем отправлять записи, что нужно для собственного исследования и как самостоятельно проверить метки поставщика.
Сервис разметки медицинских текстов предоставляет разметчиков с клинической подготовкой и возвращает размеченные клинические записи по цене, которую называет для каждого проекта отдельно. Собственный инструмент разметки даёт только программу, а набирать клиницистов, получать разрешения и проверять качество должна ваша команда. Платите поставщику, когда ваши клиницисты не справляются с объёмом, а записи можно передавать третьей стороне, и размечайте сами, когда записи нельзя выносить за пределы вашего учреждения или когда метки требуют суждения ваших собственных клиницистов.
Разметка медицинских текстов — это присвоение меток клиническим записям, выписным эпикризам, рентгенологическим заключениям и другим текстам электронных медицинских карт. Метки обучают клинические языковые модели или оценивают их ответы. Типичные задачи перечислены ниже, и там, где есть эталонный набор, указана общая задача, которая его задала:
- Клиническое распознавание именованных сущностей. Разметчики выделяют каждое упоминание проблемы, исследования, лечения или лекарства. Конкурс i2b2/VA 2010 года охватывал понятия, утверждения и связи в клиническом тексте.
- Извлечение связей. Разметчики связывают два упоминания, например лекарство и его дозу или находку и часть тела, к которой находка относится.
- Утверждение и отрицание. Разметчики фиксируют, присутствует ли упомянутая проблема, отсутствует или вызывает сомнение, и относится ли она к пациенту или к члену его семьи. В фразе «denies chest pain» боль в груди отсутствует.
- Разметка времени. Разметчики выделяют временные выражения и клинические события и упорядочивают события во времени, как в конкурсе i2b2 2012 года по временным связям.
- Деидентификация. Разметчики выделяют защищённую медицинскую информацию, такую как имена, даты и номера медицинских карт, как в треке 1 общей задачи i2b2/UTHealth 2014 года.
- Кодирование и нормализация. Разметчики сопоставляют каждое упоминание с понятием терминологии, например UMLS, SNOMED CT или ICD-10.
Сервис разметки медицинских текстов — это компания, которая набирает разметчиков для перечисленных задач и поставляет метки. Тем же словосочетанием называют и автоматические средства разметки понятий, например DrNote, открытый сервис, который связывает медицинский текст с сущностями Wikidata. Руководство ниже посвящено разметке, которую выполняют люди.
Potato — бесплатный инструмент разметки с открытым исходным кодом (GPL-3.0-or-later), который работает на вашем собственном сервере, и команда Potato не предоставляет разметчиков. Сравнение инструментов разметки медицинских изображений и клинических текстов сравнивает инструменты для собственной разметки и включает INCEpTION и MedCATtrainer для клинических текстов. Эксперты или краудсорсинг в разметке разбирает, кому поручать разметку, а Создать или купить инструмент разметки разбирает выбор программы для данных любого типа.
Услуги разметки клинических текстов на страницах поставщиков
Страницы поставщиков по клиническим текстам называют предлагаемые задачи, исполнителей и стандарты безопасности, которые поставщик заявляет. Команда Potato прочитала страницу каждого поставщика о разметке медицинских или клинических текстов 17 ноября 2026 года. В таблице ниже поставщики перечислены в алфавитном порядке, и для каждого записано, что сказано на его странице. Каждое заявление о соответствии стандартам приведено как слова самой страницы.
| Поставщик | Работа с клиническими текстами, названная на странице | Исполнители, как указано | Соответствие стандартам, как указано | Цена на странице |
|---|---|---|---|---|
| AnnotationBox | Распознавание медицинских сущностей, разметка рентгенологических заключений, разметка медицинских карт и классификация медицинских текстов | Более 1000 обученных экспертов | Ни один стандарт не назван | По запросу |
| Cogito Tech | Распознавание клинических и биомедицинских сущностей, связывание с UMLS, ICD-10 и SNOMED, деидентификация и разметка медицинских записей | Более 1500 экспертов по данным и отраслям, а также языковые и предметные эксперты в более чем 100 языках и диалектах | Страница утверждает, что Cogito Tech соблюдает стандарты GDPR, HIPAA и ISO 27001 | Цены нет, форма обратной связи |
| iMerit | Локализация, классификация и связывание пациентов, поставщиков медицинских услуг, заболеваний, видов лечения и исходов в продольных медицинских записях | Врачи с американской сертификацией для проверки и оценки эталонных наборов | Страница утверждает, что рабочие процессы iMerit отвечают требованиям HIPAA, SOC-2, CE и регуляторным требованиям FDA | Цены нет |
| LXT | Разметка клинической документации, выявление симптомов в записях и деидентификация записей пациентов | Более 10 миллионов исполнителей в LXT и дочерней компании clickworker, включая более 250 тысяч экспертов в более чем 100 областях | Страница называет объекты, сертифицированные по ISO 27001, и соответствие стандартам GDPR и HIPAA | Цены нет |
| Shaip | Распознавание клинических сущностей, связи, утверждения (статус, отрицание и субъект), временная и секционная разметка, кодирование в SNOMED, RxNorm, ICD-10-CM и CPT с выделением подтверждающего текста | Аккредитованные эксперты в предметной области из штата более 10 000 человек и более 500 тысяч краудсорсинговых исполнителей | Страница перечисляет GDPR, HIPAA, ISO 9001:2015, SOC 2 Type II и ISO 27001 и заявляет деидентификацию по методам HIPAA Safe Harbor и Expert Determination | Индивидуальный расчёт, без сумм |
Запись о LXT взята с общей страницы разметки текстов, где здравоохранению отведён один пункт, а остальные четыре страницы посвящены работе в здравоохранении. Каждая запись о соответствии стандартам в таблице выше — это собственное заявление поставщика. Запросите аудиторский отчёт, сертификат или подписанное соглашение, стоящие за любым заявлением, на которое опирается проект. Страница iMerit сообщает о 99% качества разметки по одному кейсу, а страница AnnotationBox — о точности более 95%. Ни одна из страниц не объясняет, как этот показатель измерен.
Вопросы к поставщику разметки медицинских текстов
Ответы на вопросы ниже определяют, можно ли вообще передавать записи поставщику и можно ли доверять возвращённым меткам. Задайте их до подписания договора.
- Квалификация разметчиков. Спросите, кто размечает и кто проверяет, сколько разметчиков размечает каждую запись и какова клиническая роль каждого (медсестра, медицинский кодировщик, врач или обученный неклиницист).
- Где обрабатываются записи. Спросите, в какую страну и на какой объект попадают записи, работают ли разметчики из дома или из контролируемого помещения, видят ли текст субподрядчики или краудсорсинговая платформа и когда поставщик удаляет записи после сдачи работы.
- Соглашение с деловым партнёром. Согласно HIPAA, организации, подпадающей под закон, нужно соглашение с деловым партнёром (BAA) с подрядчиком, который получает защищённую медицинскую информацию от её имени. Уточните у отдела конфиденциальности вашего учреждения, нужно ли проекту BAA или за пределы учреждения выходят только деидентифицированные записи.
- Права на инструкции. Спросите, кто пишет инструкции по разметке и кому после этого принадлежат инструкции и метки. Убедитесь, что договор позволяет вам публиковать инструкции и запрещает использовать ваши записи в собственных наборах данных поставщика.
- Отчётность о согласованности. Спросите, какой коэффициент согласованности сообщает поставщик, по какой задаче и между сколькими разметчиками на запись. Запросите метки каждого разметчика на дважды размеченной выборке вместо одного объединённого ответа.
- Проверки по эталонному набору. Спросите, оценивает ли поставщик разметчиков по эталонному набору, который пишете вы, и видите ли вы оценки.
- Пробная работа и единица оплаты. Отправьте самые трудные записи вместе с вашими инструкциями и оцените возвращённые метки, прежде чем выделять бюджет. Спросите, считается ли цена за запись, за сущность, за код или за час работы разметчика и сколько стоит раунд доработки.
Partnership on AI публикует библиотеку ответственных закупок для команд, которые покупают работу по разметке. В библиотеку входят рекомендации по оплате труда работников и шаблон для сравнения поставщиков.
Собственная разметка клинических текстов в Potato
Собственная разметка означает, что ваша команда отвечает за каждую часть исследования, описанную ниже. Potato закрывает программную часть, а ваша команда обеспечивает людей и время.
Разрешения и деидентификация. Кто может читать записи, обычно определяет протокол этического комитета или соглашение об использовании данных. Деидентифицируйте записи до того, как текст увидит кто-либо за пределами утверждённой команды. HIPAA признаёт два метода деидентификации — Safe Harbor (удаление или обобщение 18 перечисленных элементов) и Expert Determination (документированный анализ риска). Potato не деидентифицирует записи и не имеет функции соответствия HIPAA.
Разметчики. Основная статья расходов — время клиницистов. Проведите короткий пилот, чтобы измерить, сколько времени уходит на каждую запись, и переведите это время на запись в бюджет с помощью калькулятора стоимости разметки. Этап обучения даёт разметчикам пробные записи с обратной связью и допускает только прошедших. Эталонные примеры, подмешанные в основную задачу, оценивают точность на протяжении всего исследования, а назначение по категориям отправляет каждому разметчику только те типы записей, для которых он получил допуск на обучении.
Инструмент. Схема span выделяет сущности, признаки утверждения и объекты деидентификации, а схема span_link проводит связи между спанами (Связи между спанами). Связывание сущностей прикрепляет к каждому спану понятие из UMLS, из Wikidata или из терминологического сервиса в вашей собственной сети через тип rest. Тип umls ищет в сервисе UTS Национальной медицинской библиотеки США по вашему ключу UMLS API, и каждая строка поиска при этом покидает сеть. Potato не поставляется с файлами SNOMED CT или ICD-10. Чтобы кодировать в любую из этих систем, направьте тип rest на терминологический сервис, который запускает ваше учреждение. Для онтологий OBO, таких как Human Phenotype Ontology, блок label_source ищет в локальном файле .obo без доступа к сети или ищет в OLS4 от EMBL-EBI, только если схема задаёт allow_network: true (Метки терминов онтологий).
Согласованность. num_annotators_per_item задаёт, сколько разметчиков размечает каждую запись. Для схемы span отчёт о согласованности по адресу /admin/iaa даёт каппу на уровне токенов, F1 по спанам для точного и частичного совпадения, альфу Криппендорфа на уровне символов и упрощённый вариант гаммы Матэ, как объясняет страница Согласованность для спанов.
Обращение с данными. Записи остаются на сервере, которым управляете вы, и вся установка работает без доступа к сети (air-gapped), как только веса модели окажутся на машине (Разметка без доступа к сети). Подсказки модели через поддержку ИИ остаются на вашем сервере при endpoint_type: ollama или vllm. При включённом labeling_engine.features.pii_redaction движок разметки маскирует адреса электронной почты, URL, IP-адреса, номера карт, номера социального страхования США, телефонные номера и @-имена в тексте, отправляемом в API сторонней модели, а labeling_engine.redaction.categories выбирает, какие из семи категорий маскировать. Эти шаблоны не находят имена пациентов, даты и номера карт. В исходном коде Potato сказано, что шаблоны маскирования не являются средством обеспечения соответствия требованиям, и в исследовании, где записи не должны покидать площадку, следует указывать только локальные источники моделей.
Выбор между сервисом и собственной разметкой
Ниже каждой типичной ситуации сопоставлен путь, который обычно ей подходит.
| Ситуация | Что обычно подходит |
|---|---|
| Записей больше, чем клиницисты успевают разметить в срок, и записи разрешено передавать поставщику по BAA или после деидентификации | Сервис |
| Жёсткий срок через несколько недель и нет времени набирать или обучать людей | Сервис |
| Записи, которые протокол вашего этического комитета или соглашение об использовании данных оставляют внутри учреждения | Собственная разметка |
| Метки, для которых нужны ваши собственные специалисты, например стадирование в онкологии или местные правила кодирования | Собственная разметка |
| Инструкции, которые будут меняться по мере того, как команда читает записи | Собственная разметка |
| Публикуемый корпус, в котором нужно сообщить согласованность и то, как обучались разметчики | Собственная разметка или сервис, который передаёт метки каждого разметчика |
| Объём на уровне поставщика при собственном контроле качества | Оба варианта, совмещённые, как описано ниже |
Как самостоятельно проверить метки поставщика
Показатель согласованности поставщика описывает разметчиков поставщика относительно друг друга. Ваша собственная проверка сравнивает метки поставщика с тем, как те же записи читают ваши клиницисты. Проведите проверку на выборке в пять шагов.
- Возьмите случайную выборку из сданных записей, стратифицированную по типу записи, если в поставке смешаны выписные эпикризы, рентгенологические заключения и записи о динамике. Размер выборки разбирает страница Сколько разметчиков вам нужно?.
- Разметьте выборку независимо. Два ваших клинициста размечают выборку в Potato по инструкциям поставщика, не видя спанов поставщика.
- Вычислите согласованность. Поместите спаны поставщика и спаны ваших разметчиков в один CSV со столбцами item, annotator, label, start и end, и калькулятор согласованности спанов сообщит в браузере F1 по точному совпадению, F1 по частичному совпадению и альфу Криппендорфа на уровне символов. Для утверждений и меток на уровне документа калькулятор согласованности считает каппу Коэна и альфу Криппендорфа.
- Сравните с вашей собственной парой. Согласованность между двумя вашими клиницистами показывает, насколько последовательно задачу можно выполнить на ваших записях. Согласованность поставщика с клиницистами, заметно более низкая, чем у клиницистов между собой, указывает на ошибки поставщика или на инструкцию, которую поставщик понимает иначе.
- Прочитайте расхождения по меткам. Путаницу между двумя метками или серию пропущенных отрицаний устраняйте пересмотром инструкции до следующей партии.
Смещения символов должны относиться к одному и тому же тексту записи с обеих сторон. Прежде чем считать согласованность, убедитесь, что поставка поставщика не изменила пробелы, окончания строк или кодировку.
Гибридные схемы с поставщиком и вашим собственным сервером
Две гибридные схемы позволяют команде купить мощности и сохранить контроль над качеством.
Исправление поставки поставщика. potato import читает файлы brat standoff, CoNLL, doccano и Prodigy и строит проект Potato, где спаны поставщика служат предварительной разметкой, которую ваши клиницисты исправляют. Связи и события brat не импортируются, а перечисляются в предупреждениях импорта. Для поставки со связями связи нужно перерисовать в Potato (Импорт проекта).
Подключение разметчиков поставщика к вашему собственному серверу Potato. Провайдер экспертных приглашений Potato даёт каждому разметчику по договору личную ссылку с токеном. Тогда разметчики поставщика размечают на вашем сервере, а ваш этап обучения, эталонные примеры и отчёт о согласованности применяются к разметчикам поставщика так же, как к вашим собственным. Сотрудники поставщика по-прежнему читают записи, и вопросы о BAA и деидентификации выше применимы так же. Следующий минимальный конфиг размечает проблемы, исследования, лечение и признаки отрицания в выписных эпикризах, связывает каждый признак отрицания с проблемой, которую он отрицает, и связывает каждый спан с терминологическим сервисом внутри сети больницы:
annotation_task_name: "Discharge summary problems and negation"
task_dir: "."
data_files:
- "data/notes.jsonl"
item_properties:
id_key: id
text_key: text
output_annotation_dir: "annotation_output/"
login:
type: url_direct
url_argument: invite
crowdsourcing:
provider: expert
expert:
invites_file: "expert_invites.yaml"
# Two annotators per note, so every note has a pair to compare
num_annotators_per_item: 2
annotation_schemes:
- annotation_type: span
name: concepts
description: "Highlight each problem, test, and treatment, and each negation cue such as 'denies'."
labels: [Problem, Test, Treatment, Negation cue]
entity_linking:
enabled: true
knowledge_bases:
# A terminology service inside the hospital network
- name: local_terms
type: rest
base_url: "http://terminology.internal:8080"
auto_search: false
- annotation_type: span_link
name: negations
description: "Link each negation cue to the problem it negates."
span_schema: concepts
link_types:
- name: negates
directed: true
allowed_source_labels: ["Negation cue"]
allowed_target_labels: ["Problem"]expert_invites.yaml сопоставляет каждому токену отображаемое имя, и Potato отклоняет любой токен, которого нет в файле. Отправьте каждому разметчику https://your-server/?invite=<token>. При auto_search: false разметчик открывает поиск понятий по значку связи у спана, а признак отрицания не запускает поиск, пока разметчик его не запросит. Панель администратора показывает объём разметки и время работы по каждому разметчику, а документация по экспертным разметчикам описывает генерацию токенов.
Частые вопросы
Что такое разметка медицинских текстов?
Разметка медицинских текстов — это присвоение клиническим записям, рентгенологическим заключениям и другим текстам медицинских карт меток сущностей, связей, статуса утверждения, временных выражений, защищённой медицинской информации или кодов терминологии, такой как UMLS, SNOMED CT или ICD-10. Метки обучают или оценивают модели клинической обработки естественного языка. Размечают клиницисты, медицинские кодировщики или обученные разметчики, либо своими силами с помощью инструмента разметки, либо через платный сервис разметки.
Какие компании предлагают услуги разметки медицинских текстов?
AnnotationBox, Cogito Tech, iMerit, LXT и Shaip входят в число компаний, чьи собственные страницы предлагают разметку клинических или медицинских текстов. Раздел «Услуги разметки клинических текстов на страницах поставщиков» фиксирует задачи, исполнителей, заявления о соответствии стандартам и цены, указанные на каждой странице 17 ноября 2026 года. Ни одна из пяти страниц не публикует цену. Прежде чем выбирать, отправьте пробные записи вместе с вашими инструкциями и оцените возвращённые метки, сравнив их с метками ваших собственных клиницистов.
Что почитать дальше
- Сравнение инструментов разметки медицинских изображений и клинических текстов, чтобы выбрать инструмент для собственной разметки
- Potato для здравоохранения и клинической разметки
- Сервисы разметки аудио и собственные инструменты разметки
- Распознавание именованных сущностей
- Извлечение связей и событий
- Связывание сущностей
- Согласованность разметчиков: объяснение
- Арбитраж и разрешение расхождений
- Эксперты или краудсорсинг в разметке
Источники
- Uzuner, Ö., South, B. R., Shen, S., & DuVall, S. L. (2011). 2010 i2b2/VA challenge on concepts, assertions, and relations in clinical text. Journal of the American Medical Informatics Association, 18(5), 552-556. https://doi.org/10.1136/amiajnl-2011-000203
- Sun, W., Rumshisky, A., & Uzuner, O. (2013). Evaluating temporal relations in clinical text: 2012 i2b2 Challenge. Journal of the American Medical Informatics Association, 20(5), 806-813. https://doi.org/10.1136/amiajnl-2013-001628
- Stubbs, A., Kotfila, C., & Uzuner, Ö. (2015). Automated systems for the de-identification of longitudinal clinical narratives: Overview of 2014 i2b2/UTHealth shared task Track 1. Journal of Biomedical Informatics, 58, S11-S19. https://doi.org/10.1016/j.jbi.2015.06.007
- Frei, J., Soto-Rey, I., & Kramer, F. (2022). DrNote: An open medical annotation service. PLOS Digital Health, 1(8), e0000086. https://doi.org/10.1371/journal.pdig.0000086
Примеры дизайнов
Каждый дизайн — рабочая конфигурация Potato, которую можно скачать и запустить.
- i2b2 Clinical Named Entity RecognitionNamed entity recognition and assertion classification for clinical notes, based on the i2b2/VA 2010 challenge (Uzuner et al., JAMIA 2011). Annotators identify clinical entities such as problems, treatments, tests, medications, and their assertion status in de-identified medical text.
- RadGraph-XL: Radiology Entity and Relation ExtractionEntity and relation extraction from radiology reports. Annotators identify clinical entities (Anatomy and Observation, each marked definitely present, uncertain, or definitely absent) and label relations between them (located_at, suggestive_of, modify).
- Clinical TempEval - Temporal Information Extraction from Clinical NotesExtraction of temporal information from clinical text, identifying time expressions, event mentions, and their temporal relations. Based on SemEval-2016 Task 12 (Clinical TempEval).