Сравнение инструментов разметки текста: открытые и платные инструменты NLP

Инструмент разметки текста показывает документы разметчикам и записывает, что они отмечают: метку для всего текста, выделенные спаны, например именованные сущности, и связи между спанами. Potato, INCEpTION, doccano и community-редакцию Label Studio можно бесплатно развернуть у себя, и все они справляются с распознаванием именованных сущностей и отношениями. Сильнее всего инструменты различаются, когда в проекте много разметчиков. Potato набирает их через Prolific или пул участников SONA, обучает и отбирает до начала настоящей задачи и сообщает согласованность по спанам с поправкой на случайность сразу по всем разметчикам, без платного тарифа. INCEpTION впереди в связывании с базами знаний, а Prodigy в обучении модели spaCy прямо во время разметки. В brat и Argilla новые возможности больше не добавляются.

Большинство текстовых задач принимает одну из трёх форм. Классификация текста присваивает метку всему документу. Распознавание именованных сущностей и другие задачи по спанам отмечают фрагменты текста. Извлечение отношений и разрешение кореференции связывают спаны друг с другом. Спаны умеют размечать все инструменты на этой странице, а сильнее всего они различаются в связывании.

Эта страница посвящена только тексту. Все типы данных на одной странице собраны в руководстве Сравнение инструментов разметки.

Какие инструменты разметки текста стоит сравнивать?

Возможности бок о бок

В самой разметке пять поддерживаемых инструментов близки:

В проведении исследования с большим числом разметчиков они уже не близки:

Прочерк означает, что в сентябре 2026 года мы ничего об этом не нашли в документации инструмента, на его странице с ценами или в репозитории. Если в какой-то ячейке ошибка, сообщите нам.

В чём Potato впереди для текста

Исследование вокруг меток. Немалая часть разметки текста делается в исследованиях с краудворкерами: тональность, позиция автора, оскорбительная лексика, качество вывода моделей. Участники приходят с Prolific или SONA и уходят с кодом завершения или зачётом. Перед настоящей задачей они дают согласие, отвечают на отборочные или демографические вопросы и проходят тренировочные объекты с обратной связью, пока не сдадут. Затем вместе с настоящими объектами идут эталонные примеры и проверки внимательности. Potato настраивает всё это из своей YAML-конфигурации, а его интеграция с Prolific переназначает объекты, брошенные исполнителями, и может приостановить исследование, когда сервер загружен. Остальные инструменты здесь исходят из того, что разметчики уже есть в вашей команде. См. Как провести краудсорсинговое исследование, этапы обучения и эталонные примеры и проверки внимательности.

Согласованность по спанам, которую можно привести в отчёте. Попарная F1, которую считает Prodigy, сравнивает двух разметчиков за раз и не делает поправку на случайность. α Potato по посимвольным меткам и его оценка γ, учитывающая, где каждый спан начинается и заканчивается, а также его метку, делают поправку на случайность и учитывают всех разметчиков сразу. INCEpTION сам предлагает α Криппендорфа для сегментации, в виде матрицы пар разметчиков.

Кто написал ответ. Если свободный ответ был вставлен, а не набран, разметчик, возможно, писал его не сам. Логирование нажатий клавиш в Potato записывает, как был получен каждый ответ, а флаги процесса письма отмечают ответы, которые появились в основном через вставку, с порогами, которые можно прочитать и изменить.

Согласованность по текстовым меткам

Два разметчика, отмечающие одну и ту же сущность, редко сходятся в её точных границах, а метрика, сравнивающая метки токен за токеном, считает каждое расхождение в границах разногласием о метке. То, как инструмент оценивает согласованность по спанам, важно не меньше, чем то, сообщает ли он согласованность вообще.

• Potato сообщает κ на уровне токенов по BIO-тегам, F1 по спанам при точном и частичном совпадении, альфу Криппендорфа по посимвольным меткам и упрощённую γ из Mathet et al. (2015). Последние две оценивают, где спан начинается и кончается, а также то, как он назван. См. измерение согласованности по спанам.
• INCEpTION считает каппу Коэна, каппу Флейса и альфу Криппендорфа, включая её форму для сегментации (unitizing), в виде матрицы пар разметчиков, и в нём есть интерфейс курирования для разрешения разногласий.
• Prodigy рецептом metric.iaa.doc сообщает процент согласия, альфу Криппендорфа и AC2 Гвета для меток документов, а рецептом metric.iaa.span сообщает попарную F1 для спанов. Арбитражем занимается его рецепт review.
• Label Studio оставляет согласованность платным тарифам. Для его редакции Enterprise указаны метрики точного совпадения, числовой разницы, IoU и перекрытия спанов.
• doccano метрик согласованности не имеет.

Общий случай разобран в руководстве Согласованность разметчиков: как её считать.

Инструменты подробнее

INCEpTION

INCEpTION из TU Darmstadt пришёл на смену WebAnno и служит ближайшим аналогом для лингвистической работы. В нём есть слои отношений, слои цепочек для кореференции, разметка на уровне документа и признаки-концепты, которые связывают разметку с записью в базе знаний, например Wikidata или DBpedia. В связывании с базами знаний он впереди Potato. Его рекомендатели предлагают разметку, и активное обучение в нём встроено. Это приложение на Java, и развернуть его сложнее, чем остальные инструменты здесь. Система описана в работе Eckart de Castilho et al. (EMNLP 2024).

Prodigy

Prodigy от Explosion построен вокруг разметки с моделью в цикле и связан со spaCy теснее, чем любой другой инструмент здесь. Он покрывает классификацию, спаны, отношения через рецепт rel.manual и кореференцию через coref.manual, а к LLM обращается через spacy-llm. Задачи описываются рецептами на Python. Это единственный платный инструмент на этой странице.

Label Studio

Поддержка текста в Label Studio составляет лишь одну часть инструмента, который работает также с изображениями, аудио, видео и временными рядами. Его тег Relations связывает размеченные области. Community-редакция бесплатна и имеет открытый код. Согласованность, проверка по эталонным ответам (ground truth) и панели качества доступны на платных тарифах, начиная со Starter за $99 в месяц.

doccano

doccano настраивается для текста быстрее всех перечисленных. Его типы проектов: классификация документов, разметка последовательностей, sequence-to-sequence, определение интента и заполнение слотов, а также распознавание речи. В проектах разметки последовательностей можно разрешить перекрывающиеся спаны и отношения. Кореференции и разметки событий в нём нет, метрик согласованности тоже.

brat

Многие корпуса NLP были созданы в brat, и его standoff-формат покрывает сущности, n-арные события, бинарные отношения, множества эквивалентности, атрибуты и нормализации. Последний релиз, v1.3, вышел в ноябре 2012 года, а последний коммит в master сделан в октябре 2021 года. Его автономный сервер импортирует модуль Python cgi, который удалён в Python 3.13, поэтому на актуальной версии Python он без прослойки не запустится. Прочитать корпус в формате brat по-прежнему стоит. Начинать в brat новый проект оправдать сложнее.

Argilla

Argilla сосредоточена на данных обратной связи и предпочтений для языковых моделей и интегрируется с Hugging Face Datasets. Она поддерживает классификацию текста, классификацию токенов и оценку сгенерированного текста. В её репозитории теперь сказано, что исходные авторы занялись другими проектами и что проект будет получать исправления ошибок и патчи, но не новые возможности.

Исследовательские системы

Несколько систем разметки опубликованы как системные демонстрации ACL. Thresh настраивает в YAML задачи детальной оценки текста: для суммаризации, упрощения и машинного перевода. GATE Teamware 2 работает с классификацией документов и умеет обучать разметчиков и отбирать их по качеству.

Сверено с документацией, страницей цен и репозиторием каждого проекта в августе и сентябре 2026 года.

Перенос корпуса между инструментами

Начиная с версии 2.9, Potato импортирует standoff-формат brat, JSONL из doccano, файлы db-out из Prodigy и CoNLL, так что проект, начатый в любом из них, можно продолжить в Potato. Существующие метки приходят как предразметка. Отношения и события brat перечисляются в предупреждениях импорта и не импортируются. См. Импорт проекта.

В обратную сторону Potato экспортирует CoNLL-2003, CoNLL-U, датасеты Hugging Face, JSONL, CSV и Parquet. См. Экспорт разметки для ML.

Задача на сущности и отношения в Potato

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link проводит типизированные связи между спанами из схемы entities, а allowed_source_labels не даёт разметчику связать сущности не тех типов. События и n-арные отношения описаны в руководстве Извлечение отношений и событий, а цепочки в руководстве Разрешение кореференции.

Чего Potato не делает для текста

• Его связывание с базами знаний проще, чем у INCEpTION.
• Он не обновляет модель spaCy, пока разметчики работают, как это умеют рецепты Prodigy.
• У него нет экспортёра в spaCy. Конвертируйте из CoNLL или JSONL.
• При импорте из brat отношения и события пропускаются.

Частые вопросы

Какой инструмент разметки текста выбрать?

Для отдельного проекта NER или классификации меньше всего работы по настройке у doccano. Для лингвистической разметки, связывающей сущности с базой знаний, полнее всех INCEpTION. Для исследования с несколькими разметчиками на объект, краудворкерами и показателем согласованности для отчёта Potato включает всё это без платного тарифа.

Какой инструмент разметки текста подходит для академического исследования?

Если исследование набирает разметчиков, отбирает и обучает их и должно сообщить согласованность, Potato покрывает каждый из этих шагов в бесплатной версии. INCEpTION лучше подходит, когда сама разметка представляет собой сложную лингвистическую структуру, например связывание сущностей с базой знаний. Prodigy подходит небольшой команде, которая хочет обучать модель spaCy по ходу разметки.

Какие инструменты разметки текста работают с Prolific или Amazon Mechanical Turk?

В Potato встроен Prolific, а также SONA и другие панели. Mechanical Turk закрылся 30 сентября 2026 года, поэтому набирать там участников теперь не может ни один инструмент. Potato читает ID участника из URL, показывает код завершения или перенаправляет участника обратно, когда задача выполнена, и может управлять исследованием на Prolific через API Prolific. У INCEpTION есть экспериментальные ссылки-приглашения для гостевых разметчиков, которыми можно поделиться с краудворкерами, но обработка кодов завершения в его документации не описана. В документации Prodigy, Label Studio и doccano интеграция с краудсорсингом не описана.

Есть ли открытая альтернатива Prodigy?

Potato, INCEpTION и doccano бесплатны и имеют открытый код. Potato настраивается в YAML, тогда как Prodigy использует рецепты на Python, и импортирует файлы db-out из Prodigy, так что разметка, уже собранная в Prodigy, переносится в него.

Какие инструменты разметки текста сообщают согласованность разметчиков?

Potato и INCEpTION сообщают её в бесплатных версиях, а лицензия Prodigy включает его рецепты metric.iaa. Label Studio оставляет согласованность платным тарифам, а в doccano её нет. Для задач по спанам проверьте, учитывает ли метрика границы и случайность. α Криппендорфа для сегментации и γ учитывают и то и другое, как и α по посимвольным меткам, которую Potato сообщает рядом с упрощённой γ. Попарная F1 поправку на случайность не делает.

brat всё ещё поддерживается?

Нет. Его последний релиз, v1.3, вышел в ноябре 2012 года, а его автономный сервер не запускается на Python 3.13 без прослойки. Начиная с версии 2.9, Potato импортирует корпуса brat, и существующие сущности переносятся как предразметка.

Можно ли размечать кореференцию в бесплатном инструменте?

Да. В INCEpTION есть слои цепочек для кореференции, а в Potato есть схема coreference, которая объединяет упоминания в цепочки. doccano кореференцию не поддерживает.

Что почитать дальше

• Сравнение инструментов разметки: все типы данных на одной странице
• Сравнение инструментов разметки аудио
• Сравнение инструментов разметки изображений
• Сравнение инструментов разметки видео
• Сравнение инструментов оценки ИИ-агентов
• Сравнение инструментов оценки моделей мира и эпизодов роботов
• Как провести краудсорсинговое исследование
• Разметка спанов
• Распознавание именованных сущностей