Перейти к содержимому

Разметка с помощью модели, обученной на ваших метках

Когда предварительные метки модели, обученной на вашей разметке, экономят время, как они закрепляют ответы разметчиков и как группа исключённых разметчиков измеряет этот эффект.

Разметка с помощью модели ускоряет работу: модель обучается на метках, которые разметчики уже поставили, а её предсказания для новых объектов показываются как предварительные метки, которые остаётся подтвердить или исправить. Поскольку предварительная метка ещё и тянет разметчика к ответу модели, исследованию, которое их использует, стоит исключить часть разметчиков из помощи и измерить, насколько сдвигаются ответы.

Новое в v2.14.0

Предварительная метка — это одна метка, которую модель предложила для объекта до того, как объект разметил человек. Разметка с помощью модели, она же предварительная разметка, — это процесс с участием человека в цикле, в котором разметчики принимают, правят или отклоняют эти предварительные метки, а принятые и исправленные метки становятся датасетом. Это руководство охватывает случай, когда модель обучается на собственной разметке проекта и переобучается по мере поступления новых меток. Руководство по предварительной разметке с помощью LLM и моделей зрения охватывает предварительные метки от универсальной модели, управляемой промптом, а руководство по активному обучению — выбор того, какие объекты размечать следующими.

Чем модель, обученная на ваших метках, отличается от предварительной разметки с помощью LLM

LLM или предобученная модель зрения может ставить предварительные метки с первого объекта, ориентируясь на промпт и несколько примеров. Модель, обучаемая на ваших метках, начинает с нуля, и ей сначала нужен начальный набор размеченных объектов. Тренер sklearn-text в Potato отказывается обучаться, если в выборке train меньше 10 объектов, а классификаторы текста, токенов и изображений из Hugging Face отказываются при числе меньше 20. Взамен обученная модель усваивает границы между метками, которые ваши разметчики действительно проводят на ваших объектах. Каждый запуск оценивается на объектах, отложенных от обучения, и оценка видна на странице Training до того, как какой-либо разметчик увидит предварительную метку. Небольшой классификатор к тому же работает на вашей собственной машине без платы за объект.

Подсказки LLM могут покрывать начало исследования, пока растёт начальный набор, а обученная модель может взять работу на себя, когда её оценка на отложенных объектах превысит согласие LLM с теми же метками. Активное обучение сочетается с обоими подходами, поскольку активное обучение выбирает порядок объектов, а предварительная разметка меняет работу над каждым объектом.

Когда предварительные метки экономят время

Предварительная разметка экономит время, когда прочитать и подтвердить метку быстрее, чем поставить её. В эксперименте по разметке частей речи с двумя разметчиками Fort and Sagot (2010) измерили у одного разметчика около 7,5 минуты на 10 предложений без предварительной разметки и около 2,5 минуты при исправлении вывода теггера. Теггер, обученный всего на 50 предложениях, достиг точности 81,6%, и сэкономленное время от его предварительной разметки значимо не отличалось от времени, сэкономленного теггером, обученным на 37 990 предложениях с точностью 96,4%. Лишь теггер, обученный на 10 предложениях, значимо замедлил разметку по сравнению с другими теггерами, и точность этого теггера составляла 66,5%. Lingren et al. (2014) обнаружили экономию времени от 13,85% до 21,5% на сущность при клинической разметке именованных сущностей, без значимого изменения согласованности или качества работы разметчиков. Mikulová et al. (2022) обнаружили, что предварительная разметка точным парсером сделала разметку зависимостей быстрее и согласованнее.

Для модели, обученной на метках самого проекта, результат Fort and Sagot подсказывает, что модель, обученная на первых нескольких десятках размеченных объектов, уже может экономить время. Модель, всё ещё близкая к случайному выбору, стоит времени, поэтому первые предварительные метки стоит отложить до оценки на отложенных объектах, заметно превышающей случайную.

Когда предварительные метки вредят

Предварительные метки меняют не только скорость, но и ответы. Якорение — это притяжение предложенного ответа к последующему суждению, а механическое принятие — это принятие подсказок не читая, одна из форм предвзятости автоматизации. В эксперименте Fort and Sagot точность более точного разметчика упала с 98,1% до 95,8% при предварительной разметке теггером с точностью 81,6%, а при лучшем теггере тот же разметчик делал систематические ошибки, совпадавшие с ошибками самого теггера (прилагательное вместо причастия прошедшего времени). В предварительно зарегистрированном исследовании подсказок LLM на субъективных задачах Schroeder et al. (2025) обнаружили, что разметчики не стали быстрее и принимали подсказки достаточно часто, чтобы сместить распределение меток. Измеренная точность LLM тоже выросла, когда метки с помощью служили эталоном для оценки.

Переобучение на принятых предварительных метках добавляет петлю обратной связи. Предварительная метка, которую разметчик сохраняет без изменений, становится ответом этого разметчика, и следующий запуск обучения учится на этом ответе как на любой другой метке. Поэтому ошибка, которую принимают разметчики, возвращается как обучающие данные, и следующая модель может повторить её на новых объектах. Меры согласованности такую петлю не ловят, потому что разметчики, принявшие одну и ту же предварительную метку, согласны по построению. Материал Как отличить проверку от механического принятия описывает сигналы по времени для разметчиков, которые принимают не читая, а материал Измерение того, как подсказки LLM закрепляют ответы разметчиков описывает слепые объекты для разметчиков, которые читают, но всё равно поддаются притяжению.

Проектные решения

Четыре настройки определяют, помогают ли предварительные метки конкретному исследованию: порог уверенности, объекты, получающие предварительные метки, доля исключённых разметчиков и частота переобучения.

Порог уверенности

Ниже порога уверенности предсказание скрывается, и разметчик размечает объект с нуля. Более высокий порог показывает меньше предварительных меток и большую долю верных. Порог что-то значит, только когда уверенность модели откалибрована. Предсказания откалиброванной модели с уверенностью 0,8 верны примерно в 80% случаев на отложенных объектах. sklearn-text в Potato по умолчанию калибрует уверенность классификатора, как только в запуске не меньше 50 обучающих объектов, масштабированием Платта при числе объектов меньше 1000 и изотонической регрессией начиная с 1000. Задавайте порог по отложенным объектам, как уверенность, выше которой модель права достаточно часто, чтобы проверка предварительной метки была быстрее разметки объекта.

Какие объекты получают предварительные метки

Potato никогда не ставит предварительные метки на обучающие объекты самой модели, потому что модель уверена в обучающих данных по причинам, ничего не говорящим о новых данных. Помимо этого правила, не ставьте предварительные метки на объекты, по которым измеряется согласованность разметчиков, и на эталонные объекты. Согласованность на объектах с общей предварительной меткой измеряет предварительную метку, а эталонный объект, на который отвечали с предварительной меткой на экране, измеряет модель не меньше, чем разметчика. Среди остальных объектов очередь проверки, отсортированная по возрастанию уверенности, направляет разметчиков на вероятные ошибки модели. Очередь, которая выдаёт каждый объект по возрастанию уверенности, подходит исследованию, где каждому объекту ещё нужна человеческая метка.

Исключение разметчиков для измерения эффекта

Якорение измеряется сравнением ответов, данных с предварительной меткой, с ответами, данными без неё, теми же разметчиками на объектах того же рода. ai_support.holdout в Potato скрывает любую помощь у случайной доли пар разметчик–объект, и предварительные метки от обучения входят в скрываемое. Potato проводит жеребьёвку по паре, а не по объекту, поэтому у большинства объектов есть и разметчики с помощью, и исключённые разметчики. Хеш с солью оставляет каждую пару в той же группе после перезапуска. Для схем radio, multiselect, likert и select вкладка AI influence админ-панели сравнивает две группы по тому, как часто ответы совпадают с моделью, как часто ответы совпадают с эталоном и какова согласованность внутри каждой группы. Вкладка сообщает разницу в совпадении с моделью с 95-процентным бутстрэп-интервалом, как только в каждой группе набирается по 10 ответов на объекты с ответом модели. Задайте долю и соль до начала разметки, потому что изменение любого из них посреди исследования перемешивает группы. В материале Измерение влияния ИИ перечислены все виды помощи, которые скрывает исключение.

Как часто переобучать

Частое переобучение держит предварительные метки в соответствии с последними решениями по руководству и исправлениям, но каждое переобучение также заменяет предварительные метки, которые видят разметчики. auto_retrain в Potato начинает запуск, когда поступило update_frequency новых аннотаций (по умолчанию 25) и с завершения последнего запуска прошло min_interval_s секунд (по умолчанию 600). Большее значение update_frequency экономит вычисления и держит предварительные метки стабильными на более длинных отрезках работы. Держите split_seed фиксированным на всё исследование, потому что смена начального значения переносит отложенные объекты в обучение и делает оценку одного запуска на отложенных объектах несравнимой со следующей. Potato также помещает каждый объект, исправленный проверяющим, в выборку train каждого последующего запуска. Исправление тогда учит следующую модель и никогда не используется для её оценки.

Разметка с помощью модели в Potato

Обучение моделей в Potato подгоняет модель под собственные аннотации исследования со страницы Training в админке, оценивает модель на отложенных объектах и записывает предсказания модели обратно в объекты как предварительные метки. Обратная запись показывает ответ модели заранее выбранным на странице разметки. Предварительная метка становится ответом разметчика, только когда он правит её или переходит дальше. До этого объект не считается выполненным. Эти блоки добавляют разметку с помощью модели с автоматическим переобучением и 20-процентным исключением в конфигурацию со схемой radio по имени sentiment:

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas называет схемы, предсказания для которых видят разметчики. По умолчанию список пуст, и разметчики не видят предсказаний, пока в списке не названа схема. include_unlabeled: true предсказывает и для объектов, которые ещё никто не размечал, а именно на этих объектах предварительная метка экономит время. Без этой настройки запуск предсказывает только для отложенных объектов этого запуска. Предсказания ниже min_confidence сохраняются и не показываются. Блок исключения работает и при выключенном ai_support.enabled.

assignment_strategy: model_review выдаёт объекты с предварительными метками для проверки, начиная с наименее уверенных, а assignment_strategy: llm_confidence выдаёт в таком порядке все объекты. Проверяющий записывает вердикт accept, correct или reject для каждой предварительной метки. Отклонённая предварительная метка снимается с объекта и больше не показывается. DELETE /admin/training/api/runs/<run_id>/predictions отзывает все предварительные метки, записанные запуском. Руководство Модель в цикле шаг за шагом разбирает обратную запись, очередь проверки, порядок по оценке отбора и auto_retrain, а справочник по обратной записи в основном репозитории перечисляет каждую проверку, которую предсказание проходит, прежде чем его увидит разметчик.

Дополнительные материалы

Источники

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323