Сравнение ИИ-авторазметки: Label Studio, CVAT, Labelbox, Prodigy, Argilla и Potato
Шесть инструментов разметки: как метки моделей и LLM попадают в проект, как люди их проверяют и что каждый инструмент сообщает о доле ошибок в машинных метках.
Все шесть сравниваемых здесь инструментов умеют импортировать или генерировать метки моделей и отправлять их людям на проверку, поэтому сравнение сосредоточено на том, что каждый инструмент измеряет в метках, которые оставляет. В документации, которую мы прочитали в октябре 2026 года, инструменты сообщают точность, precision, recall или согласие относительно эталона или между разметчиками в виде точечных значений, и ни один не описывает интервал или границу ошибки для качества машинных меток.
Под авторазметкой здесь понимается любая функция, которая ставит на объект метку модели до человека или вместо него, будь то детектор, классификатор или LLM с промптом под задачу. У каждого инструмента в этом сравнении есть какая-то её версия, и инструменты различаются по трём вопросам, которые стоит задать до выбора:
- Как машинные метки попадают в проект: импортируются как предсказания, генерируются подключённой моделью или создаются промптом LLM внутри инструмента.
- Как человек их проверяет и видит ли он ответ модели во время разметки.
- Что инструмент сообщает о том, как часто машинные метки ошибочны, относительно какого эталона и с какой неопределённостью.
Каждый раздел ниже основан на собственной документации инструмента на октябрь 2026 года, со ссылками там, где она цитируется. Если мы чего-то в документации не нашли, мы так и пишем, поскольку функция может существовать, не будучи описанной.
Label Studio
Label Studio подключает модели через ML-бэкенд, SDK, который оборачивает вашу модель в веб-сервер, и импортирует предсказания под ключом predictions с model_version и score. Импортированные предсказания нельзя изменить, а оценка относится ко всему предсказанию целиком. Редакции Enterprise и Starter Cloud добавляют Prompts, который генерирует предсказания по промптам LLM и оценивает их, а страница о ML описывает функцию Enterprise для «авторазметки с помощью LLM и оценки моделей».
Проверка является рабочим процессом Enterprise. Руководство по качеству утверждает, что «рабочий процесс проверки разметки доступен только в Label Studio Enterprise Edition», с действиями принять, отклонить и исправить-и-принять и возможностью упорядочить задачи по уверенности модели. Настройки выборки для проверки применяются как вероятностные доли, а выборка по неопределённости отправляет людям в первую очередь наименее уверенные предсказания.
Для оценки качества Label Studio Enterprise сравнивает разметку и предсказания моделей с эталоном, «чтобы вычислить оценку точности от 0 до 1», а его матрица согласия может включать версии моделей. Prompts сообщает общую точность и F1 относительно эталона, число оценённых задач и стоимость инференса, каждое в виде точечной оценки. Его обзор Prompts добавляет, что «чем больше у вас данных для оценки промпта, тем увереннее можно относиться к результатам», не указывая интервала.
CVAT
Автоматическая разметка CVAT предварительно размечает данные детектором или моделью повторной идентификации с необязательным порогом уверенности. Набор доступных моделей зависит от редакции. Таблица ИИ-моделей перечисляет функции Nuclio для редакции Community, а для CVAT Online и Enterprise сторонние модели из Hugging Face и Roboflow и собственные функции ИИ-агентов.
Для проверки людьми у CVAT есть режим ревью для сообщения о проблемах и этап валидации, а консенсус объединяет работу нескольких разметчиков в один результат с оценкой согласия от 0 до 1. Контроль качества по эталону и ловушкам в CVAT, помеченный для CVAT Online и Enterprise, сравнивает задания разметки с эталонным заданием и сообщает accuracy, precision и recall. Документация описывает метод как статистический, оценивающий качество на всём наборе данных по малой его части, и говорит, что «5–15% данных обычно достаточно». Отчёт о качестве сравнивает каждое задание в задаче с эталонным, поэтому вывод автоматической разметки оценивается только как часть содержимого этих заданий, и отчёта, отделяющего машинную разметку от человеческой, мы не нашли.
Labelbox
Labelbox импортирует предварительные метки, которые описывает как «предложенную разметку, программно импортированную в проект Labelbox», чтобы её проверили люди. Его функция Foundry генерирует метки моделью с порогом уверенности, «который сообщает модели, насколько уверенной она должна быть, прежде чем предложить метку». Foundry доступен на всех тарифах, кроме образовательных подписок.
Руководство по использованию предсказаний Foundry предлагает два способа направлять их людям. Первый фильтрует по уверенности, например отправляет на проверку всё ниже 0,75. Второй отправляет «случайную выборку предсказаний на проверку», что «помогает заметить системные проблемы и вычислить общие метрики точности». Метрики моделей Labelbox считают precision, recall, F1, IoU и матрицу ошибок по предсказаниям и эталону при порогах от 0 до 1. Его страница об устаревших функциях сообщает, что функция Model experiments недоступна с 15 июля, без указания года, тогда как руководство по метрикам по-прежнему отправляет пользовательские метрики в тип Experiment, поэтому проверьте, доступны ли ещё метрики прогонов моделей в вашем рабочем пространстве.
Prodigy
Prodigy построен вокруг модели в цикле. Рецепты вроде ner.correct показывают предсказания модели spaCy, чтобы человек их исправил, ner.teach и textcat.teach отдают предпочтение примерам, в которых модель меньше всего уверена, а ner.model-annotate записывает метки модели так, как если бы их поставил разметчик. Рецепты для LLM на основе spacy-llm дают метки для того же процесса исправления, и документация предупреждает: «Разметка LLM может быть ошибочной. Вам всё равно нужно оставаться в цикле, чтобы курировать разметку».
Рецепт review сводит расхождения между разметчиками в одну итоговую разметку, а рецепты metric.iaa.* сообщают процент совпадений, альфу Криппендорфа и AC2 Гвета между разметчиками. Документация не говорит, включать ли метки модели из model-annotate в эти показатели согласия. Для сравнения промптов или моделей ab.llm.tournament предлагает людям оценивать пары выводов и ранжирует комбинации по рейтинговой системе Glicko. Страница цен Prodigy указывает лицензии Personal и Company с одинаковым установщиком, веб-приложением и плагинами, и только лицензия Company добавляет SSO через OpenID Connect.
Argilla
Argilla прикрепляет вывод модели к записям в виде подсказок, у каждой из которых есть оценка, агент, который её создал, и тип model или human. В режиме разметки подсказки появляются как предзаполненные ответы со значком искры, а оценки уверенности показываются, если они есть в датасете. В Argilla 1.x был модуль метрик, который сравнивал ответы с подсказками и сообщал такие метрики, как точность, F1 и альфа Криппендорфа. В документации Argilla 2.x мы не нашли отчётов о согласии или метриках моделей. Синтетические данные и обратная связь от ИИ, включая оценку LLM-судьёй, находятся в отдельной библиотеке distilabel.
Potato
Potato подключает LLM и визуальные модели через ai_support, а начиная с версии 2.9 записывает, что модель ответила первой (pre_annotation_seeds), рядом с тем, что сохранил разметчик (final_annotation), так что доля принятых подсказок берётся из ваших собственных данных. icl_labeling даёт LLM в качестве примеров ту разметку, по которой ваши разметчики уже согласны, просит её разметить остальное и возвращает выборку её меток людям для слепой проверки, отслеживая точность по каждой схеме.
Для модели или LLM-судьи калибровка судьи в Potato хранит метки модели там, где разметчики их не видят, отбирает случайную или стратифицированную выборку для слепой разметки людьми и сообщает точность относительно человеческой золотой метки, каппу Коэна для пар человек-модель, модель-модель и человек-человек, альфу Криппендорфа, а также калибровку в виде ожидаемой ошибки калибровки и оценки Брайера. Сравнение каппы модели с каппой между людьми-разметчиками показывает, справляется ли модель примерно так же, как ещё один разметчик, как объясняется в руководстве Согласие LLM-судьи с людьми. В Solo Mode один эксперт размечает параллельно с LLM и передаёт ей остаток корпуса, как только их согласие превышает порог. Как и у других инструментов, эти функции сообщают точечные оценки, а интервал для доли ошибок приходится считать вне инструмента, как описано в последнем разделе.
Шесть инструментов по трём вопросам
Таблица сравнивает шесть инструментов по трём вопросам на основе документации, опубликованной каждым проектом на октябрь 2026 года:
| Инструмент | Как попадают машинные метки | Проверка машинных меток людьми | Качество, сообщаемое для машинных меток |
|---|---|---|---|
| Label Studio | ML-бэкенд, импортированные предсказания, Prompts (Enterprise, Starter Cloud) | рабочий процесс проверки в Enterprise | точность относительно эталона, матрица согласия с моделями (Enterprise) |
| CVAT | автоматическая разметка детекторами, сторонние модели и модели-агенты в зависимости от редакции | режим ревью, этап валидации, консенсус | отчёты о качестве по эталону для заданий разметки (Online, Enterprise) |
| Labelbox | импорт предварительных меток, Foundry | фильтры по уверенности, случайные выборки на проверку | precision, recall, F1 и IoU по прогонам моделей |
| Prodigy | рецепты spaCy и LLM, model-annotate | рецепты исправления, review | согласие между разметчиками |
| Argilla | подсказки с оценками | предзаполненные ответы | не найдено в документации 2.x |
| Potato | ai_support, icl_labeling, Solo Mode, калибровка судьи | проверочная выборка, слепая выборка для калибровки судьи | каппа, альфа, ECE и оценка Брайера относительно слепой выборки |
Проверка машинных меток в любом инструменте
Каким бы инструментом вы ни пользовались, число, которое можно отстоять, получается за те же три шага. Отбирайте объекты для проверки людьми случайно, а не с конца с низкой уверенностью, потому что выборка самых трудных объектов ничего не говорит о доле ошибок на остальных. Пусть люди размечают эту выборку, не видя ответа модели, поскольку видимая подсказка притягивает к себе ответ. Затем сообщайте долю ошибок на выборке с доверительным интервалом, используя интервал для биномиальной доли, например интервал Уилсона, чтобы читатель мог увидеть, подкрепляют ли 200 проверенных меток ваше утверждение.
Случайная выборка на проверку в Labelbox, случайно выбранные эталонные кадры CVAT (Online и Enterprise) и выборка калибровки судьи в Potato, которая может быть и стратифицированной, уже отбираются случайно. В остальных инструментах экспортируйте случайное подмножество идентификаторов объектов, назначьте их отдельной задачей со скрытыми предсказаниями и считайте интервал вне инструмента.
Что дальше
- Сравнение инструментов разметки: более широкое сравнение возможностей
- Предразметка с помощью LLM: смещение автоматизации, когда люди проверяют подсказки
- Согласие LLM-судьи с людьми: сравнение судьи с согласием людей между собой