Почему Potato?

Разворачивается у себя, бесплатно: У LangSmith, Galileo, Encord и Labelbox само размещение на своих серверах и есть enterprise-контракт. On-premise — это дополнение, о котором договариваются с отделом продаж, а не редакция, которую можно скачать.

Все возможности, без платного тарифа: В бесплатной редакции Label Studio нет никаких метрик согласованности. Хостинговый тариф Starter за $99 в месяц плюс $49 за каждого дополнительного пользователя даёт согласованность, бенчмарки и предразметку через LLM в ограниченном виде; полные версии — возможности Enterprise, цена по запросу. CVAT бесплатно отдаёт ловушки и задания с эталоном, но отчёты о качестве оставляет платящим командам.

Один инструмент и для корпусов, и для трасс агентов: Каждая платформа оценки агентов здесь привязана к трассам. Попросите любую из них разметить обычный текстовый корпус по тональности — ответ будет некуда положить.

Мультиагентный граф, который можно размечать: Четыре из этих инструментов нарисуют вам граф взаимодействия агентов. Все четыре — только для чтения: на него можно смотреть, но не размечать. В Potato агенты и передачи управления между ними и есть то, что человек размечает.

Атрибуция сбоев, размеченная человеком: Galileo угадывает сбои при передаче управления с помощью LLM, а Labelbox позволяет оценивать шаги траектории. Ни тот, ни другой не собирает человеческий эталон, по которому эту догадку можно было бы проверить.

Согласованность с поправкой на случайность (κ, α): Остальные показывают согласованность как процент совпадения, IoU или голосование большинства. Исключение — Prodigy: там есть α Криппендорфа и AC2 Гвета, но бесплатного тарифа нет вовсе. κ Коэна у Langfuse сравнивает одного человека с одним судьёй, а не пул разметчиков между собой.

Экспорт для SFT, DPO и процессных вознаграждений: «Частично» означает только JSONL в стиле SFT, без формата пар предпочтений и процессных вознаграждений.

Согласованность по геометрии с поправкой на случайность: Самое сильное утверждение в этой таблице. Движок консенсуса CVAT и стадия консенсуса V7 сравнивают разметчиков по сырому IoU с порогом на класс, а список метрик Label Studio Enterprise — это точное совпадение, числовая разница, IoU и перекрытие спанов. Ни один из них не вводит поправку на случайность, а это важно: средний IoU держится около 0,95 на корпусе из крупных отцентрованных объектов, кто бы его ни размечал.

Согласованность в том, когда происходит событие: Временной IoU и согласованность границ, причём допуск сопоставления показывается перебором значений, а не на одном пороге. Согласованность при 0,25 с и при 2 с — это разные утверждения об одних и тех же данных.

Телеметрия рисования (задержка принятия, правки): Время на фигуру, динамика штрихов, число правок и задержка принятия подсказок ИИ. Это важно, потому что согласованность растёт, когда разметчики не глядя подтверждают предразметку, и тайминги — единственный сигнал, отличающий проверку от простого принятия. Координаты не записываются.

Трёхмерные облака точек и кубоиды: CVAT это тоже умеет, а специалисты по 3D (Segments.ai, Kognic, Supervisely) заходят глубже: у них есть последовательности облаков точек и перенос треков, которых у Potato нет. Вклад Potato — точный повёрнутый трёхмерный IoU между разметчиками.

Работает без исходящих запросов: Каждый стиль, скрипт, шрифт и иконка отдаются из установленного пакета во всех 14 шаблонах — проверено вживую: 62 запроса и ни одного внешнего. Модели переносятся один раз. «Частично» означает, что развернуть у себя можно, но отрисованная страница всё равно тянет сторонние ресурсы.

Управляемая команда разметчиков: У нас её нет. Вы приводите своих разметчиков или набираете через Prolific. Если вам нужно 50 000 объектов, размеченных к следующему месяцу, и некому это делать, Labelbox, Encord и Scale продают ровно это, а мы нет.

Хостинг, ничего не надо запускать: Potato разворачивается только у себя. Для лаборатории со свободным сервером в этом и вся привлекательность. Если запускать не хочется ничего, это реальная плата, и её стоит взвесить.