Конфигурация движка разметки

Всё, что делает движок разметки, задаётся в одном блоке labeling_engine. Неверный блок останавливает сервер при запуске и перечисляет все проблемы сразу. Чтобы разметчики получали запросы движка, задайте также assignment_strategy: engine. Эта стратегия без включённого движка является ошибкой валидации.

Блок состоит из следующих разделов, каждый из которых описан ниже:

assignment_strategy: engine
 
labeling_engine:
  enabled: true
  schemas: [sentiment]            # default: every scheme a source can label
  sources: []
  cascade: [laya, gemma]          # default: the first source alone
  contracts: []
  humans: {}
  crowd: {}
  budgets: {}
  runtime: {}
  features: {}
  redaction: {}
  distill: {}

Ключи верхнего уровня

Непосредственно под labeling_engine находятся пять ключей:

Источники

Источник представляет собой модель или существующий набор меток, который предлагает для каждого объекта метку и уверенность. У каждого источника есть уникальный id и kind, а неизвестный ключ в источнике является ошибкой:

Всё, что может изменить ответ (модель, промпт, температура, параметры), входит в хеш версии источника. Новая версия делает stale каждый контракт, зависящий от этого источника.

Ответ, который не является допустимым значением схемы, например метка не из её списка, нечисловое значение в числовом поле или список в схеме «один из N», записывается как ошибка и никогда как метка, а сообщение прогона подсчитывает такие ошибки. Объект, вызовы по которому завершились сбоем, запрашивается снова в последующих прогонах, не больше трёх раз на версию источника, после чего ждёт изменённого источника (исправленный ключ или промпт даёт новую версию). Прогон, в котором сбоит один источник, не останавливает остальные уровни. Следующий уровень размечает каждый объект, а potato label run завершается со статусом 1 и называет сбойный источник.

Методы уверенности

Правила принятия движка ставят порог по уверенности каждого предсказания, поэтому то, как источник выражает уверенность, определяет, сколько движок сможет принять. confidence.method принимает одно из пяти значений:

Параметры отдельных видов

Пять видов источников читают собственные параметры:

• decision охватывает Laya внутри процесса или любой сервер /v1/systemone, например размещённые Jev или OpenJev. Один прямой проход возвращает вероятность для каждого варианта, и это работает на схемах radio, select, likert и slider. endpoint_type должен быть laya или systemone, и systemone нужен base_url, корень сервера (URL, оканчивающийся на /v1/systemone, тоже принимается). В обоих случаях состояние отправляется как {"text": ...}, поэтому один чекпойнт даёт одинаковые ответы внутри процесса и за laya-serve, а options: {state_key: ""} отправляет вместо этого просто строку. На шкалах оценок (likert, slider) баллы Laya могут едва следовать шкале, поэтому проверьте несколько объектов, прежде чем на неё полагаться. Эндпоинту laya внутри процесса нужен pip install 'potato-annotation[decision]'.
• detector читает рамки детектора объектов на схемах image_annotation. keep_threshold (0.35) задаёт балл, начиная с которого рамка входит в предсказание. Рамки между candidate_threshold (0.05) и keep_threshold снижают уверенность для изображения. label_map сопоставляет классы детектора меткам схемы, а несопоставленные классы игнорируются. image_field называет поле объекта с путём к изображению или URL. Пути разрешаются так же, как на странице разметки: /media/x.jpg относительно media_directory задачи, а относительный путь относительно task_dir.
• judge принимает rubric (по умолчанию описание схемы), fields (поля объекта, которые видит судья, по порядку) и swap_order, который спрашивает дважды с обратным порядком меток и превращает меняющийся вердикт в воздержание. На схемах для трасс агентов (process_reward, trajectory_eval, ...) судья размечает каждый шаг.
• vlm использует визуальный эндпоинт (openai_vision, anthropic_vision, ollama_vision). Для модели на своём сервере за совместимым с OpenAI сервером используйте openai_vision с base_url.
• trained принимает artifact_dir, trainer (по умолчанию sklearn-text) и run_id. Этот источник обычно создаёт дистилляция, а не написанная вручную конфигурация.

humans

Блок humans задаёт, кто размечает и как движок отбирает объекты для людей:

crowd

Блок crowd действует, когда crowd входит в humans.pools, и Prolific является единственной краудсорсинговой платформой, которой может управлять движок:

Набор исполнителей по умолчанию работает в режиме пробного запуска, и планировщик сообщает, что он сделал бы. Для реальных трат нужны features.crowd_live_spend: true и лимит budgets.human_usd, а конфигурация, которая включает реальные траты без лимита, отклоняется. Настройка самого исследования в Prolific описана на странице Краудсорсинг.

budgets

Блок budgets останавливает траты до превышения лимита:

runtime

Блок runtime управляет пакетами, параллелизмом и тем, сколько человек может держать запрос:

features

Все функции по умолчанию выключены, кроме drift:

redaction

redaction.categories перечисляет, что из email, url, ip, card, ssn, phone и handle маскировать, и по умолчанию включает всё. Маскирование действует только при features.pii_redaction и только для сторонних API. Типы эндпоинтов на своих серверах (vllm, ollama, laya, yolo, ...) не маскируются, где бы они ни работали, как и любой эндпоинт, чей base_url находится на той же машине.

distill

При включённом features.distill движок обучает дешёвую модель на метках исследования и ставит её первой в каскаде:

Объекты из cert- и аудиторской частей никогда не попадают в обучающий набор, поэтому дистиллированная модель никогда не проверяется на метках, на которых обучалась.

Валидация

potato validate config.yaml проверяет блок labeling_engine вместе с остальной конфигурацией, и каждая ошибка называет свой ключ, например labeling_engine.sources[1].kind must be one of ... или labeling_engine.contracts[0].error is required for selective_risk. Валидация также отклоняет:

• ключ контракта, который данный вид контракта не читает, например опечатку в error;
• контракт на схеме, которую не может разметить ни один источник каскада, с причиной для каждого источника;
• контракт на схеме, которую движок не умеет оценивать (свободный текст, попарные схемы);
• источник decision, чей endpoint_type не является моделью принятия решений, и источник llm, vlm или judge, чей endpoint_type ею является;
• no_worse_than_human с humans.overlap_k меньше 3.

Валидация также предупреждает, когда budgets.human_labels слишком мал, чтобы сертифицировать контракт selective_risk, даже если бы все ответы машины были верны. Увеличивайте бюджет или ослабляйте error, пока это предупреждение не исчезнет.

Дополнительные материалы

• Движок разметки
• Контракты движка разметки
• Командная строка, REST API, инструменты MCP и SDK
• Поддержка ИИ, где описаны типы эндпоинтов, общие для источников и остального Potato

Подробности реализации смотрите в исходной документации.