Skip to content
Guides6 min read

Как подсказки LLM задают якорь разметчикам: измерение на слепых объектах

Разметчики, которым показана метка LLM, ставят не те метки, что остальные. Скройте подсказку на случайной выборке и сравните согласие вслепую и с подсказкой.

Potato Team

Разметчик, который видит предложенную LLM метку, склонен поставить именно её, поэтому согласие людей с моделью выше, когда подсказка на экране, чем когда её нет. Скройте подсказку на случайной выборке объектов, измерьте согласие на этих слепых объектах и решайте, насколько доверять модели, по слепому согласию, а не по общему.

Эффект якоря означает, что число или ответ, увиденные первыми, притягивают к себе последующее суждение. В разметке якорем служит предразметка, то есть подсказка модели, которую разметчик принимает или исправляет. Якорение отличается от подтверждения не глядя, когда разметчик принимает подсказки, не читая их. Внимательного разметчика, который читает каждую подсказку, тоже может притянуть якорь, потому что на неоднозначном объекте предложенный ответ уже стоит на странице. Подтверждение не глядя выдают временные сигналы, как описано в посте Согласованность не ловит подтверждение не глядя. Однако разметчик под действием якоря может тратить на объект обычное время, поэтому по времени якорение не отличить от независимого суждения.

Свидетельства того, что подсказки меняют метки

В предрегистрированном эксперименте (Schroeder et al., 2025) собрано 7000 аннотаций по субъективным задачам от 350 краудворкеров в 4 условиях, на 2 моделях и 2 наборах данных. Показ подсказок LLM не ускорил разметчиков, но повысил их самооценку уверенности. Разметчики принимали подсказки достаточно часто, чтобы распределение меток значимо изменилось по сравнению с разметчиками, которые подсказок не видели. Когда метки, сделанные с помощью LLM, использовали для оценки самой LLM, её заявленное качество значимо выросло.

Поэтому согласие модели с проверяющими, которые видели её подсказки, отчасти является согласием модели с самой собой. Любое решение, опирающееся на это число, например передать остаток корпуса модели, как только согласие перевалит за 90%, принимается по завышенному показателю.

Слепые объекты и разрыв якорения

До начала разметки выберите случайную долю объектов, которые разметчик размечает без подсказки. На остальных подсказка появляется как обычно. Сравнение этих двух частей даёт три числа:

  • слепое согласие между моделью и метками, поставленными без её подсказки; оно оценивает, как часто модель права;
  • согласие с подсказкой между моделью и метками, поставленными, когда её подсказка была на экране;
  • разрыв якорения, то есть согласие с подсказкой минус слепое согласие; он оценивает, насколько подсказка сдвигает людей.

Слепые объекты нужно выбрать случайно и зафиксировать на всё исследование. Если выбрать самые трудные объекты или позволить разметчику решать, когда смотреть, слепая выборка перестаёт быть репрезентативной, и слепое согласие уже ничего не говорит об остальном корпусе. Кроме того, метка считается слепой, только если разметчик ни разу не видел подсказки для этого объекта, поэтому переразметка после расхождения относится к меткам с подсказкой.

Доля слепых объектов задаёт компромисс между скоростью и доказательностью. Каждый слепой объект размечается без того времени, которое экономит подсказка, а при слишком малом числе слепых объектов слепое согласие получается шумным. По умолчанию Potato использует долю 20% с нижней границей в 20 слепых объектов. При такой доле исследование из 20 объектов даёт всего около 4 слепых, поэтому задайте нижнюю границу по тому, что способен дать корпус.

Слепые подсказки в Solo Mode

Solo Mode в Potato предназначен для одного эксперта, работающего вместе с LLM. LLM размечает корпус, эксперт размечает параллельно с ней, и как только согласие эксперта с LLM превышает end_human_annotation_agreement, Solo Mode передаёт оставшиеся объекты LLM. До Potato 2.11 это согласие измерялось на метках, поставленных при видимой подсказке. Начиная с 2.11, solo_mode.suggestions управляет тем, когда появляется подсказка:

yaml
solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample скрывает подсказку на фиксированных 20% объектов, выбранных один раз на всё исследование, так что после перезагрузки страницы или перезапуска слепыми остаются те же объекты. after_label никогда не показывает подсказку первой, а когда эксперт и LLM расходятся, страница разрешения расхождения показывает метку LLM и её обоснование. Как только набирается 20 слепых сравнений, при передаче с порогом сравнивается слепое согласие, а не общее.

Карточка Blind Agreement на панели показывает рядом слепое согласие и согласие с подсказкой, разрыв между ними и то, как часто эксперт принимал подсказку кнопкой Accept. Разрыв выводится, когда с каждой стороны есть хотя бы 5 сравнений. Большой положительный разрыв означает, что эксперт чаще соглашается с LLM, когда видит её ответ. В этом случае оставьте слепыми больше объектов или переключитесь на after_label.

Слепая калибровка в движке разметки

Движок разметки Potato, тоже новый в 2.11, применяет то же правило к каждой метке, которую использует как свидетельство. Запросы на калибровку, сертификацию и аудит отбираются случайно с записанными вероятностями включения, и пока человек работает с таким запросом, сервер скрывает все машинные ответы для этого объекта. Предразметка, встроенный судья и ИИ-ассистент отключены, а объект остаётся слепым для этого человека и после сохранения. Движок сертифицирует машинные метки только по этим слепым меткам.

Запросы на проверку устроены наоборот. Они показывают ответ машины, просят человека оставить его или изменить и записывают предзаполненный ответ, чтобы можно было измерить, как часто люди его принимают. Движок никогда не использует ответы на запросы проверки для сертификации, потому что они по самому своему устройству несут якорь. Параметр humans.verify_visibility: blind позволяет показывать и запросы проверки без ответа, ценой времени, которое экономит подсказка.

Пределы слепой выборки

Слепая выборка сравнивает модель с людьми без помощи, а это правильный эталон, только если люди без помощи надёжны в данной задаче. В субъективной задаче, где внимательные разметчики расходятся между собой, у слепого согласия есть потолок ниже 100%, и модель может находиться на этом потолке. Прежде чем считать низкое слепое согласие признаком слабой модели, сравните согласие модели с людьми с согласием людей между собой, как описано в руководстве Согласие LLM-судьи с людьми.

Кроме того, слепая выборка оставляет как есть метки, поставленные при показанной подсказке. Эти метки по-прежнему несут якорь, и набор данных, собранный в основном из них, наследует предпочтения модели. Публикуйте вместе с набором данных слепое согласие и разрыв якорения и задайте display: blind_sample до того, как размечен первый объект, потому что объекты, размеченные при видимой подсказке, задним числом слепыми не сделать.

Что дальше

Литература

  1. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323