Глоссарий разметки данных

Этот глоссарий определяет 50 терминов разметки данных, сгруппированных по этапу проекта, на котором термин возникает. Каждая статья даёт определение в одном-трёх предложениях и ссылается на руководство Potato, подробно освещающее термин.

Группы идут от проектирования исследования через согласованность, контроль качества, разметку с помощью моделей и оценку LLM к качественному кодированию и документированию наборов данных. Если существует стандартное внешнее определение, статья ссылается на Wikipedia или на работу, которая ввела термин. FAQ по концепциям разметки отвечает на частые вопросы о разметке, например сколько разметчиков нужно задаче. Маршрут обучения по разметке расставляет руководства в порядке чтения по целям.

Проектирование исследования

Элемент (item)

Элемент — это одна единица в файле данных, которую размечает разметчик, например предложение или изображение. Potato читает ID и содержимое каждого элемента из полей, названных в item_properties в конфигурации. Форматы данных описывают раскладки файлов, которые читает Potato.

Схема разметки (annotation scheme)

Схема разметки — это один вопрос или компонент разметки, на который разметчики отвечают для каждого элемента, например категория с одним выбором или набор выделенных спанов. Конфигурация Potato перечисляет схемы в annotation_schemes, и каждая схема называет annotation_type. Выбор схемы разметки подбирает схему под вид ответа, который нужен исследованию.

Набор меток (label set)

Набор меток, или tagset, — это закрытый список категорий, из которых разметчики выбирают в одной схеме. В схеме с одним выбором категории не должны пересекаться и должны покрывать каждый элемент, с меткой «Other», если список не справляется. Распознавание именованных сущностей показывает, как команда сокращает стандартный набор меток сущностей до предметной области.

Инструкции по разметке (annotation guidelines)

Инструкции по разметке — это письменные правила, которые говорят разметчикам, какая метка к какому элементу применима, с определениями и разобранными примерами трудных случаев. Инструкции меняются в ходе исследования, а номер версии каждой редакции позволяет читателю проследить метку до правил, действовавших в момент её присвоения. Как писать эффективные инструкции по разметке предлагает структуру документа.

Пилот (pilot)

Пилот — это небольшой раунд разметки перед основным исследованием, чтобы найти правила и элементы, которые разметчики читают по-разному. Команда разбирает каждое расхождение пилота, исправляет инструкции там, где правило было неясным, и запускает следующий пилот, пока согласованность не установится. Пилот, затем доработка описывает этот цикл.

Перекрытие (overlap)

Перекрытие — это число разметчиков, независимо размечающих каждый элемент. Перекрытие в два и более делает согласованность измеримой, а при фиксированном бюджете каждый дополнительный разметчик на элемент означает меньше размеченных различных элементов. Potato задаёт перекрытие через num_annotators_per_item, а Сколько нужно разметчиков? даёт ориентиры по типам задач.

Спан (span)

Спан — это размеченный фрагмент внутри элемента, записываемый как начальная позиция, конечная позиция и метка. Именованные сущности в тексте и галлюцинированные утверждения в выводе модели размечаются как спаны. Разметка спанов охватывает задачи на спаны в тексте и аудио.

Теги IOB (IOB tagging)

Теги IOB, называемые также BIO, кодируют спаны одним тегом на токен. B- отмечает первый токен спана, I- отмечает последующий токен внутри спана, а O отмечает токен вне любого спана. Формат восходит к работе Ramshaw and Marcus (1995), а экспорт conll_2003 в Potato преобразует аннотации спанов в теги BIO.

Шкала Лайкерта (Likert scale)

Шкала Лайкерта просит разметчиков оценить согласие или интенсивность по короткому упорядоченному набору размеченных пунктов, обычно пяти или семи. Поскольку оценки по Лайкерту порядковые, согласованность по ним требует порядковой альфы или взвешенной каппы, а не номинального коэффициента. Шкалы оценки и дизайн шкал Лайкерта освещает число пунктов и подписи.

Попарное сравнение (pairwise comparison)

Попарное сравнение показывает разметчику два элемента и спрашивает, какой из них лучше по заданному критерию. Каждый разметчик по-своему пользуется абсолютной шкалой, а сравнение спрашивает только, какой элемент лучше. Попарное сравнение и шкалирование «лучший — худший» сопоставляет этот формат с оценками.

Шкалирование «лучший — худший» (best–worst scaling, BWS)

Шкалирование «лучший — худший» показывает разметчику небольшой набор элементов, часто четыре, и просит выбрать лучший и худший по заданному критерию. Подсчёт того, как часто каждый элемент выбирают лучшим и худшим, даёт вещественную оценку на элемент, а Kiritchenko and Mohammad (2017) обнаружили, что BWS надёжнее шкалы оценок для интенсивности тональности. Тип разметки bws в Potato реализует формат, а калькулятор шкалирования «лучший — худший» превращает выборы в оценки.

Модель Брэдли — Терри (Bradley–Terry model)

Модель Брэдли — Терри оценивает одну величину на элемент по множеству попарных сравнений. В модели вероятность того, что один элемент побеждает другой, зависит только от оценок этих двух элементов. Попарное сравнение моделей использует модель для ранжирования LLM по голосам людей, а калькулятор Брэдли — Терри подгоняет модель к CSV со сравнениями.

Ограничивающая рамка (bounding box)

Ограничивающая рамка — это прямоугольник, который разметчик рисует вокруг объекта на изображении или кадре видео, хранящийся как координаты и метка. Разметка изображений охватывает рамки наряду с полигонами и ориентирами.

Пересечение по объединению (intersection over union, IoU)

Пересечение по объединению делит площадь, общую для двух фигур, на площадь, которую фигуры покрывают вместе, от 0 при отсутствии перекрытия до 1 для совпадающих фигур. IoU — это индекс Жаккара, применённый к областям, а временной IoU применяет то же отношение к временным сегментам. Средний IoU между разметчиками выглядит высоким на крупных объектах по центру даже без согласия, а Как измерить согласованность разметчиков по ограничивающим рамкам корректирует показатель на случайность.

Согласованность и надёжность

Согласованность разметчиков (inter-annotator agreement, IAA)

Согласованность разметчиков — это степень, в которой разметчики, независимо размечающие одни и те же элементы, ставят одинаковые метки. Исследование сообщает IAA скорректированным на случайность коэффициентом как свидетельство того, что задача хорошо определена. Коэффициенты описывает Согласованность разметчиков, а Wikipedia рассматривает тему как inter-rater reliability.

Процент совпадений (percent agreement)

Процент совпадений — это доля элементов, или пар разметчиков на элементе, получивших одну и ту же метку. Процент совпадений игнорирует случайность, и два разметчика, каждый из которых выбирает одну метку для 90 % элементов, совпадают примерно на 82 % элементов, даже если оба размечают наугад. Экспорт reliability в Potato сообщает процент совпадений рядом с альфой Криппендорфа по каждому вопросу.

Согласованность с поправкой на случайность (chance-corrected agreement)

Коэффициент с поправкой на случайность сравнивает наблюдаемую согласованность с той, которую ожидали бы, если бы разметчики размечали наугад при наблюдаемых частотах меток. Значение 1 означает полное согласие, 0 означает согласие на уровне случайности, а отрицательное значение означает меньшую согласованность, чем при случайности. Каппа Коэна, каппа Флейса и альфа Криппендорфа — распространённые коэффициенты с поправкой на случайность.

Каппа Коэна (Cohen's kappa)

Каппа Коэна измеряет согласованность с поправкой на случайность ровно между двумя разметчиками на одних и тех же элементах. Cohen (1960) ввёл коэффициент для номинальных категорий, а взвешенная каппа расширяет его на упорядоченные категории, засчитывая частичный балл за близкие промахи. Калькулятор согласованности считает каппу по CSV с метками.

Каппа Флейса (Fleiss' kappa)

Каппа Флейса измеряет согласованность с поправкой на случайность, когда каждый элемент получает одно и то же число меток от любого числа разметчиков. Fleiss (1971) ввёл коэффициент для номинальных категорий. При пропущенных метках или неравномерном перекрытии данным лучше подходит альфа Криппендорфа.

Альфа Криппендорфа (Krippendorff's alpha)

Альфа Криппендорфа измеряет согласованность с поправкой на случайность среди любого числа разметчиков и допускает пропущенные метки. Версии альфы существуют для номинальных, порядковых, интервальных данных и шкал отношений. Надёжность между кодировщиками в качественных исследованиях объясняет принятые пороги 0,800 и 0,667, а FAQ руководства по согласованности освещает отрицательные значения.

Попарная F1 (pairwise F1)

Попарная F1 измеряет согласованность по спанам, принимая спаны одного разметчика за эталон, а спаны другого за предсказания, и усредняя F1 по каждой паре разметчиков. Каппа плохо подходит для задач на спаны, потому что текст, который никто не отметил, не образует фиксированного набора элементов для подсчёта. Согласованность для спанов и структурированных выходов описывает точное и частичное совпадение границ, а калькулятор согласованности спанов и рамок считает оценки.

Дрейф согласованности (agreement drift)

Дрейф согласованности — это постепенное изменение того, как разметчики применяют инструкции в ходе исследования. Единственная проверка согласованности перед основным исследованием не может обнаружить дрейф. Отчёт о согласованности Potato на /admin/iaa оценивает согласованность в последовательных окнах завершённых элементов и предлагает раунд перекалибровки, когда последнее окно опускается ниже базового уровня проекта на долю, заданную в calibration.drop_threshold.

Контроль качества

Эталонный пример (gold standard)

У эталонного элемента есть ответ, проверенный экспертом. Подмешивание эталонных элементов в поток разметки даёт текущую оценку точности каждого разметчика, а некоторые краудсорсинговые инструменты называют эталонные элементы honeypots. Блок gold_standards в Potato задаёт, как часто появляются эталонные элементы, и минимальную точность (accuracy.min_threshold, по умолчанию 0,7).

Проверка внимательности (attention check)

Проверка внимательности — это элемент, инструкция которого называет верный ответ, например «Select Disagree for this item.» Разметчик, пропустивший названный ответ, не читал, а Oppenheimer, Meyvis, and Davidenko (2009) назвали опросную версию проверкой манипуляции инструкцией (instructional manipulation check). Блок attention_checks в Potato вставляет проверку каждые frequency элементов, по умолчанию предупреждает разметчика после 2 провалов и блокирует после 5.

Обучающая фаза (training phase)

Обучающая фаза даёт разметчикам тренировочные элементы с известными ответами и обратную связь перед основной задачей и допускает к основной задаче только тех, кто набрал проходной балл. Блок training в Potato задаёт тренировочные элементы, критерии прохождения и действие при провале. Параметры описывает обучающая фаза.

Арбитраж (adjudication)

При арбитраже эксперт проверяет элементы, размеченные по-разному, и устанавливает итоговую метку. Блок adjudication в Potato ставит в очередь каждый элемент, согласованность по которому ниже agreement_threshold (по умолчанию 0,75), для пользователей из adjudicator_users. Арбитраж и разрешение расхождений сопоставляет арбитраж с агрегацией.

Голосование большинства (majority vote)

Голосование большинства принимает за итоговую метку элемента метку, которую поставило больше всего разметчиков. Голосование большинства считает небрежного и внимательного разметчика одинаково, а расклад 2–1 весит столько же, сколько 3–0. Агрегация меток краудсорсинга описывает модели, которые взвешивают разметчиков по оценённой надёжности.

Модель Давида — Скене (Dawid–Skene model)

Модель Давида — Скене оценивает истинную метку каждого элемента и матрицу ошибок каждого разметчика совместно, только по матрице меток, алгоритмом EM. Dawid and Skene (1979) ввели модель для оценки частот ошибок наблюдателей. Калькулятор Dawid–Skene подгоняет модель к CSV с метками, а Агрегация меток краудсорсинга сравнивает модель с голосованием большинства.

MACE

MACE (Multi-Annotator Competence Estimation) моделирует каждого разметчика как либо знающего ответ, либо гадающего, и оценивает истинную метку каждого элемента вместе с оценкой компетентности от 0 до 1 для каждого разметчика. Hovy et al. (2013) ввели MACE. MACE описывает, как Potato запускает модель на метках исследования.

Мягкая метка (soft label)

Мягкая метка записывает для элемента распределение вероятностей по категориям вместо одной категории. Мягкие метки получаются, когда один разметчик распределяет баллы по меткам или когда складывается разброс выборов нескольких разметчиков, и они сохраняют расхождение, которое голосование большинства отбрасывает. Тип разметки soft_label в Potato собирает метки первого вида.

Разметка с помощью моделей

Предразметка (pre-annotation)

Предразметка показывает разметчикам метки, предложенные моделью, называемые предварительными метками (pre-labels). Разметчики принимают, исправляют или отклоняют каждую предварительную метку, а проверка хорошей предварительной метки занимает меньше времени, чем разметка с нуля. Блок pre_annotation в Potato загружает предсказания из файла или из поля в данных.

Формальное одобрение (rubber-stamping)

Формальное одобрение — это принятие предварительных меток без их проверки, форма предвзятости автоматизации. Никакая мера, вычисленная только по меткам, не отличает формально одобренные данные от проверенных, а согласованность растёт, потому что разметчики, принимающие одну и ту же предварительную метку, по построению согласны. Как отличить проверку от формального одобрения в предразмеченных данных различает их по времени работы.

Активное обучение (active learning)

Активное обучение упорядочивает очередь разметки по тому, насколько информативен каждый неразмеченный элемент для модели, обученной на уже собранных метках. Цель — достичь заданной точности целевой модели с меньшим числом меток, чем требует случайная выборка. Активное обучение для разметки описывает цикл, а блок active_learning в Potato настраивает цикл в исследовании.

Выборка по неопределённости (uncertainty sampling)

Выборка по неопределённости — простейшая стратегия активного обучения, которая выбирает элементы, чьи предсказанные метки модель считает наименее уверенно. Выбранные элементы группируются вблизи границы решений, и размеченная выборка перестаёт представлять корпус. Параметр random_sample_percent в Potato оставляет долю очереди случайной (по умолчанию 0,2), а другие стратегии описывает справочник по активному обучению.

Оценка LLM и агентов

LLM-как-судья (LLM-as-a-judge)

LLM-судья — это языковая модель, которой поручено оценивать или сравнивать выходы, обычно по рубрике. Zheng et al. (2023) обнаружили, что GPT-4 в роли судьи соглашался как с контролируемыми, так и с краудсорсинговыми предпочтениями людей более чем в 80 % случаев. Как измерить согласованность между LLM-судьёй и разметчиками-людьми сопоставляет согласие судьи с людьми и согласие людей между собой.

Калибровка (calibration)

Судья или классификатор откалиброван, когда заявленная уверенность соответствует точности, и около 80 % вердиктов откалиброванного судьи с уверенностью 80 % верны. В управлении разметкой раунд калибровки возвращает разметчиков к общим примерам с известными ответами, чтобы заново согласовать их прочтение инструкций. Первое значение освещает руководство по LLM-судье, второе — Дрейф согласованности.

Рубрика (rubric)

Рубрика разбивает одну оценку качества на именованные критерии, каждый из которых оценивается по определённой шкале. Отдельная оценка каждого критерия показывает, какой критерий выход не прошёл, тогда как одна общая оценка скрывает причину. Дизайн рубрик описывает Оценка LLM по рубрикам.

Данные предпочтений (preference data)

Данные предпочтений записывают, какой из двух или более ответов модели люди предпочитают для одного и того же промпта. Попарные суждения о предпочтениях — обычные обучающие данные для модели вознаграждения в обучении с подкреплением на основе обратной связи от людей (RLHF). Сбор данных RLHF и предпочтений описывает сбор с типом разметки pairwise в Potato.

Траектория агента (agent trajectory)

Траектория агента записывает каждый шаг одного запуска агента, от рассуждений агента до каждого вызова инструмента и вывода инструмента. Разметка траектории означает оценку запуска в целом и отметку шагов, пошедших не так, с категорией ошибки и тяжестью для каждого. Разметка траекторий агентов описывает метки, которые нужно собирать.

Модель вознаграждения за процесс (process reward model, PRM)

Модель вознаграждения за процесс оценивает каждый шаг рассуждения в решении, а не только итоговый ответ, и для обучения PRM нужны пошаговые метки, говорящие, верен ли каждый шаг. Lightman et al. (2023) опубликовали 800 000 пошаговых меток людей как PRM800K и обнаружили, что надзор за процессом превосходит надзор за результатом на задачах MATH. Модели вознаграждения за процесс и пошаговая разметка описывает сбор с типом разметки process_reward в Potato.

Галлюцинация (hallucination)

Галлюцинация — это утверждение в выводе модели, которое не подтверждают ни вход, ни известные факты. Отметка неподтверждённых слов как спана с меткой ошибки даёт более пригодные данные, чем один флаг на весь ответ. Обнаружение галлюцинаций с помощью разметки спанов предлагает набор меток для ошибок.

Качественное кодирование

Код и кодирование (code and coding)

В качественных исследованиях кодирование присваивает фрагментам интервью, полевых заметок или открытых ответов короткие метки, называемые кодами. Дедуктивный код берётся из теории или исследовательских вопросов до начала кодирования, а индуктивный — из данных в ходе кодирования. Подготовка транскриптов интервью к качественному кодированию описывает шаги от записей до закодированных фрагментов.

Кодовая книга (codebook)

Кодовая книга перечисляет каждый код с определением, правилами, когда код применяется и когда нет, и примерами из данных. Potato помечает каждую сохранённую аннотацию действовавшей редакцией кодовой книги, и пометка показывает, какая версия кодовой книги закодировала какой фрагмент. Составление записей кодовой книги описывает руководство Разработка кодовой книги для качественного исследования, а саму функцию — общая кодовая книга для качественного кодирования.

Контент-анализ (content analysis)

Контент-анализ кодирует единицы, такие как статьи или выступления, по кодовой книге фиксированных переменных и категорий. Выборку кодируют как минимум два кодировщика, а исследование сообщает надёжность между кодировщиками по каждой переменной. Количественный контент-анализ в Potato проводит метод от начала до конца.

Тематический анализ (thematic analysis)

Тематический анализ — семейство методов выработки тем по качественному набору данных, изложенное для психологии в работе Braun and Clarke (2006). Рефлексивная форма тематического анализа рассматривает кодирование как интерпретацию и обходится без коэффициента согласованности. Обе позиции излагает раздел Когда метод выступает против коэффициента.

Надёжность между кодировщиками (intercoder reliability, ICR)

Надёжность между кодировщиками — термин, который качественные исследования и контент-анализ используют для согласованности кодировщиков, применяющих одну кодовую книгу к одним и тем же фрагментам. Исследования обычно сообщают альфу Криппендорфа или каппу Коэна на выборке двойного кодирования из 10–25 % данных. Надёжность между кодировщиками в качественных исследованиях подбирает коэффициент под дизайн кодирования.

Мемо (memo)

Аналитическое мемо — это заметка, которую исследователь пишет во время кодирования о данных и кодах, например почему код подходит к фрагменту. Potato прикрепляет мемо к элементу, к выделению текста или к фигуре на изображении и хранит мемо в базе данных проекта. Мемо описывает ответы, вопросы и экспорт мемо.

Документирование наборов данных

Datasheet

Datasheet для набора данных отвечает на стандартный набор вопросов о мотивации, составе, процессе сбора и рекомендуемых применениях набора данных, среди прочих тем. Gebru et al. (2021) предложили datasheets по аналогии с datasheet, сопровождающим каждый электронный компонент. Документирование наборов данных и моделей сравнивает datasheets с двумя другими стандартами.

Заявление о данных (data statement)

Заявление о данных описывает обоснование отбора языкового набора данных, разновидность языка, демографию носителей и разметчиков и инструкции. Bender and Friedman (2018) предложили заявления о данных для обработки естественного языка. Заявление о данных позволяет читателю судить, какие группы населения представляет набор данных.

Карточка модели (model card)

Карточка модели сообщает предполагаемое применение обученной модели, её ограничения и показатели с разбивкой по демографическим и другим группам. Mitchell et al. (2019) предложили карточки моделей. Демография разметчиков в datasheet или заявлении о данных — то, что делает интерпретируемыми результаты по группам в карточке модели.

Где термины встречаются в конфигурации Potato

Многие из приведённых выше терминов соответствуют одному ключу конфигурации или одному типу разметки в Potato. Таблица перечисляет соответствие для терминов с прямой настройкой.

Добавьте эти блоки в рабочую конфигурацию, чтобы собирать три метки на элемент, оценивать разметчиков по эталонным элементам и отправлять элементы с низкой согласованностью арбитру:

num_annotators_per_item: 3
 
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  frequency: 20          # about one gold item per 20 items
  accuracy:
    min_threshold: 0.8   # stricter than the 0.7 default
 
adjudication:
  enabled: true
  adjudicator_users: ["lead_annotator"]
  agreement_threshold: 0.75   # items below the threshold go to the adjudicator

Каждой записи в файле эталонов нужны id и gold_label, а полный формат описывает контроль качества.

Что почитать дальше

• Маршрут обучения по разметке о руководствах в порядке чтения по целям
• FAQ по концепциям разметки об ответах на частые вопросы о разметке
• Что такое разметка данных? об основных типах задач
• Справочник по схемам разметки о каждом типе разметки, который поддерживает Potato

Источники

1. Bender, E. M., & Friedman, B. (2018). Data statements for natural language processing: Toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6. https://aclanthology.org/Q18-1041/
2. Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika, 39(3/4), 324. https://doi.org/10.2307/2334029
3. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa
4. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
5. Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Applied Statistics, 28(1), 20. https://doi.org/10.2307/2346806
6. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
7. Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92. https://doi.org/10.1145/3458723
8. Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E. (2013). Learning whom to trust with MACE. Proceedings of NAACL-HLT 2013. https://aclanthology.org/N13-1132/
9. Kiritchenko, S., & Mohammad, S. (2017). Best-worst scaling more reliable than rating scales: A case study on sentiment intensity annotation. Proceedings of ACL 2017 (Volume 2: Short Papers). https://aclanthology.org/P17-2074/
10. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., et al. (2023). Let's verify step by step. arXiv:2305.20050. https://arxiv.org/abs/2305.20050
11. Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220-229. https://doi.org/10.1145/3287560.3287596
12. Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872. https://doi.org/10.1016/j.jesp.2009.03.009
13. Ramshaw, L., & Marcus, M. (1995). Text chunking using transformation-based learning. Third Workshop on Very Large Corpora. https://aclanthology.org/W95-0107/
14. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. https://arxiv.org/abs/2306.05685