Перейти к содержимому

Разметка ограничивающими рамками, полигонами, ключевыми точками и кубоидами

Выберите форму разметки, которая нужна вашей модели компьютерного зрения, сравните стоимость каждой формы в расчёте на объект и измерьте согласованность разметчиков для каждой формы в Potato.

Форму разметки выбирают по тому, что предсказывает модель. Детектор объектов обучается на ограничивающих рамках, модель сегментации экземпляров — на полигонах или масках, модель оценки позы — на наборах ключевых точек, а 3D-детектор — на кубоидах, нарисованных в облаке точек. Начинайте с рамок, пока инструкции или модель ещё меняются, потому что рамка — самая дешёвая форма области и для рисования, и для проверки.

Форма разметки — это геометрическая фигура, которую разметчик рисует, чтобы показать, где на изображении или скане находится объект. Ограничивающая рамка — это прямоугольник, выровненный по осям и охватывающий объект, и хранится он в виде четырёх чисел. Полигоны — это замкнутые цепочки вершин, повторяющие контур объекта, а полилиния — это незамкнутая ломаная, у которой есть длина и нет площади. Наборы ключевых точек — это упорядоченные списки именованных точек, соединённых рёбрами скелета, и на них обучают модели оценки позы. Кубоиды — это рамки в трёх измерениях. Разметчик рисует кубоид либо как проекцию на изображение с камеры, либо как ориентированную рамку в облаке точек.

Potato — бесплатный инструмент разметки с открытым исходным кодом, который работает на вашем собственном сервере, и в этом руководстве инструменты Potato служат рабочим примером. Каждая 2D-форма ниже — это инструмент схемы image_annotation в Potato, а 3D-кубоиды относятся к схеме spatial_annotation. Как размечать маски сегментации изображений подробно описывает маски, Как размечать 3D-облака точек описывает работу с лидаром, а Сравнение инструментов разметки изображений сравнивает Potato с другими инструментами.

Какая форма нужна каждому виду модели

Модель учит только то, что закодировано в метках. В таблице ниже для каждого вида выхода модели указаны форма, которую нужно рисовать, инструмент Potato и мера сходства, по которой Potato решает, нарисовали ли два разметчика один и тот же объект:

Что предсказывает модельЧто рисоватьИнструмент PotatoКак сравниваются фигуры двух разметчиков
Класс и прямоугольник для каждого объекта (обнаружение объектов)Ограничивающая рамкаbboxIoU рамок
Класс и контур для каждого объекта (сегментация экземпляров, например Mask R-CNN)Полигон или маска для отверстий и тонких частейpolygon или brush с mask_mode: instanceIoU полигонов или IoU масок
Класс для каждого пикселя (семантическая сегментация)Маскаbrush, fill, samIoU масок
Круглые объекты, например клетки и ядраЭллипсellipseIoU 36-вершинного полигона
Линии, например дорожная разметка и трещиныПолилинияpolylineF1 по границе в пределах допуска по расстоянию
Положения суставов для позыНабор ключевых точек со скелетомkeypoint_setObject Keypoint Similarity (OKS)
Одно положение на объект для подсчётаОриентирlandmarkРасстояние; оценка 0 при удалении на 5% размера изображения
3D-рамка по одному изображению с камерыПроекционный кубоидcuboid_2dIoU передних граней
3D-рамка в данных лидара или глубины3D-кубоидcuboid_3d в spatial_annotationТочный IoU повёрнутых 3D-тел

Форма богаче, чем нужна модели, отнимает время разметчика и ничего не добавляет при обучении. Форма беднее, чем нужна модели, потом не исправляется. У рамки нет контура, тогда как охватывающую рамку любого контура можно вычислить при экспорте, и экспорт Potato в COCO записывает bbox для каждого полигона и каждой маски.

Стоимость рисования одного объекта

Стоимость разметки одного объекта растёт с числом точек, которые разметчик ставит и проверяет. Опубликованные замеры времени есть для рамок и полигонов, и каждый получен на большом краудсорсинговом наборе данных с собственным интерфейсом проекта:

  • Ограничивающие рамки. По данным Papadopoulos et al. (2017), одна качественная рамка для набора ILSVRC рисовалась 35 секунд. В той же статье сообщается о 7 секундах на рамку при кликах по экстремальным точкам. При таких кликах разметчик отмечает самую верхнюю, самую нижнюю, самую левую и самую правую точки объекта. Инструмент bbox в Potato использует привычное протягивание прямоугольника.
  • Полигоны. Обводка экземпляров объектов для COCO заняла более 22 часов работы на 1000 сегментаций, или около 79 секунд на объект (Lin et al., 2014).
  • Ключевые точки и кубоиды. Команда Potato не нашла опубликованных данных о времени на один объект для наборов ключевых точек или 3D-кубоидов, которые можно было бы сверить с источником. Измерьте своё время в пилотном проекте.

Оба замера получены на разных наборах данных и в разных интерфейсах. Воспринимайте эти два числа как порядки величин, а не как отношение для ваших данных. Проведите короткий пилот каждой из рассматриваемых форм на ваших собственных изображениях и засеките время. Телеметрия рисования в Potato записывает каждую подтверждённую фигуру с временной меткой и числом вершин, а калькулятор стоимости разметки превращает время на объект в бюджет.

Меры согласованности для каждой формы

Согласованность по фигурам начинается с сопоставления. Potato сопоставляет объекты одного разметчика с объектами другого разметчика на том же изображении, и в таком сопоставлении остаётся столько пар выше порога, сколько позволяют два набора. Две фигуры считаются одним объектом, когда их сходство достигает 0,5. Порог 0,5 Potato берёт из соглашения COCO для обнаружения. Рамки сравниваются по IoU, полигоны и эллипсы — по IoU их площадей, проекционные кубоиды — по IoU передних граней. У полилиний нет внутренней области, которую мог бы измерить IoU, поэтому Potato оценивает полилинии по F1 по границе. F1 по границе — это среднее гармоническое долей точек каждой траектории, лежащих рядом с другой траекторией.

Наборы ключевых точек сравниваются по Object Keypoint Similarity (OKS). Меру OKS определил COCO для оценки ключевых точек, и она масштабирует расстояние для каждого сустава по размеру объекта и по допуску, заданному для этого сустава. COCO задаёт константу 0,025 для глаза и 0,107 для бедра, потому что разметчики ставят глаз последовательнее, чем бедро. Potato пропускает сустав, который один из разметчиков оставил без метки, потому что отсутствующий сустав и неверно поставленный сустав — это разные виды расхождения.

Отчёт на странице /admin/iaa затем разбивает расхождения на три вопроса:

  • Обнаружение. Нашли ли разметчики одни и те же объекты? Potato сообщает номинальную альфу Криппендорфа по наличию объектов.
  • Классификация. Получили ли сопоставленные объекты одинаковые метки? Potato сообщает номинальную альфу Криппендорфа по меткам сопоставленных объектов.
  • Локализация. Находятся ли сопоставленные объекты в одном месте? σ сравнивает среднее расстояние между сопоставленными объектами на одном изображении со средним расстоянием между объектами на разных изображениях, а статистика Колмогорова–Смирнова сравнивает эти два распределения.

σ равна 1 при полном согласии и 0, когда разметчики согласны не больше, чем разметчики несвязанных изображений. Сырой средний IoU оказывается высоким на корпусе из крупных объектов в центре кадра, кто бы ни рисовал рамки, а σ поправляет на лёгкость задачи. В тесте Braylan et al. (2022) альфа Криппендорфа, вычисленная с расстоянием IoU, ранжировала качество разметчиков хуже, чем альфа с обычным расстоянием L2. Поэтому Potato сообщает σ вместо альфы по расстоянию IoU. Мы не нашли другой платформы разметки, которая сообщала бы согласованность с поправкой на случайность по пространственным меткам. Как измерить согласованность разметчиков по ограничивающим рамкам объясняет этот метод, а Согласованность по геометрии описывает отчёт.

Расстояние по умолчанию внутри σ — это GIoU по рамке, охватывающей каждый сопоставленный объект. Поэтому для полигонов, полилиний и наборов ключевых точек локализационная σ измеряет, где расположены охватывающие рамки. Собственное сходство фигуры участвует через сопоставление и оценку обнаружения.

Для 3D-кубоидов есть отдельный отчёт. Potato точно вычисляет объёмный IoU двух кубоидов при любом повороте, и два кубоида считаются одним объектом при 3D IoU, равном 0,25. Несопоставленный кубоид считается полным расхождением, сопоставленный кубоид с другой меткой получает половину баллов, а отчёт даёт среднее по парам разметчиков. У 3D-отчёта нет базового уровня случайного совпадения. Для последовательностей Potato оценивает каждый кадр по рамкам, интерполированным между ключевыми кадрами, и добавляет MOTA, IDF1 и смены идентификаторов между треками каждой пары разметчиков. Для сравнения: 3D-бенчмарк KITTI требует 3D-перекрытия 70% для автомобилей и 50% для пешеходов и велосипедистов.

Сначала рамки, потом уточнение

Рамки — правильная первая форма, пока список классов или инструкции ещё меняются. Рамку быстро перерисовать после изменения инструкции, а согласованность по рамкам рано показывает, находят ли разметчики одни и те же объекты вообще. Низкая альфа Криппендорфа по обнаружению указывает на нечёткое определение объекта. Более точная форма нечёткое определение не исправит.

От рамок к более точным формам ведут три пути:

  • От рамки к маске. С инструментом sam протягивание рамки запрашивает у модели сегментации маску внутри этой рамки. Модель работает в браузере разметчика после potato download-models onnxruntime и potato download-models mobile_sam.
  • Контуры для детектора. В записи Roboflow от 19 июля 2023 года описано обучение YOLOv8 с нуля на наборе из 408 изображений пожарных гидрантов, размеченных обоими способами. Полигональные метки дали более высокий mAP50. Команда Potato прочитала запись 17 ноября 2026 года. Результат Roboflow относится к одному набору данных и одной модели. Проверьте выигрыш на ваших данных, прежде чем платить за контуры.
  • Своя форма для каждого класса. Одна схема image_annotation может включать несколько инструментов. Проект может размечать большинство классов рамками и обводить контуром только те классы, чьи границы нужны модели.

Potato никогда не сопоставляет фигуры разных типов. Поэтому класс, который один разметчик отметил рамкой, а другой обвёл контуром, оценивается как полное расхождение. Запишите форму для каждого класса в инструкции по разметке.

Каждая форма в Potato

Первая конфигурация полная. Каждый следующий блок заменяет список annotation_schemes из первой конфигурации.

Ограничивающие рамки

Potato хранит рамку как {x, y, width, height} в координатах, нормированных на изображение. Рамка выровнена по осям. Угол повёрнутого объекта, например корабля, снятого сверху, записывается четырёхвершинным полигоном. Каждая строка файла данных содержит id и image_url:

yaml
annotation_task_name: "Street scene detection"
task_dir: "."
data_files:
  - "data/images.jsonl"
item_properties:
  id_key: id
  text_key: image_url
output_annotation_dir: "annotation_output/"
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every car, person, and bicycle."
    tools: [bbox]
    min_annotations: 1
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: person, color: "#4ECDC4", key_value: "2"}
      - {name: bicycle, color: "#45B7D1", key_value: "3"}
 
agreement_metrics:
  enabled: true
num_annotators_per_item: 2

num_annotators_per_item: 2 отправляет каждое изображение двум разметчикам. Для согласованности нужно не менее двух разметок каждого изображения. min_annotations: 1 отклоняет пустую отправку и подходит для корпуса, где на каждом изображении есть хотя бы один объект. Экспорт для детектора выполняется командой экспорта:

bash
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/

Первая команда записывает COCO annotations.json, а вторая — по одному файлу меток YOLO на изображение вместе с data.yaml и classes.txt. О том, как рисовать рамки по набранному названию объекта, см. Как размечать объекты, набирая их название.

Полигоны и эллипсы

Разметчик рисует полигон кликом на каждой вершине и закрывает его двойным кликом. Полигону нужно не менее трёх вершин. Используйте полигон, когда модель работает с границами, а объекты сплошные. Эллипс подходит к круглому объекту одним протягиванием, и Potato хранит эллипс как центр, два радиуса и угол. При экспорте каждый эллипс записывается как 36-вершинный полигон, и каждый формат, читающий полигоны, читает и эллипсы.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: nuclei
    description: "Outline every nucleus. Use the ellipse for round nuclei and the polygon for irregular ones."
    tools: [polygon, ellipse]
    labels:
      - {name: nucleus, color: "#E6194B", key_value: "1"}

Схема с контурами ядер BBBC038 и схема с контурами зданий SpaceNet — это полные полигональные задачи.

Полилинии

Полилиния — это незамкнутый путь из двух или более точек, и разметчик завершает полилинию двойным кликом. Линии дорожной разметки, трещины, сосуды, кабели и береговые линии — это объекты-полилинии, потому что у линии разметки или трещины есть длина и нет внутренней области. Замыкание полилинии в полигон заявило бы площадь, которую разметчик не рисовал. В COCO нет типа для незамкнутого пути, и экспорт Potato в COCO записывает каждую полилинию с пустым segmentation, area: 0 и точками под нестандартным ключом polyline.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: lanes
    description: "Trace each lane marking from the bottom of the image to where the marking ends."
    tools: [polyline]
    labels:
      - {name: solid_line, color: "#F1C40F", key_value: "1"}
      - {name: dashed_line, color: "#3498DB", key_value: "2"}

Наборы ключевых точек и скелеты

Набор ключевых точек — это одна разметка, которая содержит упорядоченный список точек. Блок skeletons называет каждую точку и перечисляет рёбра между точками по индексам, а порядок придаёт каждой точке смысл. Разметчики ставят точки в объявленном порядке, и набор завершается после последнего названия. Двойной клик завершает набор раньше, когда остальные суставы вне кадра.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: pose
    description: "Place each joint of every visible person in the skeleton's order."
    tools: [keypoint_set]
    labels: [person]
    skeletons:
      coco_person:
        names: [nose, left_eye, right_eye, left_ear, right_ear,
                left_shoulder, right_shoulder, left_elbow, right_elbow,
                left_wrist, right_wrist, left_hip, right_hip,
                left_knee, right_knee, left_ankle, right_ankle]
        edges: [[0,1],[0,2],[1,3],[2,4],[5,6],[5,7],[7,9],[6,8],[8,10],
                [5,11],[6,12],[11,12],[11,13],[13,15],[12,14],[14,16]]

Экспорт Potato в COCO записывает каждый набор как массив COCO keypoints с флагами видимости. Для согласованности используется OKS с константами COCO для каждого сустава. COCO задал константы для 17-точечного скелета человека, показанного выше, а суставы пользовательского скелета получают константы суставов COCO с теми же индексами. Отдельные точки landmark с одной меткой на сустав теряют группировку, и два человека на одном изображении превращаются в одну кучу точек.

Маски сегментации

Маска размечает пиксели и подходит для объектов с отверстиями или тонкими частями. Инструменты Potato brush, eraser, fill и sam рисуют маски. mask_mode: semantic объединяет все мазки одного класса в одну область, а mask_mode: instance оставляет каждый объект отдельным.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: instances
    description: "Paint each animal as its own object."
    tools: [brush, eraser, fill]
    mask_mode: instance
    labels: [cat, dog]

Как размечать маски сегментации изображений описывает правила границ и сегментацию по клику, а Консенсус масок с помощью STAPLE описывает, как объединять маски нескольких разметчиков.

Проекционные кубоиды

Инструмент cuboid_2d рисует 3D-рамку на одном изображении с камеры в стиле KITTI. Разметчик протягивает видимую переднюю грань, а затем один раз кликает, чтобы задать смещение по глубине. Potato строит заднюю грань, сдвигая переднюю на смещение по глубине, и хранит обе грани как четырёхугольники. Поэтому у нарисованной рамки нет перспективного масштабирования и нет глубины в метрах. Используйте cuboid_2d, когда есть только изображения, а модели нужны видимая протяжённость объекта и его примерная ориентация. 3D-детектору, который предсказывает положение в метрах, нужны кубоиды в облаке точек.

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: vehicles
    description: "Drag the face of each vehicle nearest the camera, then click to set the depth."
    tools: [cuboid_2d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: truck, color: "#4ECDC4", key_value: "2"}

3D-кубоиды в облаках точек

Схема spatial_annotation с инструментом cuboid_3d рисует ориентированные рамки в облаке точек лидара или данных глубины. Каждая рамка хранит центр, размер в метрах и поворот, всё в системе координат датчика. При включённом cuboid_3d просмотрщик добавляет три ортогональных вида-среза, а новая рамка подгоняет высоту под точки внутри своего основания. Файл калибровки, названный в calibration_field, включает панели камер, которые проецируют каждую рамку на изображения для 2D-проверки. Каждый элемент называет своё облако точек в поле point_cloud, а калибровку — в поле calibration:

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put an oriented 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}

python -m potato.export --config config.yaml --format kitti_3d --output ./export/ записывает файлы меток KITTI для кубоидов. Схема KITTI и схема 3D-кубоидов nuScenes — это полные задачи, а 3D-облака точек и кубоиды перечисляют все параметры.

Часто задаваемые вопросы

В чём разница между разметкой ограничивающей рамкой и полигоном?

Ограничивающая рамка записывает положение и протяжённость объекта в виде одного прямоугольника, выровненного по осям, а полигон записывает контур объекта в виде замкнутой цепочки вершин. Рамка обучает детекторы объектов, а полигон обучает модели сегментации экземпляров и к тому же даёт охватывающую рамку. Опубликованные краудсорсинговые замеры дают 35 секунд на рамку и около 79 секунд на полигон COCO в расчёте на объект, причём за каждой цифрой стоит свой интерфейс. Potato сравнивает рамки двух разметчиков по IoU рамок, а два полигона — по IoU их площадей.

Что такое разметка 3D-кубоидами?

Разметка 3D-кубоидами — это рисование ориентированной рамки вокруг каждого объекта в облаке точек лидара или в других трёхмерных данных. Эту же задачу называют разметкой 3D-ограничивающими рамками. Каждый кубоид записывает центр объекта, его размер в метрах и поворот объекта, и 3D-детекторы объектов обучаются на этих кубоидах. Бенчмарки оценивают кубоиды по 3D IoU, а KITTI требует перекрытия 70% для автомобилей. Проекционный кубоид, нарисованный на изображении с камеры, дешевле в рисовании, но у него нет глубины в метрах.

Что такое разметка полилиниями?

Разметка полилиниями прослеживает линейный объект как незамкнутую цепочку точек, у которой есть длина и нет охватываемой площади. Линии дорожной разметки, края дороги, трещины и кровеносные сосуды — типичные объекты-полилинии на изображениях. Согласованность разметчиков по полилиниям использует F1 по границе для точек двух траекторий, потому что IoU требует внутренней области, которой у полилинии нет.

Дополнительные материалы

Источники

  • Braylan, A., Alonso, O., and Lease, M. (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
  • He, K., Gkioxari, G., Dollár, P., and Girshick, R. (2017). Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.322
  • Lin, T.-Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., and Dollár, P. (2014). Microsoft COCO: Common Objects in Context. Computer Vision – ECCV 2014. https://doi.org/10.1007/978-3-319-10602-1_48
  • Papadopoulos, D. P., Uijlings, J. R. R., Keller, F., and Ferrari, V. (2017). Extreme Clicking for Efficient Object Annotation. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.528
  • Rezatofighi, H., Tsoi, N., Gwak, J., Sadeghian, A., Reid, I., and Savarese, S. (2019). Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/CVPR.2019.00075

Примеры дизайнов

Каждый дизайн — рабочая конфигурация Potato, которую можно скачать и запустить.