跳转到内容

边界框、多边形、关键点和长方体标注

选出视觉模型所需的标注形状,比较每种形状标注一个对象的成本,并在 Potato 中衡量标注者在每种形状上的一致性。

标注形状由模型的预测内容决定。目标检测器用边界框训练,实例分割模型用多边形或掩码训练,姿态模型用关键点集训练,3D 检测器则用在点云中绘制的长方体训练。当标注指南或模型仍在变动时,先用边界框,因为边界框是绘制和检查成本最低的区域形状。

标注形状是标注者为标出对象在图像或扫描数据中的位置而绘制的几何图形。边界框是与坐标轴对齐、恰好包住对象的矩形,以四个数字存储。多边形是沿对象轮廓依次连接顶点的闭合折线,折线(polyline)则是开放的折线链,有长度而没有面积。关键点集是由骨架边连接的、带名称的有序点列表,用于训练姿态估计模型。长方体是三维中的框。标注者既可以把长方体绘制为相机图像上的投影,也可以绘制为点云中带朝向的框。

Potato 是一款免费、开源的标注工具,运行在你自己的服务器上,本指南以 Potato 的工具作为实例。下文的每种 2D 形状都是 Potato image_annotation 方案中的一个工具,3D 长方体则属于 spatial_annotation 方案。如何标注图像分割掩码深入讲解掩码,如何标注 3D 点云讲解激光雷达工作,图像标注工具对比将 Potato 与其他工具做了比较。

每类模型需要的形状

模型只会学到标签所编码的内容。下表把每类模型输出与应绘制的形状、对应的 Potato 工具,以及 Potato 判断两名标注者是否画了同一个对象所用的相似度配对:

模型预测的内容绘制Potato 工具两名标注者的形状如何比较
每个对象的类别和矩形(目标检测)边界框bbox框 IoU
每个对象的类别和轮廓(实例分割,例如 Mask R-CNN)多边形;有孔洞或细长部分时用掩码polygon,或带 mask_mode: instance 的 brush多边形 IoU 或掩码 IoU
每个像素的类别(语义分割)掩码brush、fill、sam掩码 IoU
圆形对象,如细胞和细胞核椭圆ellipse36 顶点多边形的 IoU
线状对象,例如车道线和裂缝折线polyline距离容差内的边界 F1
姿态所需的关节位置带骨架的关键点集keypoint_set对象关键点相似度(OKS)
每个对象一个位置,用于计数地标landmark距离,相距图像的 5% 时得分为 0
由单张相机图像得到的 3D 框投影长方体cuboid_2d前表面的 IoU
激光雷达或深度数据中的 3D 框3D 长方体spatial_annotation 中的 cuboid_3d精确的旋转 3D IoU

比模型所需更丰富的形状会耗费标注者的时间,却不会在训练时带来任何好处。比模型所需更简单的形状则事后无法补救。边界框没有轮廓,而任何轮廓的外接框都可以在导出时计算出来,Potato 的 COCO 导出会为每个多边形和掩码写出一个 bbox。

每个对象的绘制成本

每个对象的标注成本随标注者放置并检查的点数增加而上升。边界框和多边形都有已发表的计时数据,均来自大型众包数据集,使用的是各项目自己的界面:

  • 边界框。 如 Papadopoulos 等人(2017)所报告,为 ILSVRC 数据集绘制一个高质量边界框需要 35 秒。同一篇论文报告,使用极值点击法每个框只需 7 秒。极值点击法要求标注者点击对象最上、最下、最左和最右的点。Potato 的 bbox 工具使用常规的拖拽矩形方式。
  • 多边形。 为 COCO 勾勒对象实例,每 1,000 个分割耗费 22 个以上的工人小时,约合每个对象 79 秒(Lin 等人,2014)。
  • 关键点和长方体。 Potato 团队没有找到可对照来源核实的关键点集或 3D 长方体的已发表单个对象用时。请在试点中测量你自己的数据。

这两个计时来自不同的数据集和界面。请把这两个数字当作数量级,而不是适用于你的数据的比值。请在你自己的图像上对每种候选形状做一次简短试点并计时。Potato 的绘制遥测会记录每个已提交形状的时间戳和顶点数,标注成本计算器可把每个对象的用时换算为预算。

每种形状的一致性度量

形状上的一致性从配对开始。Potato 在同一张图像上把一名标注者的对象与另一名标注者的对象配对,并且让两组对象之间尽可能多的配对达到阈值以上。当形状相似度达到 0.5 时,两个形状算作同一个对象。Potato 的 0.5 阈值取自 COCO 检测的惯例。边界框按 IoU 比较,多边形和椭圆按面积的 IoU 比较,投影长方体按前表面的 IoU 比较。折线没有内部区域可供 IoU 度量,Potato 用边界 F1 给折线打分。边界 F1 是调和平均数,取每条轨迹上靠近另一条轨迹的点所占比例。

关键点集按对象关键点相似度(OKS)比较。OKS 由 COCO 为关键点评估定义,它按对象大小和每个关节的容差来缩放各关节的距离。COCO 把眼睛的常数设为 0.025,把髋部设为 0.107,因为标注者放置眼睛比放置髋部更一致。如果任一标注者没有标注某个关节,Potato 就跳过该关节,因为关节缺失和关节错位是两种不同的分歧。

/admin/iaa 处的报告随后把分歧拆分为三个问题:

  • 检测。 标注者找到的是同一批对象吗?Potato 报告关于有无的名义 Krippendorff's α。
  • 分类。 配对的对象得到相同的标签了吗?Potato 报告配对对象标签上的名义 Krippendorff's α。
  • 定位。 配对的对象位置相同吗?σ 把同一张图像上配对对象之间的平均距离,与不同图像上对象之间的平均距离做比较,并用 Kolmogorov–Smirnov 统计量比较这两个分布。

σ 为 1 表示完全一致,为 0 表示标注者之间的一致程度不高于标注互不相关图像的标注者。在由大而居中的对象组成的语料上,无论谁来画框,原始的平均 IoU 读数都偏高,σ 则校正了任务本身的简单性。在 Braylan 等人(2022)的基准中,用 IoU 距离计算的 Krippendorff's α 对标注者质量的排序,比用普通 L2 距离计算的 α 更差。Potato 因此报告 σ,而不是基于 IoU 距离的 α。我们没有发现其他标注平台报告空间标签上经过机会校正的一致性。如何衡量边界框上的标注者间一致性解释了这一方法,几何一致性记录了该报告。

σ 内部默认的距离,是在每个配对对象的外接框上计算的 GIoU。因此对于多边形、折线和关键点集,定位 σ 衡量的是外接框的位置。形状自身的相似度通过配对和检测得分发挥作用。

3D 长方体有单独的报告。Potato 可以对任意旋转精确计算两个长方体的体积 IoU,3D IoU 达到 0.25 时两个长方体算作同一个对象。未配对的长方体按完全分歧计,配对但标签不同的长方体得一半分数,报告给出各对标注者的平均值。3D 报告没有机会基线。对于序列,Potato 用关键帧之间插值得到的框对每一帧打分,并给出每对标注者轨迹之间的 MOTA、IDF1 和身份切换次数。作为参照,KITTI 3D 目标基准要求汽车的 3D 重叠率达到 70%,行人和骑行者达到 50%。

先用边界框,再逐步细化

当类别列表或标注指南仍在变动时,边界框是合适的第一种形状。指南变化后,框很快就能重画,而且框的一致性能尽早显示标注者究竟是否找到了相同的对象。检测 Krippendorff's α 偏低,说明对象的定义不清楚。更精细的形状无法解决定义不清的问题。

从边界框通向更精细形状的路线有三条:

  • 从框到掩码。 使用 sam 工具时,拖出一个框会向分割模型请求框内的掩码。该模型在运行 potato download-models onnxruntime 和 potato download-models mobile_sam 之后,在标注者的浏览器中运行。
  • 为检测器准备轮廓。 Roboflow 2023 年 7 月 19 日的文章报告了在一个 408 张图像的消防栓数据集上,用两种方式标注后从头训练 YOLOv8 的结果。多边形标签得到了更高的 mAP50。Potato 团队于 2026 年 11 月 17 日阅读了这篇文章。Roboflow 的结果只涉及一个数据集和一个模型。在为轮廓付费之前,请在你自己的数据上检验收益。
  • 每个类别一种形状。 一个 image_annotation 方案可以启用多个工具。项目可以对大多数类别用框,只为模型需要边界的类别绘制轮廓。

Potato 从不匹配不同类型的形状。因此,一名标注者用框、另一名标注者用轮廓标注的类别,会被记为完全分歧。请把每个类别对应的形状写入标注指南。

Potato 中的每种形状

下面第一份配置是完整的。之后的每个代码块都替换第一份配置中的 annotation_schemes 列表。

边界框

Potato 以 {x, y, width, height} 存储边界框,坐标按图像归一化。框与坐标轴对齐。旋转的对象(例如从上方看到的船)由四顶点多边形记录角度。数据文件的每一行包含一个 id 和一个 image_url:

yaml
annotation_task_name: "Street scene detection"
task_dir: "."
data_files:
  - "data/images.jsonl"
item_properties:
  id_key: id
  text_key: image_url
output_annotation_dir: "annotation_output/"
 
annotation_schemes:
  - annotation_type: image_annotation
    name: objects
    description: "Draw a tight box around every car, person, and bicycle."
    tools: [bbox]
    min_annotations: 1
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: person, color: "#4ECDC4", key_value: "2"}
      - {name: bicycle, color: "#45B7D1", key_value: "3"}
 
agreement_metrics:
  enabled: true
num_annotators_per_item: 2

num_annotators_per_item: 2 会把每张图像分给两名标注者。计算一致性要求每张图像至少有两份标注。min_annotations: 1 拒绝空提交,适用于每张图像至少含一个对象的语料。用导出命令行为检测器导出:

bash
python -m potato.export --config config.yaml --format coco --output ./export/
python -m potato.export --config config.yaml --format yolo --output ./export/

第一条命令写出一个 COCO annotations.json,第二条命令为每张图像写出一个 YOLO 标签文件,并附带 data.yaml 和 classes.txt。若要通过输入对象名称来绘制边界框,请参阅如何通过输入名称来标注对象。

多边形和椭圆

标注者每点击一次放置一个顶点,双击闭合多边形。多边形至少需要三个顶点。当模型使用边界、且对象是实心时,请使用多边形。椭圆只需一次拖拽就能贴合圆形对象,Potato 把椭圆存储为中心、两个半径和一个角度。导出时每个椭圆都写成一个 36 顶点的多边形,所有能读取多边形的格式也都能读取这些椭圆。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: nuclei
    description: "Outline every nucleus. Use the ellipse for round nuclei and the polygon for irregular ones."
    tools: [polygon, ellipse]
    labels:
      - {name: nucleus, color: "#E6194B", key_value: "1"}

BBBC038 细胞核轮廓设计和 SpaceNet 建筑物轮廓设计是完整的多边形任务。

折线

折线是由两个或更多点构成的开放路径,标注者双击结束一条折线。车道线、裂缝、血管、电缆和海岸线都是折线对象,因为车道线或裂缝有长度而没有内部区域。把折线闭合成多边形,会声称一块标注者从未绘制过的面积。COCO 没有开放路径类型,Potato 的 COCO 导出会把每条折线写成空的 segmentation、area: 0,并把各点放在非标准的 polyline 键下。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: lanes
    description: "Trace each lane marking from the bottom of the image to where the marking ends."
    tools: [polyline]
    labels:
      - {name: solid_line, color: "#F1C40F", key_value: "1"}
      - {name: dashed_line, color: "#3498DB", key_value: "2"}

关键点集和骨架

一个关键点集是包含有序点列表的一条标注。skeletons 块为每个点命名,并按索引列出点之间的边,点的顺序决定每个点的含义。标注者按声明的顺序放置各点,放完最后一个名称后该集即告完成。如果其余关节在画面之外,双击可提前结束一个集。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: pose
    description: "Place each joint of every visible person in the skeleton's order."
    tools: [keypoint_set]
    labels: [person]
    skeletons:
      coco_person:
        names: [nose, left_eye, right_eye, left_ear, right_ear,
                left_shoulder, right_shoulder, left_elbow, right_elbow,
                left_wrist, right_wrist, left_hip, right_hip,
                left_knee, right_knee, left_ankle, right_ankle]
        edges: [[0,1],[0,2],[1,3],[2,4],[5,6],[5,7],[7,9],[6,8],[8,10],
                [5,11],[6,12],[11,12],[11,13],[13,15],[12,14],[14,16]]

Potato 的 COCO 导出会把每个集写成带可见性标志的 COCO keypoints 数组。一致性使用 OKS 和 COCO 的各关节常数。COCO 为上面这种 17 点人体骨架设定了这些常数,自定义骨架的关节采用 COCO 中相同索引关节的常数。若用每个关节一个标签的 landmark 点来代替,分组关系会丢失,一张图像里的两个人会变成一堆点。

分割掩码

掩码标注的是像素,适用于有孔洞或细长部分的对象。Potato 的 brush、eraser、fill 和 sam 工具用于绘制掩码。mask_mode: semantic 会把同一类别的所有笔画合并为一个区域,mask_mode: instance 则让每个对象保持独立。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: instances
    description: "Paint each animal as its own object."
    tools: [brush, eraser, fill]
    mask_mode: instance
    labels: [cat, dog]

如何标注图像分割掩码讲解边界规则和点击分割,使用 STAPLE 的掩码共识讲解如何合并多名标注者的掩码。

投影长方体

cuboid_2d 工具以 KITTI 风格在单张相机图像上绘制 3D 框。标注者先拖出可见的前表面,再单击一次设定深度偏移。Potato 把前表面按深度偏移平移得到后表面,并把两个面都存储为四边形。因此所绘制的框没有透视缩放,也没有以米为单位的深度。当只有图像、而模型只需要对象的可见范围和大致朝向时,请使用 cuboid_2d。要预测以米为单位位置的 3D 检测器,则需要点云中的长方体。

yaml
annotation_schemes:
  - annotation_type: image_annotation
    name: vehicles
    description: "Drag the face of each vehicle nearest the camera, then click to set the depth."
    tools: [cuboid_2d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: truck, color: "#4ECDC4", key_value: "2"}

点云中的 3D 长方体

带 cuboid_3d 工具的 spatial_annotation 方案会在激光雷达或深度点云中绘制带朝向的框。每个框存储中心、以米为单位的尺寸和旋转,全部处于传感器坐标系中。启用 cuboid_3d 后,查看器会增加三个正交切片视图,新框的高度会贴合其底面范围内的点。calibration_field 中指定的标定文件会启用相机面板,把每个框投影到图像中做 2D 检查。每个条目在 point_cloud 字段中给出点云,在 calibration 字段中给出标定:

yaml
annotation_schemes:
  - annotation_type: spatial_annotation
    name: objects
    description: "Put an oriented 3D box around every vehicle and pedestrian."
    source_field: point_cloud
    calibration_field: calibration
    tools: [cuboid_3d]
    labels:
      - {name: car, color: "#FF6B6B", key_value: "1"}
      - {name: pedestrian, color: "#FFD93D", key_value: "2"}

python -m potato.export --config config.yaml --format kitti_3d --output ./export/ 会为这些长方体写出 KITTI 标签文件。KITTI 设计和 nuScenes 3D 长方体设计都是完整的任务,3D 点云与长方体列出了所有选项。

常见问题

边界框和多边形标注有什么区别?

边界框用一个与坐标轴对齐的矩形记录对象的位置和范围,多边形则用闭合的顶点链记录对象的轮廓。边界框用于训练目标检测器,多边形用于训练实例分割模型,同时也能得到外接框。已发表的众包计时显示,每个对象的边界框需 35 秒,COCO 多边形约需 79 秒,两个数字背后的界面并不相同。Potato 按框 IoU 比较两名标注者的边界框,按面积的 IoU 比较两个多边形。

什么是 3D 长方体标注?

3D 长方体标注是在激光雷达点云或其他三维数据中,为每个对象绘制一个带朝向的框。这项任务也称为 3D 边界框标注。每个长方体记录对象的中心、以米为单位的尺寸和对象的旋转,3D 目标检测器用这些长方体训练。基准用 3D IoU 为长方体打分,KITTI 要求汽车达到 70% 的重叠。在相机图像上绘制的投影长方体绘制成本更低,但没有以米为单位的深度。

什么是折线标注?

折线标注把线状对象描绘为开放的点链,它有长度而没有封闭面积。车道线、道路边缘、裂缝和血管是图像中常见的折线对象。标注者在折线上的一致性使用两条轨迹各点上的边界 F1,因为 IoU 需要折线所没有的内部区域。

延伸阅读

参考文献

  • Braylan, A., Alonso, O., and Lease, M. (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
  • He, K., Gkioxari, G., Dollár, P., and Girshick, R. (2017). Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.322
  • Lin, T.-Y., Maire, M., Belongie, S., Bourdev, L., Girshick, R., Hays, J., Perona, P., Ramanan, D., Zitnick, C. L., and Dollár, P. (2014). Microsoft COCO: Common Objects in Context. Computer Vision – ECCV 2014. https://doi.org/10.1007/978-3-319-10602-1_48
  • Papadopoulos, D. P., Uijlings, J. R. R., Keller, F., and Ferrari, V. (2017). Extreme Clicking for Efficient Object Annotation. 2017 IEEE International Conference on Computer Vision (ICCV). https://doi.org/10.1109/ICCV.2017.528
  • Rezatofighi, H., Tsoi, N., Gwak, J., Sadeghian, A., Reid, I., and Savarese, S. (2019). Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). https://doi.org/10.1109/CVPR.2019.00075

示例设计

每个设计都是可以下载并直接运行的 Potato 配置。