跳转到内容
指南阅读约需 6 分钟

边界框的机遇校正一致性

即使标注者从不看图片,标注者之间的平均 IoU 也可能保持在 0.95 左右。Potato 的 σ 根据其他图片估计机遇基线。

Potato Team

标注者之间的原始 IoU 反映的是空间任务受约束的程度,因此在目标大而居中的语料上,即使有标注者从不看图,它也可能保持在 0.95 左右。衡量一致性应当用机遇校正系数。

我们找到的、会报告标注者间一致性的计算机视觉标注平台,报告的都是对照每类阈值的原始 IoU(交并比)。CVAT 的共识引擎如此,V7 的共识环节如此,Label Studio Enterprise 的指标清单也是精确匹配、数值差、IoU 与跨度重叠。它们都没有做机遇校正,而缺少校正时,这个数字的含义并不是它看上去的那样。

目标居中的语料上的平均 IoU

设想一份检测语料,其中每张图片都有一个大致居中的大目标。两位标注者都给它画了框,他们的框高度重叠,平均 IoU 算出来约 0.95,看板上显示一致性极佳。现在把其中一位标注者换成一个"看都不看、在每张图中间画个框"的流程,平均 IoU 仍然在 0.95 左右。这个度量报告的是语料的性质(任务受约束的程度),而不是标注者的性质。

当某一类别占主导时,百分比一致率在类别标签上也会以同样的方式失效,这个问题自 1960 年 Cohen 提出 kappa 以来早已被认识清楚,而上述平台报告空间一致性时并没有做等价的校正。

基于 IoU 距离的 Krippendorff α

Krippendorff's α 接受任意距离函数,因此最直接的做法是在 1 − IoU 上套用 α,这也正是我们最初的方案,但它因为一个结构性原因而失败。α 计算的是 1 − D_o/D_e,其中 D_e 是随机配对下的期望分歧。IoU 距离被限制在 [0, 1] 区间内,而随机配对的两个框几乎总是 IoU 为 0。于是 D_e 收敛到约等于 1,整个系数退化为 1 − 平均观测距离,内部已不剩任何有效的机遇校正。

IoU 还恰恰在标注者产生分歧的地方是平的:两个不相交的框,无论相邻还是分处图像的对角,得分都是 0。这个度量在你真正关心的区间里没有梯度。

这一异议在经验上也成立。Braylan、Alonso 与 Lease(WWW 2022)评估候选距离函数的标准,是一致性度量能否按先前研究的方式给它们排序,即更细粒度、对标签误差更敏感的距离应排在更前。对于边界框,α 会把普通 L2(0.687)排在 GIoU(0.507)与 IoU(0.505)之上,而他们的两个基于分布的度量给出的则是预期的顺序,依次为 GIoU、IoU、L2。

σ 系数及其经验机遇基线

我们改为报告 σ,它保留了 α 的形式,但根据其他条目的标注以经验方式估计机遇基线。这个名称以及条目间基线来自 Braylan、Alonso 与 Lease,他们的 σ 是观测距离中显著低于条目间分布的那部分所占的比例。Potato 的 σ 则是更简单的均值之比:

text
σ = 1 − mean(within-item distance) / mean(between-item distance)

分母不再假设一个随机配对的分布,而是比较不同条目的标注。这个比较以经验方式回答了"如果这些标注者看的不是同一个东西,他们会相距多远",而这正是机遇基线应当回答的问题。

σ 的读法如下:

σ含义
1.0完全一致
0.0并不比标注互不相关的图片更好
小于 0在同一张图片上的差距系统性地大于在不同图片上的差距

我们不对负值做截断。负的 σ 是一种真实且可诊断的状态,它几乎总是意味着指南存在歧义,而不是标注者粗心。截断会掩盖这个信号。

除 σ 之外,我们还报告条目内距离分布与条目间距离分布之间的双样本 Kolmogorov–Smirnov(KS)统计量。σ 比较的是两个均值,可能被离群值拖动,而 KS 比较的是整个分布。当 σ 与 KS 不一致时,说明少数条目承担了大部分分歧,这会告诉你该去打开哪些条目。

把检测、分类和定位分成三个数字

即便做了正确的机遇校正,单个空间一致性数字也无法说明三件事中究竟哪一件出了问题:

  • 检测。 他们找到的是不是同样的目标?
  • 分类。 对匹配上的目标,他们给的标签是否相同?
  • 定位。 匹配上的目标位置是否相同?

一位找到了每个目标却把它们全部标错的标注者,与一位标签正确但框画得松散的标注者,是完全不同的问题,修正方法也不同。因此 Potato 把这三项分开报告。

掩码用 STAPLE,三维长方体用旋转 IoU

对于像素掩码,"他们是否一致"与"数据集应当记录谁的边界"是两个不同的问题。STAPLE 回答的是后者,它估计一个潜在的共识边界,并给出每位标注者的敏感度与特异度。两者分开报告,因为欠分割与过分割的修正方向相反。

STAPLE 还按已表现出的可靠性加权,而不是简单数票,这在认真的标注者人数较少时尤为重要。Potato 的 STAPLE 测试构造了一张 40 × 40 像素的图像,其真实前景是一个 20 × 20 的方块,两位认真的标注者准确描出了它,而三位噪声标注者各自只保留方块约一半的像素,并随机标记约 35% 的图像。五取三的多数投票对照这一真值得到的 Dice 为 0.846,STAPLE 则为 1.000。

对于三维长方体,应使用精确的旋转三维 IoU。轴对齐的近似对水平的车载数据够用,但对无人机、手持和室内扫描则是错的,因为它会制造出由度量本身造成的分歧。

图像裁定的缺陷与 σ 的局限

缺陷是先出现的。Potato 的裁定比较的是标注的键,而图像方案把所有内容都存在一个名为 _data 的键下,所以每一对图像的一致性都得到 1.0。两位毫无共识的标注者看起来一致通过,没有一张图像被送去复核。

修复这个缺陷意味着要问,正确的数字本应是多少。基于不同条目标注得出的机遇基线以及 KS 比较,都沿用 Braylan、Alonso 与 Lease 的做法。这些度量有一项明确的局限。时间片段目前只提供未经校正的度量,因为当各片段时长不同时,"来自另一个片段的片段"并不是有意义的机遇比较。

延伸阅读

参考文献

本文引用的文献,按首次出现的顺序列出:

Jacob Cohen (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. https://doi.org/10.1177/001316446002000104

Alexander Braylan, Omar Alonso & Matthew Lease (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242

S. K. Warfield, K. H. Zou & W. M. Wells (2004). Simultaneous Truth and Performance Level Estimation (STAPLE): An Algorithm for the Validation of Image Segmentation. IEEE Transactions on Medical Imaging. https://doi.org/10.1109/TMI.2004.828354