边界框的机遇校正一致性
即使标注者从不看图片,标注者之间的平均 IoU 也可能保持在 0.95 左右。Potato 的 σ 根据其他图片估计机遇基线。
标注者之间的原始 IoU 反映的是空间任务受约束的程度,因此在目标大而居中的语料上,即使有标注者从不看图,它也可能保持在 0.95 左右。衡量一致性应当用机遇校正系数。
我们找到的、会报告标注者间一致性的计算机视觉标注平台,报告的都是对照每类阈值的原始 IoU(交并比)。CVAT 的共识引擎如此,V7 的共识环节如此,Label Studio Enterprise 的指标清单也是精确匹配、数值差、IoU 与跨度重叠。它们都没有做机遇校正,而缺少校正时,这个数字的含义并不是它看上去的那样。
目标居中的语料上的平均 IoU
设想一份检测语料,其中每张图片都有一个大致居中的大目标。两位标注者都给它画了框,他们的框高度重叠,平均 IoU 算出来约 0.95,看板上显示一致性极佳。现在把其中一位标注者换成一个"看都不看、在每张图中间画个框"的流程,平均 IoU 仍然在 0.95 左右。这个度量报告的是语料的性质(任务受约束的程度),而不是标注者的性质。
当某一类别占主导时,百分比一致率在类别标签上也会以同样的方式失效,这个问题自 1960 年 Cohen 提出 kappa 以来早已被认识清楚,而上述平台报告空间一致性时并没有做等价的校正。
基于 IoU 距离的 Krippendorff α
Krippendorff's α 接受任意距离函数,因此最直接的做法是在 1 − IoU 上套用 α,这也正是我们最初的方案,但它因为一个结构性原因而失败。α 计算的是 1 − D_o/D_e,其中 D_e 是随机配对下的期望分歧。IoU 距离被限制在 [0, 1] 区间内,而随机配对的两个框几乎总是 IoU 为 0。于是 D_e 收敛到约等于 1,整个系数退化为 1 − 平均观测距离,内部已不剩任何有效的机遇校正。
IoU 还恰恰在标注者产生分歧的地方是平的:两个不相交的框,无论相邻还是分处图像的对角,得分都是 0。这个度量在你真正关心的区间里没有梯度。
这一异议在经验上也成立。Braylan、Alonso 与 Lease(WWW 2022)评估候选距离函数的标准,是一致性度量能否按先前研究的方式给它们排序,即更细粒度、对标签误差更敏感的距离应排在更前。对于边界框,α 会把普通 L2(0.687)排在 GIoU(0.507)与 IoU(0.505)之上,而他们的两个基于分布的度量给出的则是预期的顺序,依次为 GIoU、IoU、L2。
σ 系数及其经验机遇基线
我们改为报告 σ,它保留了 α 的形式,但根据其他条目的标注以经验方式估计机遇基线。这个名称以及条目间基线来自 Braylan、Alonso 与 Lease,他们的 σ 是观测距离中显著低于条目间分布的那部分所占的比例。Potato 的 σ 则是更简单的均值之比:
σ = 1 − mean(within-item distance) / mean(between-item distance)分母不再假设一个随机配对的分布,而是比较不同条目的标注。这个比较以经验方式回答了"如果这些标注者看的不是同一个东西,他们会相距多远",而这正是机遇基线应当回答的问题。
σ 的读法如下:
| σ | 含义 |
|---|---|
| 1.0 | 完全一致 |
| 0.0 | 并不比标注互不相关的图片更好 |
| 小于 0 | 在同一张图片上的差距系统性地大于在不同图片上的差距 |
我们不对负值做截断。负的 σ 是一种真实且可诊断的状态,它几乎总是意味着指南存在歧义,而不是标注者粗心。截断会掩盖这个信号。
除 σ 之外,我们还报告条目内距离分布与条目间距离分布之间的双样本 Kolmogorov–Smirnov(KS)统计量。σ 比较的是两个均值,可能被离群值拖动,而 KS 比较的是整个分布。当 σ 与 KS 不一致时,说明少数条目承担了大部分分歧,这会告诉你该去打开哪些条目。
把检测、分类和定位分成三个数字
即便做了正确的机遇校正,单个空间一致性数字也无法说明三件事中究竟哪一件出了问题:
- 检测。 他们找到的是不是同样的目标?
- 分类。 对匹配上的目标,他们给的标签是否相同?
- 定位。 匹配上的目标位置是否相同?
一位找到了每个目标却把它们全部标错的标注者,与一位标签正确但框画得松散的标注者,是完全不同的问题,修正方法也不同。因此 Potato 把这三项分开报告。
掩码用 STAPLE,三维长方体用旋转 IoU
对于像素掩码,"他们是否一致"与"数据集应当记录谁的边界"是两个不同的问题。STAPLE 回答的是后者,它估计一个潜在的共识边界,并给出每位标注者的敏感度与特异度。两者分开报告,因为欠分割与过分割的修正方向相反。
STAPLE 还按已表现出的可靠性加权,而不是简单数票,这在认真的标注者人数较少时尤为重要。Potato 的 STAPLE 测试构造了一张 40 × 40 像素的图像,其真实前景是一个 20 × 20 的方块,两位认真的标注者准确描出了它,而三位噪声标注者各自只保留方块约一半的像素,并随机标记约 35% 的图像。五取三的多数投票对照这一真值得到的 Dice 为 0.846,STAPLE 则为 1.000。
对于三维长方体,应使用精确的旋转三维 IoU。轴对齐的近似对水平的车载数据够用,但对无人机、手持和室内扫描则是错的,因为它会制造出由度量本身造成的分歧。
图像裁定的缺陷与 σ 的局限
缺陷是先出现的。Potato 的裁定比较的是标注的键,而图像方案把所有内容都存在一个名为 _data 的键下,所以每一对图像的一致性都得到 1.0。两位毫无共识的标注者看起来一致通过,没有一张图像被送去复核。
修复这个缺陷意味着要问,正确的数字本应是多少。基于不同条目标注得出的机遇基线以及 KS 比较,都沿用 Braylan、Alonso 与 Lease 的做法。这些度量有一项明确的局限。时间片段目前只提供未经校正的度量,因为当各片段时长不同时,"来自另一个片段的片段"并不是有意义的机遇比较。
延伸阅读
参考文献
本文引用的文献,按首次出现的顺序列出:
Jacob Cohen (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. https://doi.org/10.1177/001316446002000104
Alexander Braylan, Omar Alonso & Matthew Lease (2022). Measuring Annotator Agreement Generally across Complex Structured, Multi-object, and Free-text Annotation Tasks. Proceedings of the ACM Web Conference 2022. https://doi.org/10.1145/3485447.3512242
S. K. Warfield, K. H. Zou & W. M. Wells (2004). Simultaneous Truth and Performance Level Estimation (STAPLE): An Algorithm for the Validation of Image Segmentation. IEEE Transactions on Medical Imaging. https://doi.org/10.1109/TMI.2004.828354