时间维度上的一致性
标注者标记时间片段和断点时 Potato 报告哪些内容,为什么片段一致性没有经过机遇校正,以及为什么断点一致性以容差扫描的形式报告。
两位标注者在标记一个事件何时开始时不会选中同一帧,因此时间一致性必须说明"多接近才算一致"。 Potato 对时间片段和断点的处理方式不同:片段按超过阈值的时间 IoU 进行匹配,断点则在一系列容差上扫描报告。
时间片段的度量
对于音频和视频片段,一致性报告会在每个条目上比较每一对标注者,并对四个数值取平均:
| 问题 | 度量 |
|---|---|
| 两组片段整体上有多一致? | 平均一致度,会对边界松散、片段遗漏和标签不符扣分 |
| 两位标注者都找到某个片段时,边界有多接近? | 已匹配片段的平均时间 IoU |
| 他们到底有没有找到相同的片段? | 匹配阈值下的检测 F1,默认阈值为 0.5 |
| 他们标记的片段数量是否相同? | 片段数量的平均差值 |
片段只依据时间 IoU 进行匹配。标签只在平均一致度中起作用:标签不同的已匹配片段对只能得到其 IoU 的一半。因此,没有哪个数值能单独说明标注者在标签上一致的频率。两位标注者都没有标记任何内容的配对会被计入,但不参与打分,因为两个空答案并不能证明一致。
断点的容差扫描
断点是单一的时刻,例如机器人回合出错的那一刻;如果两个断点的间隔落在容差窗口之内,就算作同一个标记。这样一来,每个数值都取决于这个窗口,因此机器人回合报告会分别在 0.04、0.25、0.5、1 和 2 秒下计算,并把五个结果全部列出。
只报告单一阈值,等于邀请读者去挑选那个恰好支持自己结论的容差。0.25 秒下的一致性和 2 秒下的一致性,是关于这份数据的两种不同断言:
- 在 2 秒下高、在 0.25 秒下低,意味着标注者认同发生了某个事件,但对具体时点看法不一。这通常是规范问题:对"何时开始"的定义不够明确。
- 两者都低,则意味着他们连事件是否发生都存在分歧。
在每个容差下,断点一致性都会拆解为检测、定位与类别三部分,详见世界模型评估。时间片段没有这样的扫描,其边界只通过时间 IoU 来评判。
覆盖率会一并报告
对于稠密曲线,例如机器人回合上的进度奖励轨迹,一致性以 ICC 加 Pearson 的形式报告,并同时给出覆盖率。
在时间轴 5% 的范围上算出的相关系数,对其余 95% 什么也没说;而一个不附带覆盖率的系数,会被当作覆盖了全部来解读。
一项已知局限
时间片段只有未经校正的度量:没有 σ,没有检测 α,也没有标签 α。σ 的机遇基线是由不同条目上对象之间的距离构建的,而当各段视频长度不同时,"来自另一段视频的片段"并不是一个有意义的比较对象。把这件事做对需要单独的设计,在它成型之前就宣称此处已有机遇校正,比直说没有更糟。
如需测量片段上的标签一致性,或多个容差下的边界一致性,可以把片段粘贴到文本片段、边界框与时间段一致性计算器中。它会报告容差扫描下的边界 F1,以及已匹配片段标签上的 α。
相关内容
示例设计
每个设计都是可以下载并直接运行的 Potato 配置。
- Sleep-EDF Sleep Stage Scoring in 30-Second EpochsScore ten real overnight polysomnogram excerpts one 30-second epoch at a time with Rechtschaffen and Kales stages, using epoch-mode intervals and signal-cnn.
- Powdermill Bird Soundscape Species Boxes on SpectrogramsCorrect time-frequency boxes with species codes on ten real dawn-chorus excerpts, using Raven selection tables as pre-annotations and torchvision-detect.