用计时记录发现被盖章式通过的预标注
当标注者不读就接受模型预标注时,一致性会上升,裁定量会下降。计时记录能把认真复核与盖章式通过区分开。
当标注者不读就接受模型预标注时,标注者间一致性会上升,所以一致性无法区分盖章式通过的标注者与认真的标注者。差别只体现在工作是怎么做的,而计时就是把两者区分开的信号。
这里的盖章式通过,指的是不读就接受模型的预标注。设想一个模型为语料做了预标注,有三位标注者来复核。其中两位逐条阅读建议并改正错误,第三位什么都不看就全部接受。
在这样的研究上计算常用的质量指标:
- 标注者间一致性会上升,因为第三位标注者与模型完全一致,另外两位所接受的大部分内容也是如此。
- 金标准准确率在模型正确的地方会上升,而模型大多数时候是正确的。
- 裁定量会下降,因为需要裁定的内容变少了。
每块看板都变好了。在一致性上,什么工作都没做的标注者与做了工作的两位无法区分,还会显得是最好的标注者,因为他们从不引入带有个人色彩的修改。金标准条目只能在模型出错的地方抓到盖章者,而模型在大多数条目上是对的。
预标注情形下的机遇校正一致性
机遇校正一致性是为相互独立的判断而设计的,正是这个假设让机遇基线有意义。预标注打破了这个假设。两位都接受了同一条建议的标注者,是共享了同一个来源,而不是各自独立地得出相同的答案。这个系数仍然可以计算,但它已不再具有其解释所说的含义。
模型预标注是当前标注平台的标准功能,包括 Label Studio 的预标注、CVAT 的自动标注以及 V7 的 Auto-Annotate。只要开启了它,凡是由模型先标注的条目,独立性假设都不成立,系数也就把与模型的一致算成了人与人之间的一致。
盖章式预标注的计时信号
标注内容中没有任何东西能区分盖章式通过与认真复核,因为在模型正确的情形下,两者产出的是逐字节相同的输出。内容上找不到信号,差别只体现在过程中。一个人不可能在 300 毫秒内检查完掩码边界并做出判断,也许只有对一个显而易见的目标偶尔能做到一次。作为许多条目上的中位数,300 毫秒的判断并不是熟练的专业能力。
因此 Potato 记录每个形状的用时、笔画动态、修改次数、缩放行为,以及 AI 建议的接受延迟,即从建议渲染出来到被接受之间的时间。接受延迟是最常改变判断的那个信号。
记录过程而不记录内容
记录标注者如何工作,会引来一个合理的关于监控的质疑。Potato 在设计上回应了它,因为事件记录无法还原出标注本身。一个事件只包含时间戳、动作、几何类型和一个整数,从不包含坐标。这种缺失是结构性的而非政策性的,因为没有任何字段可以放坐标,并且有测试对此做了断言。标注者也会看到记录告知,披露默认开启,这划清了研究工具与监控之间的界线。
击键日志对文本应用同样的原则。它记录时间和编辑结构,从不记录字符。它在 beforeinput 而不是 keydown 上捕获,因为粘贴、拖放、输入法、语音听写和自动填充都会在不触发 keydown 的情况下改动字段。因此只记录 keydown 的日志工具恰恰对它本应检测的情形视而不见。出现的字符与实际按下的按键之间的差距,是最强的单一信号。
检测规则及其所支持的结论
**不提供预训练的分类器。**目前没有盖章式通过的标注语料,把拟合出的系数当作已验证的结果呈现,就等于伪造验证。检测因此只是少数几条透明的规则,证据可见,并按项目做百分位校准。
我们也不声称能检测 AI 写出的标注。数据所支持的是"找出被粘贴而非键入的回答",而不是"检测 AI 生成的文本"。如果有人要根据一条标记采取行动,这个区别就很重要。
把计时信号当作分布来读
要把计时当作跨条目的分布来读,绝不要对单个条目设阈值。有三条规则经得起检验:
- **把每位标注者与项目比较,而不是与一个常数比较。**容易的语料确实更快。在你自己项目内做百分位校准,是唯一站得住脚的基线。
- **寻找连续出现的情形。**连续二十次低于 500 毫秒的接受,比分散在整个工作时段中的二十次要强得多。
- **按是否有建议来拆分。**标注者自己的绘制速度,是衡量其接受速度的天然对照。
基础比率也很重要。在 80% 的条目确实很简单的语料中,快通常是对的,为抓盖章式通过而调出的规则抓到的多半是熟练程度。标记是提示你去看一看,本身并不是结论。
没有计时记录的预标注研究
如果你正在进行预标注的标注研究,却没有记录计时,那么你目前无从得知标注者是在复核还是在接受。你的一致性统计不会告诉你,而且它们看起来会很好。预标注确实有帮助,所以应对之道是去测量它改变了什么,而不是不再使用它。区分复核与盖章式通过介绍了应记录什么,以及如何在 Potato 中设置。