Skip to content

指南

与工具无关的标注实践讲解:方案设计、标注者间一致性、众包与智能体评估,每篇都配有可实操的示例。

这些是讲解性文章,不是参考手册。每篇先回答一个与具体工具无关的标注实践问题,再以 Potato 作为实操示例。

它们大致分为几组。第一组是在标注开始之前要做的决定:标注什么、怎么写标注规范、数据应该是什么形态。较大的一组针对具体的标注种类,从命名实体和共指,到音频、视频、图像分割与三维点云。第三组关于测量:一致性、裁决、样本量,以及标注者意见不一致时该怎么办。其余各篇涉及评估大模型与智能体的输出,以及如何组织一次有偿标注研究。

如果你是标注新手,从 什么是数据标注? 开始。如果你已经有了标注结果,需要说明其质量,从 标注者间一致性详解 开始。