裁定与分歧处理
当标注者出现分歧时该怎么办：裁定流程、按多数表决聚合，以及像 MACE 这样按标注者能力加权的统计模型。
分歧是正常的，也是有价值的信息。处理分歧意味着把多位标注者的标签合并为一个可信的标签，途径包括专家审核、聚合，或使用一个按标注者可靠程度加权的统计模型。 过早强求唯一答案，会丢掉关于哪些条目确实困难的信号。
三种处理方式
-
多数表决。 简单且透明：取出现最多的标签。当标注者水平大致相当、任务清晰时效果很好，但它会把粗心的标注者和认真的标注者一视同仁。
-
专家裁定。 把有分歧的条目交给专家做最终判定。最准确，也最昂贵。把它用在那些重要、且聚合不可靠的条目上。
-
统计聚合。 像 MACE（多标注者能力估计）这样的模型，会从标注者的一致模式中推断各自的可靠程度，并产出一个加权的"最佳猜测"标签，外加每位标注者的能力得分。它无需逐条人工核查就能自动降低乱标者的权重。可了解面向众包标签的潜变量模型这一基本思路。
一套实用流程
- 收集重叠标注（每个条目由多人标注）。
- 用多数表决或 MACE 聚合，得到一个草稿标签，并标记出一致性低的条目。
- 只把被标记出的条目送去专家裁定。
- 把所学反馈回标注指南。
Potato 支持一种裁定流程：审核者并排查看所有标注者的标签，并记录下处理后的答案。
当分歧本身就是数据时
对于主观任务，比如幽默、冒犯、情感，持续的分歧可能反映人与人之间真实的差异，而非错误。在这些情形下，可考虑保留完整的标签分布（有时称为软标签或视角主义标注），而不是塌缩为单一答案。Potato 支持记录分布，而非强求达成共识。