Skip to content

模型两两对比

如何让人工标注者对两个模型或两条回复进行正面对决式比较，包括多维度比较与偏差控制，使用 Potato。

要判断两个模型孰优孰劣，就把一条提示和两条回复一起展示给标注者，让他们选出哪一条更好。把大量提示上的正面对决判断汇总起来，得到的模型排名比绝对打分更可靠。 这正是基于人工投票的公开模型排行榜背后的方法。

这是把两两对比应用到模型输出上；许多次比较可以通过 Elo 或 Bradley–Terry 模型转化为单一的排名。

基本的正面对决

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: which_better
    description: "Which response is better overall?"
    mode: binary
    allow_tie: true

多维度比较

单一的"更好"会掩盖取舍：模型 A 更准确，但模型 B 更清晰。可以同时从多个维度进行比较：

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: comparison
    description: "Compare the two responses on each dimension."
    mode: multi_dimension
    dimensions: [accuracy, helpfulness, safety]
    require_justification: true

要求填写理由能让数据可供审查，并暴露出标注者奖励了错误对象的情形。

控制偏差

正面对决数据的质量取决于它的偏差控制：

  • 位置偏差：随机决定哪个模型显示为"A"；否则标注者会偏向某一侧。
  • 长度/风格偏差：标注者往往偏好更长或语气更自信的文本，而不论其质量如何。要在指南中点明这一点。
  • 冗长 ≠ 质量：不妨记录文本长度，以便检查它是否在左右胜负。
  • 一致性：收集重叠标注并跟踪标注者间一致性。

两两对比 vs. 评分量表

当你需要排名并希望获得高一致性时，使用两两对比。当你需要对每个模型给出绝对的、按维度划分的画像时，使用评分量表。许多评估会同时采用两者。

延伸阅读