Skip to content

成对比较与最佳-最差量表

何时用比较判断代替评分，成对比较与最佳-最差量表（MaxDiff），以及如何在 Potato 中设置它们。

人不擅长给出稳定的绝对分数，却擅长比较。比较式标注正是利用了这一点：与其问"给这条打 1–5 分"，不如问"A 和 B 哪个更好？"。 两种主要形式是成对比较和最佳-最差量表。它们是现代 AI 偏好数据的支柱。

背景知识参见 Pairwise comparison 和 MaxDiff。

成对比较

展示两个条目，问哪个胜出。它简单、一致性高，也是为基于人类反馈的强化学习收集人类偏好数据所用的格式。

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better answers the question?"
    mode: binary
    allow_tie: true
    sequential_key_binding: true

允许平局可以避免标注者在本无差别处硬造出差异。若想捕捉好多少，可把 mode 切换为量表（例如"A 明显更好 … B 明显更好"）。成对偏好展示是一个可用的示例。

许多成对判断可以用某种模型汇总成单一排名，例如 Elo 评分系统或 Bradley–Terry 模型。

最佳-最差量表（MaxDiff）

展示一小组条目（通常四个），让标注者选出最佳和最差。每次判断都比单次成对投票包含更多信息，因为它一次性固定了这组的两端。

yaml
annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    description: "Pick the most and least fluent translation."
    tuple_size: 4
    best_label: "Most fluent"
    worst_label: "Least fluent"

最佳-最差量表能从简单的选择中产生可靠的、近似等距的分数，被广泛用于汇集众多标注者来构建经过校准的排名。

何时应优先选择比较而非评分

  • 你的构念难以绝对锚定（幽默、有用性、审美质量）。
  • 你需要高一致性，而你的 Likert 量表噪声很大。
  • 你正在构建用于训练或对齐模型的偏好数据。

代价在于你得到的是相对信息；要还原绝对分数，可能需要借助某种模型（Elo、Bradley–Terry）。

延伸阅读