Skip to content

基于评分量表的 LLM 评估

如何使用 Potato 的 rubric 评估类型，依据多项加权标准（MT-Bench 风格）评估 LLM 的输出。

评分量表把笼统的判断（"这是个好答案吗？"）拆解成具体、可打分的标准——有用性、准确性、完整性、语气、安全性——每一项都按某个量表评分。它让 LLM 评估变得可复现，并揭示一个答案为什么优于另一个。 这正是 MT-Bench 这类基准背后的结构。

评分量表（rubric）把主观的质量转化为一张由明确标准和量表刻度构成的网格，从而提高一致性，并使结果更易解读。

何时使用评分量表

  • 输出足够丰富，以致单一分数会丢失信息。
  • 你需要知道哪一个维度薄弱（准确性还是语气），而不只是一个总体结论。
  • 你希望各方在评分前就标准达成一致。

如果你只需要判断"哪个更好"，那么成对比较的成本更低。当你需要一份绝对的、多维度的画像时，评分量表才更合适。

在 Potato 中进行设置

yaml
annotation_schemes:
  - annotation_type: rubric_eval
    name: answer_quality
    description: "Rate the answer on each criterion."
    scale_points: 5
    criteria:
      - {name: Helpfulness, description: "Does it address the user's actual need?"}
      - {name: Accuracy,    description: "Is it factually correct?"}
      - {name: Completeness, description: "Does it cover the important points?"}
      - {name: Tone,        description: "Is the style appropriate?"}

Potato 会把它渲染成一张网格：标准沿一侧排列，量表刻度横向排列。标注者为每个单元格打分。

撰写优质的标准

  • 让标准彼此独立。 相互重叠的标准（"有帮助"和"有用"）会被一起打分，徒增噪声。
  • 为量表设置锚点。 为每一项标准描述 1 分和 5 分各是什么样子，而不只是整体上的两端。
  • 保持简短。 四到六项标准通常是最佳范围；冗长的量表会让标注者疲劳，并降低一致性。

评分量表与 LLM 充当裁判

你交给人工的同一份评分量表，也可以用来提示一个"LLM 裁判"做廉价的预打分，再让人工核验——与 LLM 预标注中的做法完全一致。保留一份人工打分的样本来检验裁判，并留意裁判自身的偏差（长度、格式、自我偏好）。

延伸阅读