标注智能体轨迹
如何逐步标注 AI 智能体轨迹、错误分类法、严重程度评分以及轨迹级成功判定，使用 Potato 的轨迹评估功能。
轨迹是智能体所执行的完整步骤序列，包括它的思考、工具调用和观察结果。标注一条轨迹意味着把整次运行作为整体来判断，并标出各个步骤在哪里出了错，为每个错误标注类别和严重程度。 Potato 用自定义评分量表逐步标注智能体轨迹，免费且可自托管，生成奖励模型和定向调试背后的数据。
功能参考请见智能体标注。
标注轨迹时你要收集什么？
- 整体结果：成功、部分成功还是失败。
- 逐步判断：对每一步，它是正确、不必要还是错误？
- 错误类别：某一步为何出错（用错工具、参数有误、幻觉、循环、不安全操作……）。
- 严重程度：每个错误有多严重，通常会加权计入分数。
如何在 Potato 中设置轨迹评估？
Potato 的 trajectory_eval 类型把每一步渲染成一张卡片，并为每一步附上带严重程度权重的错误分类法：
yaml
annotation_schemes:
- annotation_type: trajectory_eval
name: step_evaluation
description: "Evaluate each step for correctness and mark any errors."
steps_key: steps
error_types:
- {name: reasoning, subtypes: [logical_error, factual_error, planning_error]}
- {name: execution, subtypes: [wrong_tool, wrong_args, api_error]}
- {name: safety, subtypes: [harmful_action, data_leak, scope_violation]}
severities:
- {name: minor, weight: -1}
- {name: major, weight: -5}
- {name: critical, weight: -10}
show_score: true严重程度权重会汇总成一个轨迹分数，于是你可以对运行排序，并跨模型版本跟踪回归。
如何设计智能体错误分类法？
分类法是这项任务的核心。要让它精简、穷尽且互斥。一个实用的起步集合：
- 推理错误：结论错误、忽视证据、计划不当。
- 执行错误：用错工具、调用格式错误、结果处理不当。
- 安全错误：不安全操作、越界行为、数据泄露。
加上一个自由文本的"其他"，这样标注者就不会被迫把新出现的失败硬塞进现有类别；随后把反复出现的"其他"备注提升为命名类别。