为什么选择 Potato？

自托管，免费: LangSmith、Galileo、Encord 和 Labelbox 把自托管本身放在了企业合同之后。私有化部署是要跟销售谈的附加项，而不是能直接下载的版本。

全部功能，无付费门槛: Label Studio 的免费版根本不含任何一致性指标，每月 99 美元的托管 Starter 套餐同样没有。一致性、基准评测和 LLM 预标注都属于企业版功能，价格需要另行询价。CVAT 免费提供蜜罐题和标准答案任务，但把质量报告留给了付费团队。

语料与智能体轨迹用同一个工具: 这里所有的智能体评测平台都只能处理轨迹。没有一个能给语料标注情感、标出命名实体，或者发放一份问卷。

可标注的多智能体交互图: 有几款工具会画出智能体交互图，但它们都只是只读的调试视图。在 Potato 里，智能体和它们之间的交接本身就是人来标注的对象。

由人标注的失败归因: Galileo 用 LLM 推断交接失败，Labelbox 给轨迹步骤打分。两者都没有收集用来检验这些推断的人工标准答案。

机遇校正一致性（κ、α）: 其他工具把一致性算作重叠百分比、IoU 或多数投票。Prodigy 确实提供 Krippendorff α 和 Gwet AC2，但它没有免费版。Langfuse 计算的 Cohen κ 是一位标注者对一个评审模型，而不是一组标注者之间。

SFT、DPO 与过程奖励导出: 部分支持指只有 SFT 风格的 JSONL，没有偏好对或过程奖励格式。

对几何标注的机会校正一致度: 本表中最强的一项。CVAT 的共识引擎和 V7 的共识阶段都用原始 IoU 与每类阈值比较标注者，Label Studio 企业版的指标清单是精确匹配、数值差异、IoU 和跨度重叠。它们都没有做机会校正——而在以大而居中的物体为主的语料上，无论谁来标注，平均 IoU 都约为 0.95。

对事件发生时刻的一致度: 时间 IoU 与边界一致度，匹配容差以扫描曲线报告，而非单一阈值。0.25 秒下的一致度与 2 秒下的一致度，是关于同一份数据的两种不同论断。

绘制过程遥测（接受延迟、修改次数）: 每个形状的耗时、笔画动态、修改次数，以及 AI 建议的接受延迟。这一点很重要：当标注者对预标注一概照单全收时，一致度反而会上升，因此时间是区分「审阅」与「照单全收」的唯一信号。不记录任何坐标。

三维点云与立方体框: CVAT 同样支持，Segments.ai、Kognic、Supervisely 等三维专业工具走得更远，具备 Potato 所没有的点云序列与轨迹传播。Potato 的补充是标注者之间的精确旋转三维 IoU。

运行时不发出任何外部请求: 全部 14 个模板的样式表、脚本、字体和图标都由本地安装提供，实测 62 个请求、零外部请求。模型只需一次性拷贝。「部分」指可自托管，但渲染页面仍会请求第三方资源。

托管标注团队: 我们没有。你得自带标注员，或者通过 Prolific 招募。如果你下个月就要 50000 条数据标完却没人干，Labelbox、Encord 和 Scale 卖这个，我们不卖。

云托管，无需运维: Potato 只能自托管。对一部分团队来说这正是意义所在，对另一些团队则是实实在在的成本。