博客

一致性抓不出走过场式的盖章

当标注者不读就接受模型预标注时，标注者间一致性反而会上升。所有从标注本身算出的质量指标都会变好。时间是唯一剩下的信号。

2026年9月9日

订阅更新

获取新教程、版本发布和社区动态的通知。

「部分成功」是一种真实结果：标注机器人回合

机器人演示大多是部分成功，而二元结果会把这一点丢掉。一个以时间轴为形态的标注界面必须做对哪些事，从保留极值的降采样到事后重新标注。

2026年9月2日阅读约需 5 分钟

把能在浏览器标签页里跑的分割做出来

点击即分割与开放词表文本提示都在客户端运行，无需 GPU。为此付出了什么：一份经过验证的编码器契约、一个由实测选出的量化方案，以及一个手写的分词器。

2026年8月27日阅读约需 4 分钟

原始 IoU 不等于一致性

在一份典型的检测语料上，标注者之间的平均 IoU 大约读作 0.95，即便标注者从未看过图片也是如此。一个经机遇校正的替代方案是什么样的，以及为什么在 IoU 距离上套用 Krippendorff's alpha 行不通。

2026年8月21日

公告阅读约需 9 分钟

Potato 2.8：标注一切，然后测量它

Potato 2.8 新增了计算机视觉、十亿像素深度缩放、三维点云、深度图、机器人回合、生成式视频评估与 VLM 定位——并对上述全部内容报告经机遇校正的一致性。

2026年8月18日

公告阅读约需 10 分钟

读懂写作过程：面向自由文本标注的击键记录

Potato 现在可以记录标注者如何写出自由文本答案，而不记录他们键入的内容，并把停顿、修改和粘贴变成可审计的标记，指出哪些回答是粘贴来的而不是写出来的。

2026年8月6日

教程阅读约需 7 分钟

标注 ASR 转写稿：一个完整实例

从一个 Whisper 输出目录一路走到带标签的说话人话轮：怎么选标注单元、怎么处理说话人分离、怎么写配置、怎么把任务跑起来，以及怎么在导出时保住时间对齐。

2026年7月31日

评审谁来评：把人和模型的推理并排放

LLM 评审的可信度，取决于你用来验证它的那批人工标签。把人的思维过程和模型的思维过程放在同一条数据上并排比较，并用带置信区间的标签来检验你的评审。

2026年7月27日阅读约需 6 分钟

公告

Potato 2.7.1：转写稿本来就有了

Potato 2.7.1 直接读取 21 种转写和字幕格式，可以从媒体文件旁边的并列文件里加载它们，还附带一个转换器，把一整个 ASR 输出目录变成可以直接标注的数据文件。

2026年7月26日阅读约需 5 分钟

指南阅读约需 6 分钟

把校准会议装上仪表

标注团队本来就在开规范化会议，也一直想知道标注者是怎么想的。多人协作房间用实时一致性指标度量校准会议；Think-Aloud 模式在本地记录出声推理，全程不需要 LLM。

2026年7月23日

不用黄金标签的质量控制

黄金标准造起来贵、会泄露，而且只能测到你当初想得到要埋的那些条目。另有两条路，同伴预测打分和反事实边界探针，一个埋点都不用，就能揪出不认真的标注者和有问题的指南。

2026年7月19日

带误差棒的标签：把项目反应理论用到标注上

多数投票把标注者告诉你的东西丢掉了大半。项目反应理论给每个标签一个后验概率和一段置信区间，估计标注者能力和条目难度，还能找出坏掉的标注手册条目，既不需要黄金标签，也不需要 LLM。

2026年7月16日

公告阅读约需 6 分钟

Potato 2.7：测量标签是怎么产生的

Potato 2.7 带来带误差范围的标签、实时规范化协作房间、反事实边界探针、同伴预测评分、本地语音理由记录、一条命令生成数据集报告，以及移动端标注，这些都不需要 LLM。此外还有多智能体与多模态智能体评测。

2026年7月13日

面向标注研究的经过验证的调查量表：人格、情绪、身心健康与人口统计

当谁来标注很重要时，一份经过验证的问卷胜过一道你自己凭空写出的题目。这是对 Potato 内置的 55 份调查量表的一次巡礼，以及每一份何时值得进入你的研究。

2026年7月4日阅读约需 6 分钟

记录你的标注数据集：数据声明、数据表，以及无文档数据为何会迅速失效

一份没有文档的标注数据集既难以信任，也容易被误用。这是一份关于数据声明、数据表和发布检查清单的指南，并介绍 Potato 如何替你记录下其中大部分内容。

2026年6月30日阅读约需 6 分钟

公告阅读约需 3 分钟

Potato 2.0 亮相 ACL 2026

我们关于 Potato 2.0 的论文收录于 ACL 2026 系统演示分册。本文介绍论文内容以及如何在你的工作中引用 Potato。

2026年6月28日

指南阅读约需 4 分钟

评估语音与视频智能体

在 Potato 中对口语、视频和文档智能体做人工评估的一次演练：在双轨时间线上给轮流发言打分、用实时 IoU 为视频事件定位、标记语音错误，以及标出表格结构。

2026年6月24日

指南阅读约需 4 分钟

逐步评估计算机操作智能体

在 Potato 中对计算机操作与 GUI 智能体做人工评估的一次演练：评判每一个动作、在截图上检查点击落点，以及逐个审查工具调用。

2026年6月23日

调试多智能体失败：一次实战演练

如何用 Potato 找出一个多智能体 LLM 系统失败的原因：交互图、失败归因、交接审查、每个智能体的记分卡、工具争用时间线和涌现行为标记。

2026年6月22日

公告

Potato 2.6：定性数据分析遇上智能体评估

Potato 2.6 发布：用于定性编码的 QDA 模式、LLM-as-judge 校准与对齐工作流、可生成 SFT 与 DPO 训练数据的轨迹编辑、启动速度提升 3 倍，以及重新授权为 GPL-3.0-or-later。

2026年6月21日阅读约需 6 分钟

公告

Potato 2.6.2：一套完整的开源智能体评估工具

2.6.x 系列把 Potato 打造成一个完整、免费的智能体评估平台：支持从 OpenTelemetry、LangGraph、CrewAI 和 AutoGen 摄取轨迹，支持带可点击交互图的多智能体团队标注，支持面向 GUI、语音和视频的多模态智能体方案，外加模型竞技场、CI 门禁和数据筛选。

2026年6月20日阅读约需 5 分钟

分歧是信号，不是噪声：何时该保留标注员的分歧，而不是把它消解掉

标注流程往往被设计成抹去分歧，但在主观任务上，分歧本身就是数据。一份关于如何区分真实标签差异与错误、并在 Potato 里把它保留下来的指南。

2026年6月18日

大规模数据集上的自适应标注覆盖

Potato 2.6 允许你给大多数数据分配一位标注者、给一个分层样本分配三位，在标注者出现分歧的数据上提高覆盖度，并把争议数据路由给裁定者。

2026年6月16日

指南阅读约需 6 分钟

闭环：将智能体错误和评判分歧重新交给人工

在智能体评估中，人工审查时间是最稀缺的资源。Potato 2.6 将基于信号的分流队列与评判者—人工对齐结合起来，让最糟糕的轨迹优先送达人工，并让你的 LLM 评判者持续变得更好。

2026年6月11日

指南阅读约需 8 分钟

负责任地收集标注者人口统计信息：该问什么，以及怎么问

在主观任务上，标注者的身份会影响标签，因此人口统计信息值得收集，但前提是取得同意并说明理由。该问什么、该放过什么，以及如何在 Potato 中跑通这套流程。

2026年6月11日

从评估到训练数据：用于 SFT 和 DPO 的轨迹编辑

大多数智能体评估止步于一个分数。Potato 2.6 的 trajectory_edit 模式让标注者重写错误的步骤，而不是给它打分，并将每次修正导出为监督微调目标和 DPO 偏好对。

2026年6月6日阅读约需 6 分钟

如何为智能体轨迹拿到可靠的标签

标注智能体的多步轨迹比标一条推文难。一份关于设计分类体系、测量逐步一致性、化解分歧的指南，附一份 Potato 配置。

2026年6月3日阅读约需 6 分钟

你能信任你的 LLM 评审吗？把 LLM-as-Judge 与人类校准对齐

用 LLM 给模型输出打分很容易，难的是判断它是否可信。本文带你走一遍 Potato 2.6 的盲测人类校准流程：k 次采样投票、Cohen 与 Fleiss kappa，以及期望校准误差。

2026年6月1日

将质性编码引入 Potato：码本、备忘录与原生码

了解 QDA 模式——即将随 Potato 2.6 推出的质性数据分析工作区：动态码本、原生编码、分析备忘录、案例，以及面向整个语料库的全文检索。

2026年5月26日

LLM 标注员对比人工：什么时候该把标注任务交给机器，什么时候不该

一份实用指南，帮你判断何时可以让 LLM 标注你的数据、模型标注员会在哪里失手，以及如何在 Potato 里把自动化与人工核验结合起来。

2026年5月25日

指南阅读约需 3 分钟

2026 年如何选择开源标注工具

坦诚地探讨如何挑选开源数据标注工具、哪些问题才真正能缩小选择范围，以及在 Label Studio、Prodigy、Doccano、brat 和 Argilla 之中 Potato 处于什么位置。

2026年5月20日

给 AI 标注员的码本：把编码方案变成可靠的 LLM 标注器

如何编写一份 LLM 真正能执行的标注码本，用人工编码来验证它的标签，并让人始终参与其中，附一份可运行的 Potato 配置。

2026年5月15日阅读约需 7 分钟

用片段标注发现幻觉

通过高亮出确切的词语并标注错在哪里，以 MQM 风格在 Potato 中用片段标注捕捉模型幻觉和事实错误。

2026年5月6日阅读约需 2 分钟

指南阅读约需 2 分钟

你究竟需要多少名标注者？

为标注项目确定标注者数量和重叠度：客观与主观任务的经验法则、覆盖与重叠之间的权衡，以及如何在 Potato 中进行设置。

2026年4月22日

指南阅读约需 3 分钟

如何用人工标注评估 RAG 系统

评估检索增强生成的实用指南：分别衡量检索相关性和回答忠实度，并在 Potato 中用片段标注标出缺乏依据的论断。

2026年4月8日

公告阅读约需 9 分钟

编码智能体标注：评测 Claude Code、Aider 与 SWE-Agent 轨迹

Potato 把编码智能体轨迹渲染成差异视图和终端块，提供过程奖励与代码审查两种标注方案，以及 Claude Code、Aider、SWE-Agent 的轨迹转换器。

2026年3月27日

如何为训练更好的编程智能体收集过程奖励数据

在 Potato 中收集用于 PRM 训练的逐步骤奖励标注：首个错误模式与逐步骤模式，以及把导出结果整理成训练格式的脚本。

2026年3月26日

教程

观察、暂停、回退：在 Potato 中实时观察编码智能体

用 Ollama、Anthropic API 或 Claude Agent SDK 搭建实时编码智能体观察的教程，涵盖暂停、回滚、分支与轨迹导出。

2026年3月25日阅读约需 10 分钟

并排比较 AI 智能体：二元、量表与多维度模式

在 Potato 中配置成对智能体比较的三种模式：二元偏好、偏好量表，以及需要填写理由的逐维度判断。

2026年3月24日阅读约需 10 分钟

指南阅读约需 12 分钟

逐步错误定位：用轨迹评估找出智能体在哪一步出错

用 Potato 的 trajectory_eval 方案做逐步错误定位：分层错误分类体系、严重程度权重，以及贯穿整条智能体 trace 的连续质量评分。

2026年3月23日

教程阅读约需 11 分钟

面向 AI 编码智能体的 GitHub PR 风格代码评审

在 Potato 中搭建 GitHub PR 风格的代码评审标注：diff 内联评论、文件级质量评分，以及对编码智能体产出的通过或打回结论。

Potato 2.1.0 带来了实例显示系统、支持图像和视频标注的视觉 AI、跨度链接、多字段跨度以及布局自定义功能。

2026年2月14日阅读约需 6 分钟

用视觉 AI 加速图像和视频标注

在 Potato 中配置 YOLO、Ollama、OpenAI 和 Claude 视觉端点，让模型提出边界框和标签，由标注者接受或拒绝。

2026年2月14日阅读约需 11 分钟

指南阅读约需 8 分钟

从 Label Studio 迁移到 Potato

如何从 Label Studio 迁移到 Potato：转换项目配置、标注 schema 和导出的数据，本指南分步讲解，并覆盖常见的标注类型。

2026年1月20日

在 Prolific 上运行标注研究

在 Prolific 上运行 Potato 标注研究：URL 直接登录、完成码、注意力检查，以及在 API 一侧监控提交。

2026年1月20日

指南阅读约需 9 分钟

法律文档标注最佳实践

在 Potato 中标注合同、法庭文件和监管文本：章节级条目、条款与实体方案、关键词高亮，以及面向专家标注者的质量控制。

2026年1月18日

使用 Potato 进行医学图像标注

使用 Potato 标准图像标注功能进行医学图像标注的最佳实践。

2026年1月18日

教程

用于分割任务的多边形标注

在 Potato 中搭建一个多边形分割任务：配置怎么写、标注者绘制时按哪些键、导出坐标是什么格式，以及什么时候画笔蒙版才是更合适的工具。

2026年1月18日阅读约需 6 分钟

主动学习：更聪明地标注，而非更辛苦地标注

Potato 如何按分类器的不确定性重排标注队列，以及采样设置、冷启动和保留多少随机样本的配置。

2026年1月15日阅读约需 3 分钟

教程阅读约需 7 分钟

为目标检测绘制边界框

在 Potato 中构建目标检测任务：从三个标签的入门配置，到驾驶影像的生产配置，再导出为 COCO 或 YOLO。

2026年1月15日

指南阅读约需 6 分钟

将标注导出到 Hugging Face Datasets

用一条导出命令把 Potato 标注推送到 Hugging Face Hub，再把导出的各个 split 整理成分类、NER、音频和图像训练所需的形状。

配置 Potato 进行毒性检测、仇恨言论分类和敏感内容标注，同时兼顾标注者的身心健康。

2026年1月12日