Skip to content

博客

来自 Potato 团队的新闻、教程和更新。

GuidesSep 9, 2026

一致性抓不出走过场式的盖章

当标注者不读就接受模型预标注时，标注者间一致性反而会上升。所有从标注本身算出的质量指标都会变好。时间是唯一剩下的信号。

Potato Team1 min read
一致性抓不出走过场式的盖章
Guides1 min read

「部分成功」是一种真实结果：标注机器人回合

Guides1 min read

把能在浏览器标签页里跑的分割做出来

Guides1 min read

原始 IoU 不等于一致性

Announcements2 min read

Potato 2.8：标注一切，然后测量它

Announcements

读懂写作过程：面向自由文本标注的击键记录

Potato 现在可以记录标注者如何写出自由文本答案，而不记录他们键入的内容，并把停顿、修改和粘贴变成可审计的标记，指出哪些回答是粘贴来的而不是写出来的。

Aug 6, 20262 min read
Tutorials

标注 ASR 转写稿：一个完整实例

从一个 Whisper 输出目录一路走到带标签的说话人话轮：怎么选标注单元、怎么处理说话人分离、怎么写配置、怎么把任务跑起来，以及怎么在导出时保住时间对齐。

Jul 31, 20262 min read
Guides1 min read

评审谁来评：把人和模型的推理并排放

Announcements2 min read

Potato 2.7.1：转写稿本来就有了

Guides1 min read

把校准会议装上仪表

Guides2 min read

不用黄金标签的质量控制

Stay updated

Get notified about new tutorials, releases, and community highlights.

Guides

带误差棒的标签：把项目反应理论用到标注上

多数投票把标注者告诉你的东西丢掉了大半。项目反应理论给每个标签一个后验概率和一段置信区间，估计标注者能力和条目难度，还能找出坏掉的标注手册条目，既不需要黄金标签，也不需要 LLM。

Jul 16, 20262 min read
Announcements

Potato 2.7：测量标签是怎么产生的

Potato 2.7 带来带误差范围的标签、实时规范化协作房间、反事实边界探针、同伴预测评分、本地语音理由记录、一条命令生成数据集报告，以及移动端标注，这些都不需要 LLM。此外还有多智能体与多模态智能体评测。

Jul 13, 20261 min read
Guides1 min read

面向标注研究的经过验证的调查量表：人格、情绪、身心健康与人口统计

Guides1 min read

记录你的标注数据集：数据声明、数据表，以及无文档数据为何会迅速失效

Announcements2 min read

Potato 2.0 亮相 ACL 2026

Guides1 min read

评估语音与视频智能体

Guides

逐步评估计算机操作智能体

在 Potato 中对计算机操作与 GUI 智能体做人工评估的一次演练：评判每一个动作、在截图上检查点击落点，以及逐个审查工具调用。

Jun 23, 20261 min read
Guides

调试多智能体失败：一次实战演练

如何用 Potato 找出一个多智能体 LLM 系统失败的原因：交互图、失败归因、交接审查、每个智能体的记分卡、工具争用时间线和涌现行为标记。

Jun 22, 20262 min read
Announcements2 min read

Potato 2.6：定性数据分析遇上智能体评估

Announcements1 min read

Potato 2.6.2：一套完整的开源智能体评估工具

Guides1 min read

分歧是信号，不是噪声：何时该保留标注员的分歧，而不是把它消解掉

Guides1 min read

大规模数据集上的自适应标注覆盖

Guides

闭环：将智能体错误和评判分歧重新交给人工

在智能体评估中，人工审查时间是最稀缺的资源。Potato 2.6 将基于信号的分流队列与评判者—人工对齐结合起来，让最糟糕的轨迹优先送达人工，并让你的 LLM 评判者持续变得更好。

Jun 11, 20262 min read
Guides

负责任地收集标注者人口统计信息：该问什么，以及怎么问

在主观任务上，标注者的身份会影响标签，因此人口统计信息值得收集，但前提是取得同意并说明理由。该问什么、该放过什么，以及如何在 Potato 中跑通这套流程。

Jun 11, 20262 min read
Guides2 min read

从评估到训练数据：用于 SFT 和 DPO 的轨迹编辑

Guides1 min read

如何为智能体轨迹拿到可靠的标签

Guides2 min read

你能信任你的 LLM 评审吗？把 LLM-as-Judge 与人类校准对齐

Guides2 min read

将质性编码引入 Potato：码本、备忘录与原生码

Guides

LLM 标注员对比人工：什么时候该把标注任务交给机器，什么时候不该

一份实用指南，帮你判断何时可以让 LLM 标注你的数据、模型标注员会在哪里失手，以及如何在 Potato 里把自动化与人工核验结合起来。

May 25, 20261 min read
Guides

2026 年如何选择开源标注工具

坦诚地探讨如何挑选开源数据标注工具、哪些问题才真正能缩小选择范围，以及在 Label Studio、Prodigy、Doccano、brat 和 Argilla 之中 Potato 处于什么位置。

May 20, 20261 min read
Guides1 min read

给 AI 标注员的码本：把编码方案变成可靠的 LLM 标注器

Guides1 min read

用片段标注发现幻觉

Guides1 min read

你究竟需要多少名标注者？

Guides1 min read

如何用人工标注评估 RAG 系统

Announcements

编码智能体标注发布：评测 Claude Code、Aider 与 SWE-Agent 轨迹

Potato 现已支持编码智能体标注，具备差异渲染、终端输出展示和过程奖励方案。可导入 Claude Code、Aider 和 SWE-Agent 的轨迹。

Mar 27, 20264 min read
Guides

如何收集过程奖励数据，训练更好的编码智能体

用 Potato 收集逐步奖励信号、训练 PRM 的分步指南，涵盖首错模式、逐步标注，以及导出到训练流水线。

Mar 26, 20266 min read
Tutorials6 min read

观察、暂停、回退：在 Potato 中实时观察编码智能体

Guides8 min read

并排比较 AI 智能体：二元、量表与多维度三种模式

Guides8 min read

逐步错误定位：用轨迹评估找出智能体究竟在哪一步出错

Tutorials6 min read

面向 AI 编码智能体的 GitHub PR 风格代码评审

Guides

智能体评估工具对比：Potato、LangSmith 与 Langfuse

从 trace 渲染、逐步与多智能体标注、多模态智能体评审、编码智能体、实时观察、价格和自托管等方面，对比 Potato 与 LangSmith、Langfuse、Labelbox、Scale AI。

Mar 21, 20267 min read
Tutorials

在 Potato 中对 AI 智能体做 MT-Bench 风格的评分量表评估

用 Potato 的 rubric_eval 搭建多准则评分量表评估：自定义准则、可配置的评分档位和维度权重，用于系统地评估 AI 智能体。

Mar 20, 20269 min read
Release2 min read

Potato 2.4.0：网页智能体标注、实时评估与 HuggingFace 集成

Announcements6 min read

Potato 2.3：智能体标注、Solo 模式与人类评估的未来

Guides7 min read

评估 AI 智能体：智能体 Trace 人类标注完整指南

Tutorials6 min read

Solo Mode：一个标注者如何标注 10,000 个样本

Guides

标注网页浏览智能体：从 WebArena 轨迹到人工评测

如何用 Potato 的网页智能体轨迹展示来评测自主网页浏览智能体，包含逐步截图、SVG 覆盖层和逐步标注方案。

Mar 6, 20266 min read
Announcements

Potato 2.2：事件、实体链接、导出和 55 个调查量表

Potato 2.2.0 新增 9 种标注方案、可插拔的导出系统、MACE 能力评估、55 个经过验证的调查量表以及远程数据源支持。

Feb 20, 20262 min read
Announcements3 min read

Potato 2.1：实例显示、视觉 AI 和跨度链接

Guides6 min read

使用视觉 AI 加速图像和视频标注

Guides6 min read

从 Label Studio 迁移到 Potato

Guides2 min read

在 Prolific 上运行标注研究

Guides

法律文档标注最佳实践

标注合同、法庭文件和监管申报的专业技术，需要领域专业知识。

Jan 18, 20265 min read
Guides

使用 Potato 进行医学图像标注

使用 Potato 标准图像标注功能进行医学图像标注的最佳实践。

Jan 18, 20263 min read
Tutorials3 min read

用于分割任务的多边形标注

Guides2 min read

主动学习：更聪明地标注，而非更辛苦地标注

Tutorials3 min read

为目标检测绘制边界框

Guides4 min read

将标注导出到 Hugging Face Datasets

Tutorials

图像比较与偏好任务

构建并排图像比较界面，用于偏好排名、A/B 测试和质量评估。

Jan 15, 20266 min read
Announcements

Potato 2.0 发布：AI 驱动的标注

我们很高兴地宣布 Potato 2.0 发布，带来了 AI 驱动的功能、多媒体支持和主动学习能力。

Jan 15, 20261 min read
Guides2 min read

自动关键词高亮

Guides4 min read

部署到 Amazon Mechanical Turk

Tutorials4 min read

创建情感分析任务

Guides5 min read

内容审核标注设置

Guides

Potato 中的自定义 HTML 模板

使用 HTML 模板、CSS 样式和 JavaScript 交互创建自定义标注界面。

Jan 12, 20264 min read
Tutorials

发音评估标注

构建一个带有音频播放和 Likert 量表的语言学习标注任务，用于评估发音质量。

Jan 12, 20265 min read
Tutorials3 min read

说话人分离标注

Tutorials3 min read

逐帧视频标注

Tutorials4 min read

音频事件检测与标记

Tutorials1 min read

5 分钟上手 Potato

Guides

衡量标注者间一致性

如何计算和解读 Cohen's Kappa、Fleiss' Kappa 和 Krippendorff's Alpha。

Jan 10, 20264 min read
Guides

众包标注的质量控制

确保标注项目质量的最佳实践，包括可以在 Potato 内外实施的实用策略。

Jan 10, 20264 min read
Tutorials3 min read

使用 Potato 进行图像分类

Guides3 min read

集成 LLM 实现智能标注提示

Tutorials4 min read

音乐流派分类标注

Guides5 min read

在服务器上部署 Potato

Tutorials

多目标跟踪标注

多目标跟踪标注概念概述，以及 Potato 的视频标注功能如何支持基本的跟踪工作流。

Jan 6, 20261 min read
Tutorials

语音情感分类

创建带有波形显示、播放速度控制和李克特量表的音频情感分类任务。

Jan 5, 20265 min read
Tutorials3 min read

构建你的第一个命名实体识别标注任务

Guides3 min read

理解 Potato 数据格式

Tutorials4 min read

设置音频转写审核任务

Announcements1 min read

Potato 亮相 EMNLP 2022