来自 Potato 团队的新闻、教程和更新。
A full walkthrough from a folder of Whisper output to labeled speaker turns: choosing an annotation unit, handling diarization, writing the config, running the task, and exporting with the time alignment intact.
Majority vote throws away most of what your annotators told you. Item response theory gives every label a posterior probability and a confidence interval, estimates annotator ability and item difficulty, and finds broken codebook entries, with no gold labels and no LLM.
Potato 2.7 adds labels with error bars, live norming rooms, counterfactual boundary probes, peer-prediction scoring, local voice rationales, one-command dataset reports, and mobile annotation, none of which need an LLM. Plus multi-agent and multimodal agent evaluation.
Get notified about new tutorials, releases, and community highlights.
在 Potato 中对计算机操作与 GUI 智能体做人工评估的一次演练：评判每一个动作、在截图上检查点击落点，以及逐个审查工具调用。
如何用 Potato 找出一个多智能体 LLM 系统失败的原因：交互图、失败归因、交接审查、每个智能体的记分卡、工具争用时间线和涌现行为标记。
在智能体评估中，人工审查时间是最稀缺的资源。Potato 2.6 将基于信号的分流队列与评判者—人工对齐结合起来，让最糟糕的轨迹优先送达人工，并让你的 LLM 评判者持续变得更好。
标注员的身份会塑造标签，所以人口统计信息值得采集，但前提是有知情同意、审慎和理由。一份关于该问什么、该放过什么、以及如何在 Potato 里落实的指南。
一份实用指南，帮你判断何时可以让 LLM 标注你的数据、模型标注员会在哪里失手，以及如何在 Potato 里把自动化与人工核验结合起来。
坦诚地探讨如何挑选开源数据标注工具、哪些问题才真正能缩小选择范围，以及在 Label Studio、Prodigy、Doccano、brat 和 Argilla 之中 Potato 处于什么位置。
Potato now supports coding agent annotation with diff rendering, terminal output display, and process reward schemas. Import traces from Claude Code, Aider, and SWE-Agent.
Step-by-step guide to collecting per-step reward signals for PRM training using Potato. Covers first-error mode, per-step annotation, and export to training pipelines.
Compare Potato with LangSmith, Langfuse, Labelbox, and Scale AI for agent evaluation: trace rendering, per-step and multi-agent annotation, multimodal-agent review, coding agents, live observation, pricing, and self-hosting.
Set up multi-criteria rubric evaluation with custom criteria, configurable rating scales, and dimension weights for systematic AI agent evaluation using Potato's rubric_eval.
如何使用 Potato 的 web agent trace 显示来评估自主网页浏览智能体，包含逐步截图、SVG 覆盖层和逐步标注方案。
Potato 2.2.0 新增 9 种标注方案、可插拔的导出系统、MACE 能力评估、55 个经过验证的调查量表以及远程数据源支持。
标注合同、法庭文件和监管申报的专业技术，需要领域专业知识。
使用 Potato 标准图像标注功能进行医学图像标注的最佳实践。
构建并排图像比较界面，用于偏好排名、A/B 测试和质量评估。
我们很高兴地宣布 Potato 2.0 发布，带来了 AI 驱动的功能、多媒体支持和主动学习能力。
使用 HTML 模板、CSS 样式和 JavaScript 交互创建自定义标注界面。
构建一个带有音频播放和 Likert 量表的语言学习标注任务，用于评估发音质量。
如何计算和解读 Cohen's Kappa、Fleiss' Kappa 和 Krippendorff's Alpha。
确保标注项目质量的最佳实践，包括可以在 Potato 内外实施的实用策略。