跳转到内容

用 Potato 标注一切: 文本、媒体与智能体

Potato 是一款免费的开源工具,可标注文本、音频、图像、视频、访谈和 AI 智能体轨迹。每项研究用一个 YAML 文件配置,在你自己的电脑或服务器上运行,研究进行期间就能看到标注者之间的一致性。

Potato 的片段标注界面,一段新闻里的人物、机构、地点和日期都已高亮。
用示例数据运行的 Potato 2.14.0。试用在线演示 (在新标签页中打开)

四步快速上手

从安装到标注,只需几分钟。

1.
pip install potato-annotation
# 安装 Potato
2.
# Create your config.yaml
# 配置您的任务
3.
potato start config.yaml
# 启动服务器
4.
# Open localhost:8000
# 开始标注

Potato 里有什么

为研究者和标注团队而做。

智能体评估
在可点击的交互图上标注多智能体团队,评估 computer-use、语音和视频智能体,对照人工标签校准 LLM 评判者,把轨迹编辑为 SFT 与 DPO 训练数据,并在竞技场中为模型排名,全部通过 YAML 配置。
80 种标注类型
单选、多选、李克特量表、滑块、文本、跨度、最佳-最差量表、成对比较、数值、多项评分、视频、图像、音频、边界框、多边形、事件与分类标注,外加定性编码(QDA 模式):动态码本、in-vivo 码、备忘与案例。
AI 驱动
集成 OpenAI、Claude、Gemini 等大语言模型,提供提示、关键词高亮、标签建议、MACE 能力评估、选项高亮和多样性排序。
多媒体支持
支持带波形图的音频标注、带边界框和多边形的图像标注,以及带播放控件的视频标注。
主动学习
五种查询策略(不确定性采样、基于多样性的选择、BADGE、BALD、混合集成),外加在还没有任何标签时挑选首批样本的 LLM 冷启动。
零代码配置
所有配置都写在 YAML 里,搭一个标注界面不用编程。

浏览标注设计

500 多个可下载即运行的配置。

准备好开始标注了吗?

Potato 免费开源。用 pip 安装,第一个任务就能在本地跑起来。