Skip to content

potato-skill：使用编程智能体快速入门

向 Claude Code 描述需要人工标注的数据，potato-skill 会设计标注研究，并把它构建成带有独立界面的 Potato 标注任务并运行起来。

开始一个 Potato 项目有两种方式。您可以按照快速入门自己编写任务，也可以把研究描述给编程智能体，让 potato-skill 来设计和构建。 本页介绍第二种方式。两种方式的结果相同：一个可以运行、修改和分享的 Potato 标注任务。

技能负责的设计决策

potato-skill 是一个智能体技能（agent skill），即一组说明文档和辅助脚本，编程智能体在请求需要时加载。它既负责研究的设计，也负责构建，从标签集一直到导出的数据：

  • 向标注员提什么问题，使用什么量表
  • 每个条目需要几名标注员
  • 如何培训标注员并检查他们的工作
  • 标注员看到的界面
  • 启动任务，并像标注员一样把任务走一遍
  • 以下一步所需的格式导出结果

它也能处理已经在运行的研究。它会报告进度和一致性，并说明标注员开始工作后哪些修改可以安全进行。

它构建的任务运行在 Potato 上，因此自带 Potato 已有的功能：每位标注员单独登录、每个条目由多名标注员标注、一致性统计、Prolific 和 MTurk 集成，以及导出为下游工具可读的格式。

前提条件

Potato 必须安装在智能体执行命令的环境中，因为技能的辅助脚本会导入 Potato 并调用 potato 命令：

bash
pip install potato-annotation

您还需要一个编程智能体。该技能是为 Claude Code 编写的，下一节介绍其他智能体。

安装技能

在 Claude Code 中：

text
/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

对于 Codex、Cursor 和其他智能体，可以用 skills CLI 把它安装到您的项目中：

bash
npx skills add davidjurgens/potato-skill --agent codex cursor

使用 --agent codex cursor 时，它会把技能复制到 .agents/skills/potato-skill/。Codex 和 Cursor 也可以读取 potato-skill 仓库根目录下的 AGENTS.md 文件。

描述研究

说明需要标注什么、由谁来标注，以及标注结果用于何处。您不需要了解 Potato 的标注类型或配置格式。请求可以短到这样：

我想让三名标注员分别对 200 条推文按 5 分制标注情感倾向，并加上一个知情同意页面和两道注意力检查题。构建好并启动它。

技能会确定问题措辞、量表、条目分配方式以及对标注员的检查方式。随后智能体构建任务、启动任务，并像标注员一样把任务走一遍，再交给您。请在浏览器中打开它，先自己标注几条，再邀请其他人。

生成的任务

一个 Potato 任务：一个项目文件夹，包含任务的配置、数据和说明。快速入门中的所有内容都适用于它。用 potato start config.yaml 启动，可以手动编辑、添加标注员并导出标注结果。

因为结果是一个 Potato 任务文件夹，其他人也可以使用。同事可以在新数据上运行同一个研究，您可以明年再运行一次，也可以随论文一起发布。展示区收录的就是以这种方式分享、取自已发表论文的任务。

已有的设计和标注

  • 已发表的设计。 技能可以从 440 个取自已发表论文的标注设计之一开始，沿用其标签集、问题措辞和说明。您可以在展示区浏览它们。
  • 其他工具的标注。 它可以导入 Label Studio、CVAT 或 COCO 中已有的标注，让做到一半的项目在 Potato 中继续。
  • 正在运行的研究。 它会报告每位标注员的进度和每个问题的一致性，并说明哪些修复在研究进行中可以安全进行，哪些会破坏已收集的数据。

基于 Potato 注册表的测试

技能的 CI 会检查其说明中提到的每个标注类型、配置键和示例配置都确实存在于 Potato 中。示例 YAML 会通过 Potato 的验证器，完整示例会启动一个真实的 Potato 服务器。它有三份参考资料由 Potato 自身的注册表生成，因此智能体读到的类型和键，就是服务器实际执行的那些。

它的参考资料发布在 davidjurgens.github.io/potato-skill，无需安装即可阅读。Anthropic 建议在安装任何技能之前先审阅它。

两种方式对比

自己编写任务描述给编程智能体
起点YAML 配置一段自然语言描述
适合学习 Potato、小型任务新研究、带培训和检查的众包研究、您没用过的标注类型
结果一个 Potato 任务一个 Potato 任务

您可以随时切换方式。智能体可以修改您编写的任务，您也可以编辑智能体构建的任务。

后续步骤