potato-skill：コーディングエージェントでクイックスタート

Potato のプロジェクトを始める方法は二つあります。クイックスタートに従って自分でタスクを書くか、研究の内容をコーディングエージェントに説明して potato-skill に設計と構築を任せるかです。 このページでは二つ目の方法を説明します。どちらの方法でも、実行・変更・共有ができる Potato のアノテーションタスクが出来上がります。

スキルが行う設計上の判断

potato-skill はエージェントスキルです。指示書とヘルパースクリプトをまとめたパッケージで、リクエストに必要なときにコーディングエージェントが読み込みます。ラベルセットからエクスポートされたデータまで、研究の設計と構築の両方を扱います。

• アノテーターに何を尋ね、どの尺度を使うか
• 各アイテムに何人のアノテーターが必要か
• アノテーターをどう訓練し、作業をどう確認するか
• アノテーターが目にするインターフェース
• タスクを起動し、アノテーターと同じ手順で一通り操作すること
• 次の工程に必要な形式で結果をエクスポートすること

すでに実行中の研究にも対応します。進捗と一致度を報告し、アノテーターが作業を始めた後でも安全に行える変更がどれかを示します。

構築されたタスクは Potato 上で動くため、Potato がすでに備えている機能をそのまま使えます。アノテーターごとのログイン、アイテムあたり複数のアノテーター、一致度の統計、Prolific と MTurk との連携、そして後続のツールが読める形式へのエクスポートです。

必要なもの

スキルのヘルパースクリプトは Potato をインポートして potato コマンドを呼び出すため、エージェントがコマンドを実行する環境に Potato をインストールしておく必要があります。

pip install potato-annotation

コーディングエージェントも必要です。このスキルは Claude Code 向けに書かれています。他のエージェントについては次のセクションで説明します。

スキルのインストール

Claude Code の場合:

/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

Codex、Cursor などのエージェントでは、skills CLI でプロジェクトにインストールします。

npx skills add davidjurgens/potato-skill --agent codex cursor

--agent codex cursor を指定すると、スキルは .agents/skills/potato-skill/ にコピーされます。Codex と Cursor は、potato-skill リポジトリのルートにある AGENTS.md ファイルも読むことができます。

研究を説明する

何にラベルを付けるのか、誰がラベルを付けるのか、ラベルを何に使うのかを伝えてください。Potato のアノテーションタイプや設定形式を知っている必要はありません。リクエストはこの程度の短さでも構いません。

ツイート 200 件に、5 段階の感情ラベルを 3 人のアノテーターがそれぞれ付けるようにしたい。同意ページと注意確認の設問を 2 つ入れて。構築して起動して。

スキルは質問の文言、尺度、アイテムの割り当て方、アノテーターの確認方法を決めます。その後エージェントがタスクを構築して起動し、アノテーターと同じ手順で一通り操作してから引き渡します。誰かを招待する前に、ブラウザで開いて自分でいくつかラベルを付けてください。

出来上がるタスク

Potato のタスク、つまりタスクの設定、データ、説明文をまとめたプロジェクトフォルダーです。クイックスタートの内容はすべてこれに当てはまります。potato start config.yaml で起動し、手で編集し、アノテーターを追加し、ラベルをエクスポートできます。

結果は Potato のタスクフォルダーなので、他の人も使えます。同僚が新しいデータで同じ研究を実行することも、来年もう一度実行することも、それを使った論文と一緒に公開することもできます。ショーケースは、このように共有されたタスクを公開論文から集めたものです。

既存のデザインとアノテーション

• 公開されたデザイン。 スキルは、公開論文から取られた 440 のアノテーションデザインのいずれかから始められ、そのラベルセット、質問の文言、説明文も引き継ぎます。ショーケースで閲覧できます。
• 他のツールのアノテーション。 Label Studio、CVAT、COCO の既存のアノテーションをインポートできるので、途中まで進んだプロジェクトを Potato で続けられます。
• 実行中の研究。 アノテーターごとの進捗と設問ごとの一致度を報告し、研究の途中でも安全な修正と、収集済みのデータを壊してしまう修正とを区別して示します。

Potato のレジストリに基づくテスト

スキルの CI は、指示の中で名前が挙がるすべてのアノテーションタイプ、設定キー、サンプル設定が Potato に実在することを確認しています。サンプルの YAML は Potato のバリデーターに通され、実例（worked example）では実際の Potato サーバーが起動されます。リファレンスのうち三つは Potato 自身のレジストリから生成されているため、エージェントが読むタイプとキーは、サーバーが実際に適用しているものと一致します。

リファレンス資料は davidjurgens.github.io/potato-skill で公開されており、インストールせずに読めます。Anthropic は、スキルをインストールする前に内容を確認することを推奨しています。

二つの方法の比較

途中でいつでも方法を切り替えられます。自分で書いたタスクをエージェントに変更させることも、エージェントが構築したタスクを自分で編集することもできます。

次のステップ

• クイックスタート（タスクを手で書く場合）
• 設定の基本
• Prolific と MTurk でのクラウドソーシング
• アノテーター間一致度の測り方
• コーディングエージェントが確認できる設定
• GitHub の potato-skill