Name: Potato
Author: Potato

potato-skill は、データに人がラベルを付けるためのエージェントスキルです。研究の内容を Claude Code に説明すると、タスクを設計し、専用のアノテーションインターフェースを備えた形で Potato 上に構築して起動し、必要な形式でラベルをエクスポートします。無料のオープンソースで、2 つのコマンドでインストールできます。

text

/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

ほかのエージェントを含むセットアップの詳細は、コーディングエージェントでクイックスタートのページにあります。

コーディングエージェントと使い捨てのラベル付けツール

数百件の項目にラベルを付けたいとき、よくあるのは Claude Code、Codex、Cursor に簡単なアノテーションツールを書かせる方法です。項目を 1 件ずつ表示し、各回答を CSV に保存する Streamlit や Flask のページです。1 人が午後の数時間でラベルを付ける分量なら、それで十分です。しかし研究に次のいずれかが必要になると、難しくなります。

誰がどのラベルを付けたかわかるよう、アノテーターごとのログイン
1 項目あたり 3 人のアノテーターと、各項目を適切な人に割り当てる仕組み
指示、トレーニングラウンド、注意力チェック
アノテーター間の一致度
Prolific の完了コード、または MTurk での支払い
次のスクリプトが期待する形式でのエクスポート
翌月にも同じように動く 2 つ目の研究

どれも誰かが書き、テストし、デバッグしなければならない機能で、しかもツールは 1 つの研究のためだけのものです。Potato にはそのすべてがすでにあります。potato-skill を使えば、エージェントは研究の設計に力を注ぎ、タスクは Potato 上に構築します。

できあがったものは他の人も使えます。手書きのラベル付けアプリは、たいてい 1 つのリポジトリの 1 つのデータセットに結びついています。Potato のタスクは設定とデータを収めたフォルダで、Potato があれば誰でも起動できます。ショーケースにはそうしたタスクが 400 以上あり、その多くは公開論文から取られています。

スキルが行う設計上の判断

ラベル付けが必要なものの説明を受け取ると、potato-skill は YAML を書く前に設計を詰めます。アノテーターに何をどの尺度で尋ねるか、各項目に何人のアノテーターが必要か、どう訓練しどうチェックするか。そのうえで Potato にタスクを構築して起動し、アノテーターと同じように一通り操作し、次の工程が必要とする形式で結果をエクスポートします。

すでに進行中の研究も扱えます。進捗と一致度を確認したり、アノテーターが作業を始めた後にタスクを変更したりできます。

データはテキスト、画像、音声、動画、対話、AI エージェントのトレースのいずれでも構いません。アノテーターはクラウドワーカー、学生、領域の専門家のいずれでも構いません。

構築できる 6 つの研究

Prolific のクラウドワーカーによるスタンスのラベル付け

ある研究チームは、ソーシャルメディアの投稿 2,000 件について、ある政策に対するスタンスを Prolific のクラウドワーカーにラベル付けしてもらいたいと考えています。potato-skill はラベルと指示の草案を作り、短いトレーニングラウンドと注意力チェックを加え、各投稿を 3 人にラベル付けさせ、Prolific の完了コードを設定し、ラベルが揃ったら一致度を報告します。クラウドソーシングガイドとアノテーター間一致度の測定を参照してください。

2 つのチャットボット応答の比較

ある ML チームは、同じプロンプトに対する 2 つのチャットボットの応答を人に比較してもらい、より役に立つ方を選んで理由を述べてもらいたいと考えています。スキルは選好尺度と自由記述の理由欄を備えた並列比較を構築し、判断結果を分析用にエクスポートします。ペアワイズモデル比較と RLHF 選好データを参照してください。

エージェントのトレースで失敗したステップをマークする

ある研究室は、専門家に多段階の AI エージェントのトレースを読んでもらい、エージェントが誤ったステップをマークしてもらいたいと考えています。各トレースは 1 ステップずつ表示され、タスクはマークされたステップとアノテーターの説明を記録します。エージェント軌跡のアノテーションを参照してください。

CVAT のバウンディングボックス案件を引き継ぐ

あるコンピュータビジョンのグループには途中まで進んだ CVAT プロジェクトがあり、新しい画像にさらにバウンディングボックスを描きたいと考えています。スキルは既存のボックスをインポートし、同じラベルで描画タスクを用意し、すべてを COCO 形式でエクスポートし直します。バウンディングボックスの一致度の測定を参照してください。

2 人のコーダーとコードブック

ある社会科学者は自由回答式アンケートの回答用のコードブックを持っており、2 人のコーダーに独立して適用させ、意見が分かれたケースを解決したいと考えています。コードブックがそのままコーディングのインターフェースになり、2 人のコーダーの両方にすべての回答が割り当てられ、裁定ステップが不一致を処理します。裁定と不一致を参照してください。

一致度が低く見える研究

1 週間進行している研究で、研究者は一致度が低いのではないかと感じています。スキルはアノテーターごとの進捗と質問ごとの一致度を報告し、アノテーターが作業中でも安全に行える修正と、すでに集めたデータを壊してしまう修正を区別して示します。

Potato のレジストリに対するテスト

potato-skill の CI は、指示の中で名前が挙がるすべてのアノテーション形式、設定キー、サンプル設定が Potato に存在することを確認します。サンプル YAML は Potato 自身のバリデーターにかけられ、実行例では実際の Potato サーバーが起動します。参考資料のうち 3 つは Potato のレジストリから生成されるため、エージェントが読むアノテーション形式やキーはサーバーが実際に適用するものと一致します。

参考資料は davidjurgens.github.io/potato-skill で公開されているので、インストール前にスキルがエージェントに何を伝えるのかを読めます。

ほかのコーディングエージェント

skills CLI で、Codex、Cursor などのエージェントに potato-skill をインストールできます。

bash

npx skills add davidjurgens/potato-skill --agent codex cursor

これでスキルが .agents/skills/potato-skill/ にコピーされます。Codex と Cursor はリポジトリのルートにある AGENTS.md ファイルも読めます。どのエージェントを使う場合でも、スキルの補助スクリプトが Potato をインポートして potato コマンドを呼び出すため、エージェントがコマンドを実行する環境に Potato をインストールしておく必要があります（pip install potato-annotation）。

よくある質問

先に Potato を知っておく必要はありますか？

いいえ。研究の内容を普通の言葉で説明するだけです。Potato はエージェントが動くマシンにインストールしておく必要があります。アノテーターがタスクを見る前に、ブラウザで開いて自分でいくつかラベルを付けてみてください。

コーディングエージェントに独自のアノテーションツールを作らせるべきでしょうか？

数百件の項目を 1 人が 1 回ラベル付けするだけなら、小さなスクリプトで足りることもあります。研究に 1 項目あたり複数のアノテーター、トレーニング、注意力チェック、一致度、クラウドソーシングプラットフォームのいずれかが必要になると、それぞれを作ってテストしなければなりません。potato-skill はそれらをすでに備えた Potato の上に構築し、生成したタスクは再実行も共有もできます。

構築されたものを編集できますか？

はい。出力は通常の Potato タスクです。クイックスタートと設定の基本を参考に手で変更することも、エージェントに変更を頼むこともできます。

Codex や Cursor でも動きますか？

skills CLI で両方にインストールでき、どちらもリポジトリの AGENTS.md を読めます。スキル自体は Claude Code 向けに書かれています。

費用はかかりますか？

かかりません。Potato は無料のオープンソースで、potato-skill は GPL-3.0-or-later で公開されています。費用がかかるのは、すでに使っているコーディングエージェントと、募集する場合のアノテーターへの報酬です。

Potato とは何ですか？

Potato はミシガン大学のオープンソースのアノテーションツールで、ACL 2026 のシステムデモ論文で紹介されています。テキスト、画像、音声、動画、対話、エージェントのトレースにわたる 61 種類のアノテーション形式に対応しています。

potato-skill：Claude Code で人手によるアノテーション研究を構築する