Name: Potato
Author: Potato

potato-skill 是一個讓人來標註資料的智慧體技能（agent skill）。你向 Claude Code 描述研究，它會設計任務，在 Potato 中構建出帶有獨立標註介面的任務並啟動，然後按你需要的格式匯出標籤。它免費且開源，兩條命令即可安裝：

text

/plugin marketplace add davidjurgens/potato-skill
/plugin install potato-skill@potato

安裝細節（包括其他智慧體）見使用程式設計智慧體快速入門頁面。

程式設計智慧體與一次性標註工具

想讓幾百條資料被標註，一種常見做法是讓 Claude Code、Codex 或 Cursor 寫一個簡易標註工具：一個 Streamlit 或 Flask 頁面，一次顯示一條資料，把每個答案存進 CSV。一個人花一個下午標註一批資料，這樣就夠了。一旦研究需要以下任何一項，事情就變難了：

每位標註者各自登入，這樣你知道誰標了什麼
每條資料三名標註者，並把每條資料分給合適的人
說明、培訓環節和注意力檢查
標註者之間的一致性
Prolific 的完成碼，或通過 MTurk 付款
以下一個指令碼所需的格式匯出
下個月的第二項研究也能照樣執行

每一項都是需要有人編寫、測試和除錯的功能，而這個工具只服務於一項研究。Potato 已經具備所有這些功能。有了 potato-skill，智慧體把精力花在研究設計上，並在 Potato 上構建任務。

結果也能供他人使用。手寫的標註應用通常繫結在某個倉庫裡的某個資料集上。Potato 任務是一個包含配置和資料的資料夾，任何裝了 Potato 的人都能啟動它；展示頁中收錄了 400 多個這樣的任務，大多取自已發表的論文。

該技能做出的設計決策

拿到一段關於待標註內容的描述後，potato-skill 會在寫任何 YAML 之前先完成設計：問標註者什麼、用什麼量表、每條資料需要幾名標註者、如何培訓和檢查他們。然後它在 Potato 中構建任務並啟動，像標註者一樣完整走一遍，再按下一步所需的格式匯出結果。

它也能處理已在進行的研究：檢查進度和一致性，以及在標註者開始工作後修改任務。

資料可以是文本、影像、音訊、影片、對話或 AI 智慧體軌跡。標註者可以是眾包工作者、學生或領域專家。

它能搭建的六種研究

由 Prolific 眾包工作者標註立場

一個研究團隊希望由 Prolific 上的眾包工作者為 2,000 條社交媒體帖子標註其對某項政策的立場。potato-skill 起草標籤和說明，加入簡短的培訓環節和注意力檢查，讓每條帖子由三人標註，設定 Prolific 完成碼，並在標籤收齊後報告一致性。參見眾包指南和衡量標註者間一致性。

比較兩個聊天機器人的回答

一個機器學習團隊希望讓人比較兩個聊天機器人對同一提示的回答，選出更有幫助的一個並說明原因。它會構建並排比較介面，配上偏好量表和自由文本理由欄，並匯出判斷結果供分析。參見成對模型比較和 RLHF 偏好資料。

標出智慧體軌跡中出錯的步驟

一個實驗室希望讓專家閱讀多步 AI 智慧體軌跡，並標出智慧體出錯的那一步。每條軌跡逐步展示，任務會記錄被標出的步驟和標註者的解釋。參見智慧體軌跡標註。

繼續一個 CVAT 邊界框項目

一個計算機視覺小組有一個做到一半的 CVAT 項目，希望在新影像上畫更多邊界框。它匯入現有的框，用相同的標籤搭建繪製任務，並把全部結果以 COCO 格式匯出。參見衡量邊界框上的一致性。

兩名編碼員和一本編碼手冊

一位社會科學家有一本用於開放式問卷回答的編碼手冊，希望兩名編碼員獨立應用它，再解決兩人意見不一的案例。編碼手冊成為編碼介面，兩名編碼員都會被分配到每一條回答，由裁決步驟處理分歧。參見裁決與分歧。

一致性看起來偏低的研究

一項研究已經進行了一週，研究者覺得一致性偏低。該技能會報告每位標註者的進度和每個問題的一致性，並說明哪些修改在標註者仍在工作時是安全的，哪些會破壞已經收集的資料。

針對 Potato 登錄檔的測試

potato-skill 的 CI 會檢查其說明中提到的每種標註類型、配置鍵和示例配置在 Potato 中確實存在。示例 YAML 會經過 Potato 自帶的驗證器，完整示例會啟動一個真實的 Potato 伺服器。其中三份參考資料由 Potato 的登錄檔生成，所以智慧體讀到的標註類型和配置鍵就是伺服器實際執行的那些。

參考資料釋出在 davidjurgens.github.io/potato-skill，安裝之前你就能讀到這個技能會告訴智慧體什麼。

其他程式設計智慧體

skills CLI 可以為 Codex、Cursor 和其他智慧體安裝 potato-skill：

bash

npx skills add davidjurgens/potato-skill --agent codex cursor

它會把技能複製到 .agents/skills/potato-skill/。Codex 和 Cursor 也能讀取倉庫根目錄下的 AGENTS.md 檔案。無論使用哪個智慧體，Potato 都必須安裝在它執行命令的地方（pip install potato-annotation），因為該技能的輔助指令碼會匯入 Potato 並呼叫 potato 命令。

常見問題

我需要先了解 Potato 嗎？

不需要。你用平實的語言描述研究即可。Potato 需要安裝在智慧體執行的機器上。在標註者看到任務之前，先在瀏覽器中開啟它，自己標幾條資料。

我是否應該讓程式設計智慧體另寫一個定製標註工具？

如果只有幾百條資料、由一個人標註一次，一個小指令碼可能就夠了。一旦研究需要每條資料多名標註者、培訓、注意力檢查、一致性或眾包平臺，其中每一項都需要構建和測試。potato-skill 建立在已經具備這些功能的 Potato 之上，它生成的任務可以重新執行，也可以分享。

我能修改它構建出的內容嗎？

可以。輸出就是一個普通的 Potato 任務。你可以參照快速入門和配置基礎手動修改，也可以讓智慧體來改。

它能在 Codex 或 Cursor 中使用嗎？

skills CLI 可以把它安裝到這兩者中，兩者也都能讀取倉庫的 AGENTS.md。該技能是為 Claude Code 編寫的。

它要花多少錢？

不花錢。Potato 免費且開源，potato-skill 以 GPL-3.0-or-later 許可釋出。你需要支付的是你本來就在用的程式設計智慧體的費用，以及招募標註者時的報酬。

Potato 是什麼？

Potato 是密西根大學開發的開源標註工具，相關介紹見 ACL 2026 系統演示論文。它支援 61 種標註類型，涵蓋文本、影像、音訊、影片、對話和智慧體軌跡。

potato-skill：用 Claude Code 構建人工標註研究