部落格

一致性抓不出走過場式的蓋章

當標註者不讀就接受模型預標註時，標註者間一致性反而會上升。所有從標註本身算出的品質指標都會變好。時間是唯一剩下的訊號。

2026年9月9日

訂閱更新

獲取新教程、版本釋出和社群動態的通知。

「部分成功」是一種真實結果：標註機器人回合

機器人演示大多是部分成功，而二元結果會把這一點丟掉。一個以時間軸為形態的標註介面必須做對哪些事，從保留極值的降取樣到事後重新標註。

2026年9月2日閱讀約需 5 分鐘

把能在瀏覽器標籤頁裡跑的分割做出來

點選即分割與開放詞表文本提示都在客戶端執行，無需 GPU。為此付出了什麼：一份經過驗證的編碼器契約、一個由實測選出的量化方案，以及一個手寫的分詞器。

2026年8月27日閱讀約需 4 分鐘

原始 IoU 不等於一致性

在一份典型的檢測語料上，標註者之間的平均 IoU 大約讀作 0.95，即便標註者從未看過圖片也是如此。一個經機遇校正的替代方案是什麼樣的，以及為什麼在 IoU 距離上套用 Krippendorff's alpha 行不通。

2026年8月21日

公告閱讀約需 9 分鐘

Potato 2.8：標註一切，然後測量它

Potato 2.8 新增了計算機視覺、十億畫素深度縮放、三維點雲、深度圖、機器人回合、生成式影片評估與 VLM 定位——並對上述全部內容報告經機遇校正的一致性。

2026年8月18日

公告閱讀約需 10 分鐘

讀懂寫作過程：面向自由文本標註的擊鍵記錄

Potato 現在可以記錄標註者如何寫出自由文本答案，而不記錄他們鍵入的內容，並把停頓、修改和貼上變成可審計的標記，指出哪些回答是貼上來的而不是寫出來的。

2026年8月6日

教程閱讀約需 7 分鐘

標註 ASR 轉寫稿：一個完整實例

從一個 Whisper 輸出目錄一路走到帶標籤的說話人話輪：怎麼選標註單元、怎麼處理說話人分離、怎麼寫配置、怎麼把任務跑起來，以及怎麼在匯出時保住時間對齊。

2026年7月31日

評審誰來評：把人和模型的推理並排放

LLM 評審的可信度，取決於你用來驗證它的那批人工標籤。把人的思維過程和模型的思維過程放在同一條資料上並排比較，並用帶置信區間的標籤來檢驗你的評審。

2026年7月27日閱讀約需 6 分鐘

公告

Potato 2.7.1：轉寫稿本來就有了

Potato 2.7.1 直接讀取 21 種轉寫和字幕格式，可以從媒體檔案旁邊的並列檔案里加載它們，還附帶一個轉換器，把一整個 ASR 輸出目錄變成可以直接標註的資料檔案。

2026年7月26日閱讀約需 5 分鐘

指南閱讀約需 6 分鐘

把校準會議裝上儀表

標註團隊本來就在開規範化會議，也一直想知道標註者是怎麼想的。多人協作房間用即時一致性指標度量校準會議；Think-Aloud 模式在本地記錄出聲推理，全程不需要 LLM。

2026年7月23日

不用黃金標籤的品質控制

黃金標準造起來貴、會洩露，而且只能測到你當初想得到要埋的那些條目。另有兩條路，同伴預測打分和反事實邊界探針，一個埋點都不用，就能揪出不認真的標註者和有問題的指南。

2026年7月19日

帶誤差棒的標籤：把項目反應理論用到標註上

多數投票把標註者告訴你的東西丟掉了大半。項目反應理論給每個標籤一個後驗機率和一段置信區間，估計標註者能力和條目難度，還能找出壞掉的標註手冊條目，既不需要黃金標籤，也不需要 LLM。

2026年7月16日

公告閱讀約需 6 分鐘

Potato 2.7：測量標籤是怎麼產生的

Potato 2.7 帶來帶誤差範圍的標籤、即時規範化協作房間、反事實邊界探針、同伴預測評分、本地語音理由記錄、一條命令生成資料集報告，以及移動端標註，這些都不需要 LLM。此外還有多智慧體與多模態智慧體評測。

2026年7月13日

面向標註研究的經過驗證的調查量表：人格、情緒、身心健康與人口統計

當誰來標註很重要時，一份經過驗證的問卷勝過一道你自己憑空寫出的題目。這是對 Potato 內建的 55 份調查量表的一次巡禮，以及每一份何時值得進入你的研究。

2026年7月4日閱讀約需 6 分鐘

記錄你的標註資料集：資料宣告、資料表，以及無文件資料為何會迅速失效

一份沒有文件的標註資料集既難以信任，也容易被誤用。這是一份關於資料宣告、資料表和釋出檢查清單的指南，並介紹 Potato 如何替你記錄下其中大部分內容。

2026年6月30日閱讀約需 6 分鐘

公告閱讀約需 3 分鐘

Potato 2.0 亮相 ACL 2026

我們關於 Potato 2.0 的論文收錄於 ACL 2026 系統演示分冊。本文介紹論文內容以及如何在你的工作中引用 Potato。

2026年6月28日

指南閱讀約需 4 分鐘

評估語音與影片智慧體

在 Potato 中對口語、影片和文件智慧體做人工評估的一次演練：在雙軌時間線上給輪流發言打分、用即時 IoU 為影片事件定位、標記語音錯誤，以及標出表格結構。

2026年6月24日

指南閱讀約需 4 分鐘

逐步評估計算機操作智慧體

在 Potato 中對計算機操作與 GUI 智慧體做人工評估的一次演練：評判每一個動作、在截圖上檢查點選落點，以及逐個審查工具呼叫。

2026年6月23日

除錯多智慧體失敗：一次實戰演練

如何用 Potato 找出一個多智慧體 LLM 系統失敗的原因：互動圖、失敗歸因、交接審查、每個智慧體的記分卡、工具爭用時間線和湧現行為標記。

2026年6月22日

公告

Potato 2.6：定性資料分析遇上智慧體評估

Potato 2.6 釋出：用於定性編碼的 QDA 模式、LLM-as-judge 校準與對齊工作流、可生成 SFT 與 DPO 訓練資料的軌跡編輯、啟動速度提升 3 倍，以及重新授權為 GPL-3.0-or-later。

2026年6月21日閱讀約需 6 分鐘

公告

Potato 2.6.2：一套完整的開源智慧體評估工具

2.6.x 系列把 Potato 打造成一個完整、免費的智慧體評估平臺：支援從 OpenTelemetry、LangGraph、CrewAI 和 AutoGen 攝取軌跡，支援帶可點選互動圖的多智慧體團隊標註，支援面向 GUI、語音和影片的多模態智慧體方案，外加模型競技場、CI 門禁和資料篩選。

2026年6月20日閱讀約需 5 分鐘

分歧是訊號，不是噪聲：何時該保留標註員的分歧，而不是把它消解掉

標註流程往往被設計成抹去分歧，但在主觀任務上，分歧本身就是資料。一份關於如何區分真實標籤差異與錯誤、並在 Potato 裡把它保留下來的指南。

2026年6月18日

大規模資料集上的自適應標註覆蓋

Potato 2.6 允許你給大多數資料分配一位標註者、給一個分層樣本分配三位，在標註者出現分歧的資料上提高覆蓋度，並把爭議資料路由給裁定者。

2026年6月16日

指南閱讀約需 6 分鐘

閉環：將智慧體錯誤和評判分歧重新交給人工

在智慧體評估中，人工審查時間是最稀缺的資源。Potato 2.6 將基於訊號的分流佇列與評判者—人工對齊結合起來，讓最糟糕的軌跡優先送達人工，並讓你的 LLM 評判者持續變得更好。

2026年6月11日

指南閱讀約需 9 分鐘

負責任地收集標註者人口統計資訊：該問什麼，以及怎麼問

在主觀任務上，標註者的身份會影響標籤，因此人口統計資訊值得收集，但前提是取得同意並說明理由。該問什麼、該放過什麼，以及如何在 Potato 中跑通這套流程。

2026年6月11日

從評估到訓練資料：用於 SFT 和 DPO 的軌跡編輯

大多數智慧體評估止步於一個分數。Potato 2.6 的 trajectory_edit 模式讓標註者重寫錯誤的步驟，而不是給它打分，並將每次修正匯出為監督微調目標和 DPO 偏好對。

2026年6月6日閱讀約需 6 分鐘

如何為智慧體軌跡拿到可靠的標籤

標註智慧體的多步軌跡比標一條推文難。一份關於設計分類體系、測量逐步一致性、化解分歧的指南，附一份 Potato 配置。

2026年6月3日閱讀約需 6 分鐘

你能信任你的 LLM 評審嗎？把 LLM-as-Judge 與人類校準對齊

用 LLM 給模型輸出打分很容易，難的是判斷它是否可信。本文帶你走一遍 Potato 2.6 的盲測人類校準流程：k 次取樣投票、Cohen 與 Fleiss kappa，以及期望校準誤差。

2026年6月1日

將質性編碼引入 Potato：碼本、備忘錄與原生碼

瞭解 QDA 模式——即將隨 Potato 2.6 推出的質性資料分析工作區：動態碼本、原生編碼、分析備忘錄、案例，以及面向整個語料庫的全文檢索。

2026年5月26日

LLM 標註員對比人工：什麼時候該把標註任務交給機器，什麼時候不該

一份實用指南，幫你判斷何時可以讓 LLM 標註你的資料、模型標註員會在哪裡失手，以及如何在 Potato 裡把自動化與人工核驗結合起來。

2026年5月25日

指南閱讀約需 3 分鐘

2026 年如何選擇開源標註工具

坦誠地探討如何挑選開源資料標註工具、哪些問題才真正能縮小選擇範圍，以及在 Label Studio、Prodigy、Doccano、brat 和 Argilla 之中 Potato 處於什麼位置。

2026年5月20日

給 AI 標註員的碼本：把編碼方案變成可靠的 LLM 標註器

如何編寫一份 LLM 真正能執行的標註碼本，用人工編碼來驗證它的標籤，並讓人始終參與其中，附一份可執行的 Potato 配置。

2026年5月15日閱讀約需 7 分鐘

用片段標註發現幻覺

通過高亮出確切的詞語並標註錯在哪裡，以 MQM 風格在 Potato 中用片段標註捕捉模型幻覺和事實錯誤。

2026年5月6日閱讀約需 2 分鐘

指南閱讀約需 2 分鐘

你究竟需要多少名標註者？

為標註項目確定標註者數量和重疊度：客觀與主觀任務的經驗法則、覆蓋與重疊之間的權衡，以及如何在 Potato 中進行設定。

2026年4月22日

指南閱讀約需 3 分鐘

如何用人工標註評估 RAG 系統

評估檢索增強生成的實用指南：分別衡量檢索相關性和回答忠實度，並在 Potato 中用片段標註標出缺乏依據的論斷。

2026年4月8日

公告閱讀約需 9 分鐘

編碼智慧體標註：評測 Claude Code、Aider 與 SWE-Agent 軌跡

Potato 把編碼智慧體軌跡渲染成差異檢視和終端塊，提供過程獎勵與程式碼審查兩種標註方案，以及 Claude Code、Aider、SWE-Agent 的軌跡轉換器。

2026年3月27日

如何為訓練更好的程式設計智慧體收集過程獎勵資料

在 Potato 中收集用於 PRM 訓練的逐步驟獎勵標註：首個錯誤模式與逐步驟模式，以及把匯出結果整理成訓練格式的指令碼。

2026年3月26日

教程

觀察、暫停、回退：在 Potato 中即時觀察編碼智慧體

用 Ollama、Anthropic API 或 Claude Agent SDK 搭建即時編碼智慧體觀察的教程，涵蓋暫停、回滾、分支與軌跡匯出。

2026年3月25日閱讀約需 10 分鐘

並排比較 AI 智慧體：二元、量表與多維度模式

在 Potato 中配置成對智慧體比較的三種模式：二元偏好、偏好量表，以及需要填寫理由的逐維度判斷。

2026年3月24日閱讀約需 10 分鐘

指南閱讀約需 12 分鐘

逐步錯誤定位：用軌跡評估找出智慧體在哪一步出錯

用 Potato 的 trajectory_eval 方案做逐步錯誤定位：分層錯誤分類體系、嚴重程度權重，以及貫穿整條智慧體 trace 的連續品質評分。

2026年3月23日

教程閱讀約需 11 分鐘

面向 AI 編碼智慧體的 GitHub PR 風格程式碼評審

在 Potato 中搭建 GitHub PR 風格的程式碼評審標註：diff 內聯評論、檔案級品質評分，以及對編碼智慧體產出的通過或打回結論。

Potato 2.1.0 帶來了實例顯示系統、支援影像和影片標註的視覺 AI、跨度連結、多欄位跨度以及佈局自定義功能。

2026年2月14日閱讀約需 6 分鐘

用視覺 AI 加速影像和影片標註

在 Potato 中配置 YOLO、Ollama、OpenAI 和 Claude 視覺端點，讓模型提出邊界框和標籤，由標註者接受或拒絕。

2026年2月14日閱讀約需 11 分鐘

指南閱讀約需 8 分鐘

從 Label Studio 遷移到 Potato

如何從 Label Studio 遷移到 Potato：轉換項目配置、標註 schema 和匯出的資料，本指南分步講解，並覆蓋常見的標註類型。

2026年1月20日

在 Prolific 上執行標註研究

在 Prolific 上執行 Potato 標註研究：URL 直接登入、完成碼、注意力檢查，以及在 API 一側監控提交。

2026年1月20日

指南閱讀約需 9 分鐘

法律文件標註最佳實踐

在 Potato 中標註合同、法庭檔案和監管文本：章節級條目、條款與實體方案、關鍵詞高亮，以及面向專家標註者的品質控制。

2026年1月18日

使用 Potato 進行醫學影像標註

使用 Potato 標準影像標註功能進行醫學影像標註的最佳實踐。

2026年1月18日

教程

用於分割任務的多邊形標註

在 Potato 中搭建一個多邊形分割任務：配置怎麼寫、標註者繪製時按哪些鍵、匯出座標是什麼格式，以及什麼時候畫筆蒙版才是更合適的工具。

2026年1月18日閱讀約需 6 分鐘

主動學習：更聰明地標註，而非更辛苦地標註

Potato 如何按分類器的不確定性重排標註佇列，以及取樣設定、冷啟動和保留多少隨機樣本的配置。

2026年1月15日閱讀約需 3 分鐘

教程閱讀約需 7 分鐘

為目標檢測繪製邊界框

在 Potato 中構建目標檢測任務：從三個標籤的入門配置，到駕駛影像的生產配置，再匯出為 COCO 或 YOLO。

2026年1月15日

指南閱讀約需 6 分鐘

將標註匯出到 Hugging Face Datasets

用一條匯出命令把 Potato 標註推送到 Hugging Face Hub，再把匯出的各個 split 整理成分類、NER、音訊和影像訓練所需的形狀。

配置 Potato 進行毒性檢測、仇恨言論分類和敏感內容標註，同時兼顧標註者的身心健康。

2026年1月12日