來自 Potato 團隊的新聞、教程和更新。
Potato 2.9 imports projects from brat, doccano, Prodigy, CoNLL and REFI-QDA, transcribes and diarizes audio locally, and records whether an image shape came from a person, a model or an import. Read the upgrade notes first.
在一份典型的檢測語料上，標註者之間的平均 IoU 大約讀作 0.95，即便標註者從未看過圖片也是如此。一個經機遇校正的替代方案是什麼樣的，以及為什麼在 IoU 距離上套用 Krippendorff's alpha 行不通。
Potato 2.8 新增了計算機視覺、十億畫素深度縮放、三維點雲、深度圖、機器人回合、生成式影片評估與 VLM 定位——並對上述全部內容報告經機遇校正的一致性。
Get notified about new tutorials, releases, and community highlights.
標註團隊本來就在開規範化會議，也一直想知道標註者是怎麼想的。多人協作房間用即時一致性指標度量校準會議；Think-Aloud 模式在本地記錄出聲推理，全程不需要 LLM。
黃金標準造起來貴、會洩露，而且只能測到你當初想得到要埋的那些條目。另有兩條路，同伴預測打分和反事實邊界探針，一個埋點都不用，就能揪出不認真的標註者和有問題的指南。
我們關於 Potato 2.0 的論文收錄於 ACL 2026 系統演示分冊。本文介紹論文內容以及如何在你的工作中引用 Potato。
在 Potato 中對口語、影片和文件智慧體做人工評估的一次演練：在雙軌時間線上給輪流發言打分、用即時 IoU 為影片事件定位、標記語音錯誤，以及標出表格結構。
標註流程往往被設計成抹去分歧，但在主觀任務上，分歧本身就是資料。一份關於如何區分真實標籤差異與錯誤、並在 Potato 裡把它保留下來的指南。
Potato 2.6 允許你給大多數資料分配一位標註者、給一個分層樣本分配三位，在標註者出現分歧的資料上提高覆蓋度，並把爭議資料路由給裁定者。
用 LLM 給模型輸出打分很容易，難的是判斷它是否可信。本文帶你走一遍 Potato 2.6 的盲測人類校準流程：k 次取樣投票、Cohen 與 Fleiss kappa，以及期望校準誤差。
瞭解 QDA 模式——即將隨 Potato 2.6 推出的質性資料分析工作區：動態碼本、原生編碼、分析備忘錄、案例，以及面向整個語料庫的全文檢索。
為標註項目確定標註者數量和重疊度：客觀與主觀任務的經驗法則、覆蓋與重疊之間的權衡，以及如何在 Potato 中進行設定。
評估檢索增強生成的實用指南：分別衡量檢索相關性和回答忠實度，並在 Potato 中用片段標註標出缺乏依據的論斷。
用 Potato 的 trajectory_eval 方案做逐步錯誤定位：分層錯誤分類體系、嚴重程度評分，以及貫穿整條智慧體 trace 的連續評分。
在 Potato 中搭建 GitHub PR 風格的程式碼評審標註：diff 內聯評論、檔案級品質評分，以及對編碼智慧體產出的通過或打回結論。
學習如何使用 Potato 的智慧體標註功能設定 AI 智慧體輸出的人類評估，從 trace 匯入到標註方案設計。
Potato Solo Mode 分步教程：先自己標註一個種子集，其餘交給 LLM 標註，再用準確率檢查決定何時停手。
手動轉換 Label Studio 項目、模板和標註到 Potato 格式的分步指南。
將 Potato 與 Prolific 整合進行眾包標註的完整指南，包括付款和品質控制。
完整的邊界框標註設定指南，適用於計算機視覺任務，包括標籤顏色和驗證規則。
如何將 Potato 標註轉換為 Hugging Face 資料集格式，用於模型訓練和資料集共享。
構建一個完整的情感分類任務，包含單選按鈕、工具提示和鍵盤快捷鍵，實現高效標註。
配置 Potato 進行毒性檢測、仇恨言論分類和敏感內容標註，同時關注標註者的身心健康。
設定標註任務，用於檢測語音、音樂、掌聲或環境噪音等特定聲音，並帶有時間戳標註。
用 5 分鐘搭起你的第一個 Potato 標註項目：從 pip 安裝到跑起服務，包含 YAML 配置、示例資料，以及第一批標註結果。
建立一個帶有波形視覺化、30 秒預覽和分層流派標籤的音樂標註任務。
Potato 生產環境部署指南，包括 Docker、雲平臺和 SSL 配置。