為什麼選擇 Potato?
Potato 免費,而且跑在你自己的機器上。下面是它與另外十款主流工具的對照。
Potato 的橫向對比
十款工具,逐條核對了它們各自的官方文件。多數工具能做到其中一部分。真正的問題是你要為此付多少錢,以及哪些能力花錢也買不到。
| 標註工具 | 視覺與企業級 | 智慧體評測 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 能力 | PotatoGPL-3.0 | Label StudioApache-2.0 | ProdigyProprietary | ArgillaApache-2.0 | CVATMIT | EncordProprietary | LabelboxProprietary | LangSmithProprietary | LangfuseMIT | Comet OpikApache-2.0 | GalileoProprietary |
| 花費 | Free | Free; Starter $99/mo + $49/user; full agreement is Enterprise | $390, or $490/seat (5 min.) | Free | Free; $33/user/mo hosted | Not published | Usage-based credits | $39/seat/mo | Free self-hosted | Free self-hosted | $100/mo |
| 自託管,免費* | 免費包含 | 免費包含 | 僅付費版 | 免費包含 | 免費包含 | 僅付費版 | 僅付費版 | 僅付費版 | 免費包含 | 免費包含 | 僅付費版 |
| 全部功能,無付費門檻* | 免費包含 | 不提供 | 不提供 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 免費包含 | 免費包含 | 不提供 |
| 語料與智慧體軌跡用同一個工具* | 免費包含 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 |
| 智慧體軌跡標註 | 免費包含 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 | 僅付費版 | 免費包含 | 免費包含 | 免費包含 | 免費包含 |
| 可標註的多智慧體互動圖* | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 部分支援,見註釋 | 部分支援,見註釋 | 部分支援,見註釋 | 部分支援,見註釋 |
| 由人標註的失敗歸因* | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 部分支援,見註釋 | 不提供 | 不提供 | 不提供 | 部分支援,見註釋 |
| 用人工標註檢驗 LLM 評審 | 免費包含 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 免費包含 | 免費包含 | 不提供 | 免費包含 |
| 評審的校準誤差與偏差審計 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 機遇校正一致性(κ、α)* | 免費包含 | 不提供 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 部分支援,見註釋 | 不提供 | 不提供 |
| 標註者能力建模(項目反應理論) | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 每個標籤都帶置信區間 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 標準答案與注意力檢查 | 免費包含 | 僅付費版 | 不提供 | 不提供 | 免費包含 | 僅付費版 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 |
| 帶即時一致性指示的校準會議 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 同伴預測計分,無需標準答案 | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| SFT、DPO 與過程獎勵匯出* | 免費包含 | 不提供 | 不提供 | 部分支援,見註釋 | 不提供 | 僅付費版 | 僅付費版 | 部分支援,見註釋 | 部分支援,見註釋 | 不提供 | 不提供 |
| 對幾何標註的機會校正一致度* | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 對事件發生時刻的一致度* | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 繪製過程遙測(接受延遲、修改次數)* | 免費包含 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 | 不提供 |
| 三維點雲與立方體框* | 免費包含 | 不提供 | 不提供 | 不提供 | 免費包含 | 僅付費版 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 |
| 執行時不發出任何外部請求* | 免費包含 | 部分支援,見註釋 | 免費包含 | 部分支援,見註釋 | 免費包含 | 不提供 | 僅付費版 | 不提供 | 部分支援,見註釋 | 部分支援,見註釋 | 不提供 |
| 託管標註團隊* | 不提供 | 不提供 | 不提供 | 不提供 | 僅付費版 | 僅付費版 | 僅付費版 | 不提供 | 不提供 | 不提供 | 不提供 |
| 雲託管,無需運維* | 不提供 | 僅付費版 | 僅付費版 | 免費包含 | 免費包含 | 僅付費版 | 僅付費版 | 免費包含 | 免費包含 | 免費包含 | 免費包含 |
自託管,免費: LangSmith、Galileo、Encord 和 Labelbox 把自託管本身放在了企業合同之後。私有化部署是要跟銷售談的附加項,而不是能直接下載的版本。
全部功能,無付費門檻: Label Studio 的免費版根本不含任何一致性指標。託管的 Starter 套餐(每月 99 美元,每增加一名使用者另加 49 美元)以受限形式提供一致性、基準評測和 LLM 預標註,完整版本屬於企業版功能,價格需要另行詢價。CVAT 免費提供蜜罐題和標準答案任務,但把品質報告留給了付費團隊。
語料與智慧體軌跡用同一個工具: 這裡所有的智慧體評測平臺都只能處理軌跡。沒有一個能給語料標註情感、標出命名實體,或者發放一份問卷。
可標註的多智慧體互動圖: 有幾款工具會畫出智慧體互動圖,但它們都只是只讀的除錯檢視。在 Potato 裡,智慧體和它們之間的交接本身就是人來標註的物件。
由人標註的失敗歸因: Galileo 用 LLM 推斷交接失敗,Labelbox 給軌跡步驟打分。兩者都沒有收集用來檢驗這些推斷的人工標準答案。
機遇校正一致性(κ、α): 其他工具把一致性算作重疊百分比、IoU 或多數投票。Prodigy 確實提供 Krippendorff α 和 Gwet AC2,但它沒有免費版。Langfuse 計算的 Cohen κ 是一位標註者對一個評審模型,而不是一組標註者之間。
SFT、DPO 與過程獎勵匯出: 部分支援指只有 SFT 風格的 JSONL,沒有偏好對或過程獎勵格式。
對幾何標註的機會校正一致度: 本表中最強的一項。CVAT 的共識引擎和 V7 的共識階段都用原始 IoU 與每類閾值比較標註者,Label Studio 企業版的指標清單是精確匹配、數值差異、IoU 和跨度重疊。它們都沒有做機會校正——而在以大而居中的物體為主的語料上,無論誰來標註,平均 IoU 都約為 0.95。
對事件發生時刻的一致度: 時間 IoU 與邊界一致度,匹配容差以掃描曲線報告,而非單一閾值。0.25 秒下的一致度與 2 秒下的一致度,是關於同一份資料的兩種不同論斷。
繪製過程遙測(接受延遲、修改次數): 每個形狀的耗時、筆畫動態、修改次數,以及 AI 建議的接受延遲。這一點很重要:當標註者對預標註一概照單全收時,一致度反而會上升,因此時間是區分「審閱」與「照單全收」的唯一訊號。不記錄任何座標。
三維點雲與立方體框: CVAT 同樣支援,Segments.ai、Kognic、Supervisely 等三維專業工具走得更遠,具備 Potato 所沒有的點雲序列與軌跡傳播。Potato 的補充是標註者之間的精確旋轉三維 IoU。
執行時不發出任何外部請求: 全部 14 個模板的樣式表、指令碼、字型和圖示都由本地安裝提供,實測 62 個請求、零外部請求。模型只需一次性複製。「部分」指可自託管,但渲染頁面仍會請求第三方資源。
託管標註團隊: 我們沒有。你得自帶標註員,或者通過 Prolific 招募。如果你下個月就要 50000 條資料標完卻沒人幹,Labelbox、Encord 和 Scale 賣這個,我們不賣。
雲託管,無需運維: Potato 只能自託管。對一部分團隊來說這正是意義所在,對另一些團隊則是實實在在的成本。
依據公開文件核實,August 2026。廠商更新很快,我們寧願被糾正,也不願寫錯。 如果某一格已經過時,請告訴我們。
選擇 Potato 的七個理由
100% 免費
無套餐分級、無使用限制、無需信用卡。Potato 對研究、教育和非商業用途完全免費。
衡量標註過程,而不只是標籤
大多數工具只記錄標註者的決定。Potato 衡量他們是如何做出這個決定的:即時估計能力與條目難度,用反事實探測決策邊界,捕捉出聲的推理過程,並在沒有任何黃金標籤的情況下評估校準度。
開源
完全訪問原始碼。可自定義、擴充套件和貢獻。永無供應商鎖定。
隱私優先
在您自己的基礎設施上自託管。資料永遠不會離開您的伺服器。非常適合敏感研究資料。
學術背景
由密西根大學開發。發表於 ACL 2026 與 EMNLP 2022,並榮獲 HCOMP 2024 最佳演示獎。
零程式碼配置
通過簡單的 YAML 檔案完成所有配置。無需程式設計即可建立複雜的標註介面。
智慧體評估
所有工具中最全面的智慧體標註支援:15 種軌跡格式、可直接標註的多智慧體互動圖、面向計算機操作與語音、影片的模式、編碼智慧體的程式碼差異、過程獎勵標註,以及可回滾的即時觀察。
誰適合使用 Potato?
學術研究者
需要可引用的免費工具用於論文和課題申請
初創公司與小型團隊
無法承擔每月上萬美元的標註工具費用
隱私敏感型項目
IRB 要求、醫療保健或機密資料
教育工作者與學生
NLP/ML 課程中的實踐標註教學