AI 標註工具對比：開源與付費

標註工具是把標籤附加到文本、影像、音訊、影片或模型輸出上的軟體，使結果可以用來訓練或評測系統。本指南從模態覆蓋、AI 輔助標註、一致性指標，以及各家免費版本實際包含的內容出發，對比 14 款開源和商業工具。

沒有唯一的最佳工具。正確的選擇取決於你要標註什麼、預算多少、是否需要評測智慧體或 LLM，以及你能接受多少配置工作。

我該對比哪些標註工具？

（這些細節會隨時間變化，請查閱各項目以獲取當前的許可與功能資訊。）

許可證那一欄藏了一件事：免費版裡究竟包含什麼。Label Studio 的社群版根本沒有任何標註者間一致性指標。它的 Starter 方案（每月 99 美元，每增加一名使用者另加 49 美元）提供有限的一致性指標和標註者績效看板，完整的指標在企業版中。Prodigy 沒有免費版。CVAT 把品質控制介面列為付費功能。如果你是按品質控制而不是按模態覆蓋來選工具，那就去比免費版，而不是比營銷頁面。我們維護了一份十一款工具的能力對照表，逐條核對過它們各自的文件。

按資料類型對比

下面每一頁都更深入地討論一種資料，涵蓋更多工具以及這類資料需要關注的細節：

• 文本與 NLP 標註工具：INCEpTION、Prodigy、doccano、brat 與 Argilla
• 音訊與語音標註工具：ELAN、Praat、Label Studio 與 Prodigy
• 影像標註工具：CVAT、Roboflow、V7、Supervisely 與 X-AnyLabeling
• 影片標註工具：CVAT、Label Studio、ELAN 與 BORIS
• AI 智慧體評估工具：LangSmith、Langfuse、Arize Phoenix、Braintrust 與 Opik
• 世界模型與機器人回合評估：VBench、WorldModelBench、Physics-IQ 與 ATLAS

哪些標註工具會用 AI 預標註？

"AI 標註工具"這個說法涵蓋三種能力，它們通常被當作一件事來賣，而具備其中一種的工具往往缺少另外兩種。

• 模型輔助的幾何標註。 粗略點選或繪製，分割模型會把邊界收緊。Potato 在瀏覽器中執行這一步，不需要 GPU；CVAT 通過 Nuclio 或其 AI agent 路徑實現；Label Studio 通過 ML 後端實現；Roboflow、V7、Supervisely 和 Segments.ai 則內置於產品之中。
• 基於提示詞的標註。 輸入物體名稱即可得到掩碼或框，而不必從固定列表中挑選。Potato、Roboflow 和 V7 支援這種方式。參見通過輸入名稱標註物體。
• LLM 與 VLM 預標註。 由模型為整批資料提出標籤，再由標註者複核。Potato 為此提供 13 種端點類型，還可以讓視覺語言模型對完成的標註提出批評。

預標註改變了品質控制需要抓住的問題。不閱讀就直接接受建議的標註者會抬高所有一致性數字，同時降低準確率，而計時是唯一能區分認真複核與走過場的訊號。參見識別走過場的預標註。

Potato 不訓練也不部署模型。它負責排列條目、呼叫你指定的模型，並記錄標註者對結果做了什麼。

文本與 NLP

Potato 最初是一個文本工具。在 EMNLP 2022 上發表的系統只標註文本，下一節中的每一項視覺能力都比它晚了四年。

這裡的六款工具都能做分類和序列標註。除此之外，Potato 的文本方案還包括：

片段上的一致性

下文的視覺表格中有一行是幾何標註上的機會校正一致性。文本也有同樣的問題，而且相關文獻更早：兩名標註者標出同一個實體時，邊界很少完全一致，而逐個 token 比較標籤的指標會為一處他們並未真正產生的分歧扣分。

片段方案可以得到基於 BIO 標籤的 token 級 κ、精確匹配和部分匹配下的片段 F1、單元化形式的 Krippendorff's α，以及 Mathet 等人 (2015) 提出的 γ。後兩者衡量的是片段從哪裡開始、到哪裡結束，而不只是它被叫作什麼。參見衡量片段上的一致性。

其他文本工具

INCEpTION 是語言學工作最接近的對比物件，在知識庫方面它更領先。關係層、用於共指的鏈層、多 token 片段、把標註連結到知識庫中某個類或實例的概念特徵，以及命名實體連結推薦器，都是一等功能，它的一致性頁面也報告常見指標。它的部署比本列表中的其他工具都更重。

Prodigy 有一個關係介面，可以建立錨定在詞或短語上的有向和無向連結，還有一個帶共指預設設定的 coref.manual 配方。它是付費的、以程式碼為先的工具，與 spaCy 的結合比這裡任何其他工具都更緊密。

Doccano 是文本方面搭建最快的。它的項目類型包括文件分類、序列標註、序列到序列、意圖與槽位填充、語音轉文字，外加四種影像類型。序列標註項目有允許重疊片段和關係的開關。它沒有共指或事件標註，也沒有一致性指標。

Label Studio 有一個 Relations 標籤，用於連線已標註的區域，而且它適用於音訊、影像、HTML、段落、文本、時間序列和影片，而不僅限於文本。一致性指標在 Starter 方案中功能有限，完整版本在企業版中。

brat 是大量 NLP 語料庫誕生的地方。它的 standoff 格式涵蓋文本繫結的實體、帶觸發詞和論元的 N 元事件、二元關係、等價集合、屬性、針對外部資源的規範化，以及備註。它也已經無人維護。最後一個版本是 2012 年 11 月的 v1.3 "Crunchy Frog"，master 分支的最後一次提交是 2021 年 10 月，還有 493 個未關閉的 issue。它的主頁仍說它易於搭建。然而它沒有可安裝的軟體包，install.sh 的日期是 2012 年，獨立伺服器還匯入了 Python 的 cgi 模組；該模組在 3.11 中被棄用、在 3.13 中被移除，所以不加墊片的話，當前版本的 Python 無法啟動它。讀取一個現有的 brat 語料庫，與搭起 brat 來收集新語料，是兩回事。

從 2.9 版本起，Potato 可以匯入 brat standoff、doccano JSONL、Prodigy db-out 檔案和 CoNLL，因此在其中任何一個工具中開始的語料庫都可以在 Potato 中繼續。已有標籤以預標註的形式匯入。brat 的關係和事件會列在匯入警告中，而不會被匯入。參見匯入項目。

以上內容於 2026 年 8 月對照各項目自己的文件和程式碼倉庫核實。

視覺、3D 與模型評測

Potato 在計算機視覺、空間和評測方面的功能比它的文本功能更新。下面這張表記錄的是各款工具強在哪裡，而不是給它們排名次。

在大多數行上，成熟的 CV 平臺與 Potato 持平或勝過它。有兩行值得細讀，而不是隻看有沒有打勾：Potato 的文本提示分割在瀏覽器內執行，用的是 Apache-2.0 許可的模型，而商業同類功能是在服務端執行、受 SAM 3 的非商用條款約束；它的掩碼傳播跑在服務端，所以免費版能用上這項能力，只是不在瀏覽器內。在最後四行上，Potato 做的是其他工具並不提供的事情。

大批次的計算機視覺

CVAT 是開源 CV 工具的參照標準，對於只做 CV 的大批次流水線仍是更好的選擇：任務與作業管理更細緻、支援按物件的屬性、通過 Datumaro 接入的格式生態更大，社群也非常龐大。當 CV 工作要與文本、音訊或評測任務並行，或者你需要的是標註者之間的一致性而不是與標準答案作業比對的準確率時，選 Potato。

如果你的目標是拿到一個訓練好的模型，Roboflow 非常出色：Smart Polygon、批次自動標註、用你自己的模型做 Label Assist，以及託管的訓練與部署都在同一個閉環裡。Potato 不訓練檢測器。當標註本身就是研究成果、並且其可靠性需要站得住腳時，選 Potato。

Labelbox、SuperAnnotate、Encord、Kili 與 V7 是成熟的商業平臺，具備人力管理、企業級治理和強大的模型輔助標註。如果你需要託管的標註人力、合規認證，或者 PB 級的資料策展，它們就是正確答案。

X-AnyLabeling 把 Grounding DINO、Grounded-SAM 2、SAM 2.1 和 YOLO 打包進一個桌面應用，對於一個人在本地用大量模型做標註，很難有更好的選擇。Potato 自帶的模型集更窄，並且跑在瀏覽器裡，標註者的機器上什麼都不用裝；它的優勢要從標註者不止一個人時才開始顯現。

千兆畫素與數字病理

Potato 會構建一個瓦片金字塔，並同時以 DZI 和 IIIF Image API 3.0 提供服務；由於掩碼緩衝區索引的是影像畫素而不是 GPU 紋理，畫筆掩碼可以在源圖的完整解析度下工作。

具體到數字病理，QuPath（桌面端、開源、該領域的事實標準）和 Cytomine（網頁端、開源、支援盲標的多使用者）都是為此專門打造的，而 Potato 讀不了 SVS、DICOM 或 NIfTI。當你的影像很大但不是臨床格式，或者你需要在其上疊加 Potato 的一致性與工作流層時，就用 Potato。

3D 與感測器融合

Segments.ai、Kognic、Deepen AI、Supervisely 與 Xtreme1/BasicAI 都是專業工具，在生產級自動駕駛流水線上它們更領先：帶軌跡傳播的序列與回合工作流、雷達與多 LiDAR 支援、自動擬合立方體的模型、按物件的屬性本體，以及 Deepen 那一套完整的無靶標定產品。Supervisely 和 Xtreme1 都可自託管，其中 Supervisely 能處理大得多的點雲。

如果你想要空間標註上的可靠性統計，或者 3D 只是一項多模態研究中的一部分，3D 就選 Potato。

機器人、世界模型與定位

對於機器人回合，ATLAS（維也納工業大學）是一款專注於長時程動作分割的桌面工具，原生支援 ROS bag 與 RLDS，為單標註者的邊界精度而生。ELAN 和 BORIS 仍是行為編碼的標準，Rerun 與 Foxglove 則是最好的機器人視覺化工具。

對於生成影片，這個生態主要由基準構成（VBench、WorldModelBench、Physics-IQ），再加上用於大規模偏好收集的眾包評審團。它們提供指標和參照協議；Potato 提供的是一件儀器，用來反覆開展人類一側的評測並測量其可靠性，兩者是互補而非競爭關係。

對於VLM 定位，這個領域是由資料集和評測框架（RefCOCO、PixMo-Points、PointBench、lmms-eval、VLMEvalKit）而不是由標註產品定義的。Potato 的角色是收集並測量這些基準所依賴的人工標準答案。

Potato 不做什麼

免得在評估的後期才發現這些：

• 不訓練模型。 Potato 會對條目排序、用已有模型做預標註，並用 VLM 對標註提出意見。它不訓練也不部署檢測器。Roboflow、V7、Supervisely 和 Labelbox 會。
• 暫無按物件的屬性。 一個幾何形狀攜帶一個標籤；遮擋程度、截斷標誌和子類型屬性需要另配一套 schema。
• 沒有點雲序列模式。 3D 標註是逐幀進行的，尚未實現跨一整段掃描的軌跡傳播。
• 不支援 DICOM、NIfTI 或 WSI。 深度縮放和 16 位窗寬窗位覆蓋的是大幅科研影像，而不是臨床影像。
• 沒有託管人力、SAML/SCIM 或合規認證。 Potato 是你自己執行的軟體。它支援 RBAC 和 OAuth，但不提供企業級治理。

功能數量

這些數字由 Potato 自己的登錄檔生成。這裡沒有「最佳替代品」那一列，因為上面這些工具組織能力的方式差別足夠大，用單一數字來比反而會誤導。

我該如何選擇標註工具？

• 你要標註什麼？ 對於純文本的命名實體識別，Doccano 搭建起來最省事。對於文本/影像/音訊/影片的混合內容，Potato 和 Label Studio 覆蓋範圍更廣。
• 你是否需要智慧體或 LLM 評測？ 這正是 Potato 的與眾不同之處：它能讀取多種格式的智慧體軌跡，併為軌跡、過程獎勵、網頁智慧體、編碼智慧體、多智慧體團隊和computer-use／多模態評測提供了專門構建的工具。多數通用工具並不具備這些功能。
• 預算。 Potato、Label Studio（核心版）、Doccano 與 Argilla 均為免費開源；Prodigy 以及 Label Studio 的部分層級則需付費。
• 配置工作量。 Potato 用一個 YAML 檔案進行配置，無需寫程式碼；Prodigy 以程式碼為先；其餘幾款介於兩者之間。
• 生態。 Prodigy 與 spaCy 搭配；Argilla 與 Hugging Face 搭配；Potato 可匯出到多種 ML 格式，包括 CoNLL、Hugging Face 以及 COCO/YOLO。

Potato 在什麼時候是合適的標註工具？

Potato 源自學術界的 NLP。最初的系統在 EMNLP 2022 上發表，Potato 2.0 則發表於 ACL 2026，它為完整的研究工作流而設計：眾多工類型、開箱即用的品質控制與一致性指標、眾包整合，以及一整套AI 智慧體評測工具。如果你的工作橫跨多個模態，或者包含對 LLM 和智慧體的評測，它值得一試。

如果你主要只需要單一文本任務並使用託管的商業產品，或者你完全生活在 spaCy 或 Hugging Face 之中，那麼其中另一款可能更適合你。

常見問題

最好的免費標註工具是哪個？

這取決於模態。純文本的分類和 NER，Doccano 上手成本最低。若一個項目中同時有文本、影像、音訊和影片，Potato 和 Label Studio 的社群版都能覆蓋，差別體現在品質控制上：Potato 免費提供一致性指標和品質看板，而 Label Studio 把它們放在付費層。大批次的計算機視覺，CVAT 免費且成熟。

Potato 是 Label Studio 的免費替代品嗎？

是的。Potato 免費且開源，用一份 YAML 配置、無需寫程式碼，就能覆蓋文本、影像、音訊、影片以及智慧體/LLM 評測。Label Studio 在某些整合上更寬泛，但會把團隊推向付費層級；Potato 始終免費且可自託管，這與學術研究和可復現研究的工作很契合。

Potato 是 Prodigy 的免費開源替代品嗎？

是的。Prodigy 是一款出色的付費、以程式碼為先、並與 spaCy 緊密繫結的工具；Potato 免費，用 YAML 配置、無需寫程式碼，並可匯出為 CoNLL 和 Hugging Face 格式，spaCy 可以用 spacy convert 讀取 CoNLL 輸出。如果你想要無需商業許可的主動學習，Potato 就是那個開源選項。

在語言學標註方面，Potato 與 INCEpTION 相比如何？

INCEpTION 在深度語言學標註和知識庫連結方面很強大，但部署起來更重。Potato 上手更簡單，一個 YAML 檔案加一條命令即可，對於不需要 INCEpTION 全套語言學機制的跨度、關係和分類任務，通常更快。

為什麼用 Potato 而不是 Labelbox 或 Scale AI 這類商業平臺？

Labelbox 和 Scale 出售託管平臺和標註人力，這適合兩者一起購買的企業。對於自帶標註者、並需要資料留在自己伺服器上的研究團隊，Potato 是那個免費、可自託管的替代品，且內建標註者間一致性指標。

標註 AI 智慧體軌跡的最佳開源工具是什麼？

這正是 Potato 在通用標註工具中與眾不同之處：它能讀取 15 種格式的智慧體軌跡，併為軌跡、步驟級、網頁智慧體和編碼智慧體評測提供了專門構建的顯示介面。多數工具，無論開源還是商業，根本不標註智慧體執行。它還能在可點選的互動圖上標註多智慧體團隊，以及標註 computer-use 和語音智慧體等多模態智慧體。

Potato 能評測哪些可觀測性工具和標註平臺無法評測的內容？

有兩類智慧體標註介面，在那些常被拿來與 Potato 比較的工具（LangSmith、Langfuse、Labelbox、Scale AI、Label Studio、Argilla、Braintrust）中，都沒有作為可配置、可自託管的功能出現，以上結論依據這些工具截至 2026 年 6 月的文件核對：

• 多智慧體團隊結構。 一張可由標註者編輯的互動圖（標出關鍵路徑、標記糟糕的交接）、以「責任智慧體／決定性步驟／原因」三元組形式呈現的跨智慧體失敗歸因、作為一等物件的交接審查、按智慧體和按團隊的評分卡、工具爭用時間線，以及湧現行為標籤。其他工具中最接近的是 Langfuse 的 "Agent Graphs"，但那只是一個只讀的除錯檢視，而非標註介面。
• 多模態智慧體。 帶有點選定位標記的 computer-use 軌跡、帶有插話打斷（barge-in）評分的全雙工語音時間線，以及對模型預測區間進行即時 IoU 計算的影片時序定位。Scale AI 也做 GUI 定位和語音評測，但都是以託管資料集業務的形式提供，而且其語音競技場是按輪次進行，而非全雙工。

可觀測性工具（LangSmith、Langfuse、Braintrust）會附加跨度級（span-level）的評分和評論，這確實是真正的按步驟標註，但並非上述這些智慧體結構介面。標註平臺（Labelbox、Scale）提供智慧體評測資料產品，但都是付費雲服務或託管服務，而不是你能自託管並用 YAML 配置的工具。各項能力變化很快，因此這反映的是 2026 年 6 月的一個快照；完整對比文章列出了所核對的版本。

延伸閱讀

• 為什麼選擇 Potato
• 什麼是資料標註？
• 如何評測 AI 智慧體