AI 自動標註對比：Label Studio、CVAT、Labelbox、Prodigy、Argilla 和 Potato

這裡比較的六款工具都能匯入或生成模型標籤，並把它們交給人稽核，所以本文的比較重點放在每款工具對它所保留的標籤衡量了什麼。在我們於 2026 年 10 月閱讀的文件中，這些工具都以點值形式報告相對於標準答案或標註者之間的準確率、精確率、召回率或一致性，沒有一款工具描述了機器標籤品質的區間或誤差界。

這裡的自動標註，指的是任何在人之前或代替人給條目打上模型標籤的功能，無論模型是檢測器、分類器，還是按任務提示的 LLM。這次比較的每款工具都有某種形式的自動標註，而在選擇之前值得問清楚的三個問題上，它們各不相同：

1. 機器標籤如何進入項目：作為預測匯入，由連線的模型生成，還是由工具內部的 LLM 提示產生。
2. 人如何稽核這些標籤，以及人在標註時能否看到模型的答案。
3. 工具對機器標籤出錯的頻率報告了什麼，以什麼為參照，帶有怎樣的不確定性。

下面每一節都取材於該工具截至 2026 年 10 月的官方文件，引用處附有連結。對於我們在文件中沒有找到的內容，我們會如實說明，因為一項功能可能存在但沒有寫進文件。

Label Studio

Label Studio 通過 ML 後端連線模型，ML 後端是一個把你的模型包裝成 Web 伺服器的 SDK；它還以 predictions 鍵匯入預測，並附帶 model_version 和 score。匯入的預測無法修改，而且分數作用於整條預測。企業版和 Starter Cloud 版增加了 Prompts，它根據 LLM 提示生成預測併為其打分；ML 頁面還介紹了一項企業版功能，用於“LLM 輔助的自動標註和模型評估”。

稽核屬於企業版工作流。品質指南寫明“標註稽核工作流僅在 Label Studio 企業版中提供”，提供接受、拒絕和修正後接受等操作，以及按模型置信度排列任務的選項。稽核抽樣設定以機率比率的形式生效，不確定性抽樣會先把置信度最低的預測交給人。

在品質方面，Label Studio 企業版把標註和模型預測與標準答案作比較，“以計算一個介於 0 到 1 之間的準確率分數”，它的一致性矩陣也可以包含模型版本。Prompts 報告相對於標準答案的總體準確率和 F1、評估過的任務數以及推理成本，每一項都是點分數。它的 Prompts 概覽還寫道：“用於提示評估的資料越多，你對結果就越有信心”，但沒有給出區間。

CVAT

CVAT 的自動標註用檢測器或重識別模型對資料做預標註，可以選擇設定置信度閾值。可用的模型取決於版本。AI 模型表為社群版列出了 Nuclio 函式，為 CVAT Online 和企業版列出了來自 Hugging Face 和 Roboflow 的第三方模型以及原生 AI 智慧體函式。

在人工稽核方面，CVAT 有一個用於報告問題的稽核模式和一個驗證階段，共識功能會把多位標註者的工作合併成一個結果，並給出一個 0 到 1 的一致性分數。CVAT 的標準答案與蜜罐品質控制標明適用於 CVAT Online 和企業版，它把標註作業與一個標準答案作業作比較，報告準確率、精確率和召回率。文件把這種方法描述為統計方法，即從一小部分資料估計整個資料集的品質，並寫道“通常 5-15% 的資料就足夠了”。品質報告把任務中的每個作業都與標準答案作業作比較，所以它只是把自動標註的輸出作為這些作業內容的一部分來打分，我們沒有找到把機器標註與人工標註分開的報告。

Labelbox

Labelbox 可以匯入預標籤，它將其描述為“以程式設計方式匯入 Labelbox 項目的建議標註”，供人稽核。它的 Foundry 功能用模型生成標籤，並帶有一個置信度閾值，“它告訴模型在建議一個標籤之前需要有多大把握”。除教育版訂閱外，所有套餐都提供 Foundry。

使用 Foundry 預測的指南提出了兩種把預測交給人的方式。一種按置信度篩選，例如把低於 0.75 的全部送去稽核。另一種是送出“隨機抽取的預測樣本供稽核”，這“有助於你發現系統性問題，並計算總體準確率指標”。Labelbox 的模型指標根據預測和標準答案，在 0 到 1 的各個閾值上計算精確率、召回率、F1、IoU 和混淆矩陣。它的棄用頁面稱 Model experiments 功能自 7 月 15 日起不再提供，但沒有寫明年份，而指標指南仍把自定義指標指向 Experiment 類型，所以請確認你的工作區中是否仍提供模型執行指標。

Prodigy

Prodigy 圍繞“模型在環”構建。ner.correct 之類的配方會顯示 spaCy 模型的預測供人修正，ner.teach 和 textcat.teach 優先選擇模型最沒把握的樣例，ner.model-annotate 則把模型的標籤當作標註者給出的標籤記錄下來。基於 spacy-llm 構建的 LLM 配方為同樣的修正工作流產生標籤，文件提醒：“LLM 標註可能是錯的。你仍然需要參與其中，對標註進行把關。”

review 配方把標註者之間的衝突合併為一個最終標註，metric.iaa.* 配方報告標註者之間的百分比一致率、Krippendorff's alpha 和 Gwet's AC2。文件沒有說明是否應把模型通過 model-annotate 給出的標籤納入這些一致性數字。對於比較提示詞或模型，ab.llm.tournament 讓人評判成對的輸出，並用 Glicko 評分系統給各種組合排名。Prodigy 的價格頁面列出了個人許可證和公司許可證，兩者的安裝程式、Web 應用和外掛相同，只有公司許可證增加了基於 OpenID Connect 的 SSO。

Argilla

Argilla 把模型輸出作為建議附加到記錄上，每條建議都帶有一個分數、產生它的智慧體，以及 model 或 human 類型。在標註檢視中，建議顯示為帶有閃光圖示標記的預填回答，如果資料集包含置信度分數，也會一併顯示。Argilla 1.x 有一個指標模組，它把回答與建議作比較，報告準確率、F1 和 Krippendorff's alpha 等指標。我們在 Argilla 2.x 的文件中沒有找到一致性或模型指標的報告功能。合成數據和 AI 反饋（包括 LLM 評審）放在單獨的 distilabel 庫中。

Potato

Potato 通過 ai_support 連線 LLM 和視覺模型，從 2.9 版起，它會把模型最初的回答（pre_annotation_seeds）與標註者儲存的內容（final_annotation）並排記錄下來，所以接受率來自你自己的資料。icl_labeling 把你的標註者已經達成一致的標註作為示例交給 LLM，讓它標註其餘條目，並把它的一部分標籤樣本送回給人做盲態核驗，按方案跟蹤準確率。

對於模型或 LLM 評審，Potato 的評審校準會把模型的標籤放在標註者看不到的地方，抽取一份隨機或分層樣本供人盲態標註，並報告相對於人工黃金標籤的準確率、人與模型、模型與模型以及人與人之間的 Cohen's kappa、Krippendorff's alpha，以及以期望校準誤差和 Brier 分數表示的校準。把模型的 kappa 與人工標註者之間的 kappa 作比較，就能知道模型的表現是否與另一位標註者相當，LLM 評審一致性對此有解釋。Solo Mode 讓一位專家與一個 LLM 一起標註，一旦兩者的一致性超過閾值，就把剩餘語料交給 LLM。與其他工具一樣，這些功能報告的都是點估計，錯誤率的區間需要在工具之外計算，最後一節會介紹做法。

六款工具在三個問題上的對比

下表根據各項目截至 2026 年 10 月釋出的文件，比較六款工具在三個問題上的情況：

在任何工具中檢查機器標籤

無論你用哪款工具，站得住腳的數字都來自同樣的三個步驟。隨機抽取供人檢查的條目，而不是從低置信度那一端挑選，因為最難條目組成的樣本對其餘條目的錯誤率說明不了任何問題。讓人在看不到模型答案的情況下標註這份樣本，因為可見的建議會把答案往它那邊拉。然後報告樣本上的錯誤率及其置信區間，可以用 Wilson 區間這樣的二項比例區間，這樣讀者就能看出 200 條檢查過的標籤是否支撐你提出的結論。

Labelbox 的隨機樣本送審、CVAT 隨機選取的標準答案幀（Online 和企業版），以及 Potato 的評審校準樣本（也可以分層抽取）都已經是隨機抽取的。在其他工具中，可以匯出一個隨機的條目 ID 子集，把它們作為一個單獨的任務分配出去並隱藏預測，再在工具之外計算區間。

延伸閱讀

• 標註工具對比：更全面的功能對比
• LLM 預標註：人稽核建議時的自動化偏差
• LLM 評審一致性：把評審與人與人之間的一致性作比較