文本標註工具對比：開源與付費 NLP 工具

文本標註工具把文件展示給標註者，並記錄他們標出的內容：給整篇文本的標籤、像命名實體這樣高亮的片段，以及片段之間的關聯。Potato、INCEpTION、doccano 和 Label Studio 社群版都可以免費自託管，也都支援命名實體識別和關係標註。項目一旦有很多標註者，工具之間的差別就拉開了。Potato 通過 Prolific 或 SONA 被試池招募標註者，在正式任務前培訓和篩選他們，並報告覆蓋全部標註者、經過機遇校正的片段一致性，不需要付費方案。 在知識庫連結上 INCEpTION 領先，在邊標註邊訓練 spaCy 模型上 Prodigy 領先。brat 和 Argilla 已不再增加新功能。

大多數文本任務屬於三種形式之一。文本分類給整篇文件一個標籤。命名實體識別等片段任務標出文本中的某一段。關係抽取和共指消解把片段彼此關聯起來。本頁的工具都能處理片段，差別最大的是關聯這一步。

本頁只討論文本。所有資料類型放在一頁裡的對比見 AI 標註工具對比。

哪些文本標註工具值得比較？

功能對照

就標註本身而言，仍在維護的五個工具相差不大：

在組織一項有很多標註者的研究時，它們相差很大：

短橫線表示我們在 2026 年 9 月查閱該工具的文件、價格頁和程式碼倉庫時沒有找到相關內容。如果哪一格有誤，請告訴我們。

Potato 在文本標註上領先的地方

標籤之外的研究流程。 很多文本標註是和眾包工作者一起做的研究：情感、立場、冒犯性語言、模型輸出的品質。參與者從 Prolific 或 SONA 進來，拿著完成碼或學分離開。正式任務前，他們先表示知情同意，回答篩選或人口統計問題，再做帶反饋的練習條目，直到通過為止。之後，黃金標準條目和注意力檢查會混在正式條目中出現。Potato 用 YAML 配置就能搭好這一整套流程，它的 Prolific 整合會把參與者中途放棄的條目重新分配出去，並能在伺服器繁忙時暫停研究。本頁的其他工具都假定標註者已經在你的團隊裡。參見開展眾包研究、培訓階段和黃金標準與注意力檢查。

可以寫進論文的片段一致性。 Prodigy 計算的兩兩 F1 每次只比較兩名標註者，也不做機遇校正。Potato 基於逐字元標籤的 α 和它的 γ 除了標籤，還評估每個片段的起止位置，做機遇校正，並一次納入全部標註者。INCEpTION 提供的則是 Krippendorff 的單元化 α 本身，以標註者兩兩矩陣的形式呈現。

回答是誰寫的。 如果一條自由文本回答是貼上進來而不是打出來的，那它可能不是標註者本人寫的。Potato 的擊鍵記錄會儲存每條回答是怎樣產生的，寫作過程標記會標出主要靠貼上得到的回答，閾值可以檢視和修改。

文本標籤上的一致性

兩名標註者標同一個實體時，邊界很少完全一致。按詞元逐一比較標籤的指標，會把每一處邊界差異都算成對標籤的分歧。所以，工具如何給片段一致性打分，和它是否報告一致性同樣重要。

• Potato 報告基於 BIO 標籤的詞元級 κ、精確匹配與部分匹配下的片段 F1、基於逐字元標籤的 Krippendorff α，以及 Mathet 等人 (2015) 的簡化版 γ。後兩者除了片段的類別，還會衡量片段從哪裡開始、到哪裡結束。見衡量片段上的一致性。
• INCEpTION 計算 Cohen κ、Fleiss κ 和 Krippendorff α（包括單元化形式），以標註者兩兩矩陣的形式展示，並提供用於處理分歧的審定介面。
• Prodigy 用 metric.iaa.doc 配方報告文件標籤的百分比一致率、Krippendorff α 和 Gwet AC2，用 metric.iaa.span 報告片段的兩兩 F1。裁決由 review 配方完成。
• Label Studio 把一致性功能留給付費方案。其 Enterprise 版列出的指標是精確匹配、數值差、IoU 和片段重疊。
• doccano 沒有一致性指標。

一般情況見標註者間一致性詳解。

各工具詳情

INCEpTION

INCEpTION 由達姆施塔特工業大學開發，是 WebAnno 的後繼者，也是語言學工作中最接近的比較物件。它有關係層、用於共指的鏈層、文件級標註，以及把標註連結到 Wikidata 或 DBpedia 等知識庫條目的概念特徵。在知識庫連結上，它領先於 Potato。它的推薦器會給出標註建議，並內建主動學習。它是 Java 應用，部署起來比本頁其他工具更費事。該系統見 Eckart de Castilho 等人 (EMNLP 2024)。

Prodigy

Explosion 出品的 Prodigy 圍繞"模型參與標註迴圈"而設計，與 spaCy 的結合比這裡任何其他工具都緊密。它覆蓋分類、片段、通過 rel.manual 配方標註的關係，以及通過 coref.manual 標註的共指，並藉助 spacy-llm 呼叫 LLM。任務用 Python 配方定義。它是本頁唯一的付費工具。

Label Studio

Label Studio 的文本功能只是一個同時處理影像、音訊、影片和時間序列的工具的一部分。它的 Relations 標籤用來關聯已標註的區域。Community Edition 免費且開源。一致性、對照標準答案的稽核和品質看板都在付費方案裡，最便宜的是每月 99 美元的 Starter。

doccano

doccano 是文本方面搭建最快的工具。它的項目類型包括文件分類、序列標註、序列到序列、意圖識別與槽位填充，以及語音轉文本。序列標註項目可以允許重疊片段和關係。它沒有共指或事件標註，也沒有一致性指標。

brat

許多 NLP 語料庫是在 brat 中構建的，它的 standoff 格式涵蓋實體、n 元事件、二元關係、等價集合、屬性和規範化。最新版本是 2012 年 11 月的 v1.3，master 分支最後一次提交是在 2021 年 10 月。它的獨立伺服器會匯入 Python 的 cgi 模組，而該模組已在 Python 3.13 中移除，所以不做相容處理的話，在當前的 Python 上無法啟動。讀取 brat 語料庫仍然值得。在 brat 中開新項目就很難說得通了。

Argilla

Argilla 專注於語言模型的反饋與偏好資料，並與 Hugging Face Datasets 整合。它支援文本分類、詞元分類和生成文本評估。它的程式碼倉庫現在寫明，原作者已轉向其他項目，今後會修復缺陷、釋出補丁，但不再增加新功能。

研究系統

有幾個標註系統以 ACL 系統演示的形式發表。Thresh 用 YAML 配置細粒度的文本評估任務，用於摘要、簡化和機器翻譯。GATE Teamware 2 處理文件分類，帶有標註者培訓和品質篩查。

以上內容於 2026 年 8 月和 9 月對照各項目的文件、價格頁和程式碼倉庫核實。

在工具之間遷移語料庫

從 2.9 版起，Potato 可以匯入 brat standoff、doccano JSONL、Prodigy 的 db-out 檔案和 CoNLL，因此在其中任何一個工具裡開始的項目都能在 Potato 中繼續。已有標籤會作為預標註匯入。brat 的關係和事件不會匯入，而是列在匯入警告中。見匯入項目。

反過來，Potato 可以匯出 CoNLL-2003、CoNLL-U、Hugging Face 資料集、JSONL、CSV 和 Parquet。見為機器學習匯出標註。

Potato 中的實體與關係任務

annotation_schemes:
  - annotation_type: span
    name: entities
    description: "Highlight each person, organization and location."
    labels: [PERSON, ORGANIZATION, LOCATION]
  - annotation_type: span_link
    name: relations
    description: "Link each person to the organization they work for."
    span_schema: entities
    link_types:
      - name: WORKS_FOR
        directed: true
        allowed_source_labels: [PERSON]
        allowed_target_labels: [ORGANIZATION]

span_link 在 entities 方案的片段之間畫出帶類型的關聯，allowed_source_labels 防止標註者把錯誤類型的實體連起來。事件和 n 元關係見關係與事件抽取，鏈見共指消解。

Potato 在文本上不做的事

• 它的知識庫連結比 INCEpTION 簡單。
• 它不會像 Prodigy 的配方那樣，在標註者工作時更新 spaCy 模型。
• 它沒有 spaCy 匯出器。請從 CoNLL 或 JSONL 轉換。
• 從 brat 匯入時會跳過關係和事件。

常見問題

應該用哪個文本標註工具？

如果只有一個命名實體或分類項目，doccano 最省事。如果是要把實體連結到知識庫的語言學標註，INCEpTION 最完整。如果研究中每個條目由多名標註者標註、使用眾包工人並需要報告一致性，Potato 不需要付費方案就具備這些功能。

學術標註研究適合用哪個文本標註工具？

如果研究要招募標註者、篩選和培訓他們，還要報告一致性，Potato 的免費版覆蓋了其中每一步。如果標註本身是複雜的語言結構，比如把實體連結到知識庫，INCEpTION 更合適。想邊標註邊訓練 spaCy 模型的小團隊適合用 Prodigy。

哪些文本標註工具能與 Prolific 或 Amazon Mechanical Turk 配合使用？

Potato 內建了 Prolific，還支援 SONA 和其他樣本平臺。Mechanical Turk 已於2026 年 9 月 30 日關閉，所以現在任何工具都無法在那裡招募。Potato 從 URL 中讀取參與者 ID，任務結束時顯示完成碼或把參與者跳轉回去，還能通過 Prolific 的 API 管理 Prolific 研究。INCEpTION 有面向訪客標註者的實驗性邀請連結，可以分享給眾包工作者，但文件中沒有完成碼的處理方式。Prodigy、Label Studio 和 doccano 的文件都沒有提到眾包整合。

有沒有 Prodigy 的開源替代品？

Potato、INCEpTION 和 doccano 都免費且開源。Prodigy 用 Python 配方的地方，Potato 用 YAML 配置；它還能匯入 Prodigy 的 db-out 檔案，所以在 Prodigy 中已經收集的標註可以沿用。

哪些文本標註工具會報告標註者間一致性？

Potato 和 INCEpTION 的免費版會報告，Prodigy 的許可證包含 metric.iaa 配方。Label Studio 只在付費方案中提供一致性，doccano 沒有。做片段任務時，要看這個指標是否同時考慮了邊界和機遇。Krippendorff 的單元化 α 和 γ 兩者都考慮，基於逐字元標籤的 α 也是如此，Potato 報告的正是這種 α 和簡化版 γ。兩兩 F1 不做機遇校正。

brat 還在維護嗎？

沒有。它的最後一個版本是 2012 年 11 月的 v1.3，獨立伺服器在 Python 3.13 上不做相容處理就無法啟動。從 2.9 版起，Potato 可以匯入 brat 語料庫，並把已有實體作為預標註保留下來。

能用免費工具標註共指嗎？

可以。INCEpTION 有用於共指的鏈層，Potato 有把提及歸併成鏈的 coreference 方案。doccano 不支援共指。

延伸閱讀

• AI 標註工具對比，所有資料類型彙總在一頁
• 音訊標註工具對比
• 影像標註工具對比
• 影片標註工具對比
• AI 智慧體評估工具對比
• 世界模型與機器人回合評估工具對比
• 開展眾包研究
• 片段標註
• 命名實體識別