跳轉到內容

用你的標籤訓練的模型輔助標註

用你自己的標註訓練的模型生成的預標籤何時能節省時間，預標籤如何錨定標註者，以及如何用留出組衡量這種影響。

模型輔助標註會在標註者已給出的標籤上訓練一個模型，並把模型對新條目的預測作為預標籤展示出來，供標註者確認或更正，從而加快標註。由於預標籤也會把標註者拉向模型的答案，使用預標籤的研究應當留出一部分標註者，並衡量答案移動了多少。

v2.14.0 新增

預標籤是模型在任何人標註某條目之前為該條目提出的一個標籤。模型輔助標註也稱為預標註，是一種人在迴路的工作流，標註者接受、編輯或拒絕這些預標籤，被接受和被更正的標籤構成資料集。本指南討論的是模型在項目自己的標註上訓練、並在更多標註到來時重新訓練的情形。LLM 與視覺預標註指南討論由提示驅動的通用模型生成的預標籤，主動學習指南則討論如何選擇下一步要標註的條目。

用你的標籤訓練的模型與 LLM 預標註有何不同

LLM 或預訓練的視覺模型在提示和少量示例的引導下，從第一個條目起就能預標註。用你的標籤訓練的模型一開始一無所有，需要先有一個已標註條目的種子集。Potato 的 sklearn-text 訓練器在訓練劃分中的條目少於 10 個時拒絕擬合，Hugging Face 的文本、詞元和影像分類器則在少於 20 個時拒絕。作為回報，訓練出的模型學到的是你的標註者在你的條目上實際劃出的標籤邊界。每次執行都在留出訓練的條目上評分，並且在任何標註者看到預標籤之前，得分就已顯示在訓練頁面上。小型分類器還可以在你自己的機器上執行，每個條目無需付費。

在種子集增長期間，LLM 建議可以覆蓋研究的開頭，當訓練出的模型的留出得分超過 LLM 與同一批標籤的一致性時，再由訓練出的模型接手。主動學習可以與二者結合，因為主動學習選擇條目的順序，而預標註改變的是每個條目上的工作。

預標籤何時節省時間

當閱讀並確認一個標籤比產生一個標籤更快時，預標註就能節省時間。在一項有兩位標註者的詞性標註實驗中，Fort and Sagot (2010) 測得，一位標註者在沒有預標註時每 10 個句子約需 7.5 分鐘，在更正標註器輸出時約需 2.5 分鐘。僅在 50 個句子上訓練的標註器達到了 81.6% 的準確率，該標註器的預標註所節省的時間，與在 37,990 個句子上訓練、準確率 96.4% 的標註器所節省的時間，並無顯著差異。只有在 10 個句子上訓練的標註器讓標註顯著慢於其他標註器，而那個標註器的準確率為 66.5%。Lingren et al. (2014) 發現，臨床命名實體標註每個實體可節省 13.85% 至 21.5% 的時間，一致性和標註者表現沒有顯著變化。Mikulová et al. (2022) 發現，來自準確的句法分析器的預標註讓依存標註更快也更一致。

對於在項目自己的標籤上訓練的模型，Fort 和 Sagot 的結果表明，在最初幾十個已標註條目上訓練的模型可能就已能節省時間。仍接近隨機水平的模型會耗費時間，所以最初的預標籤應當等到留出得分遠高於隨機水平之後再出現。

預標籤何時有害

預標籤改變的不只是速度，還有答案。*錨定*是被建議的答案對後續判斷的牽引，不加思考的接受則是不讀就接受建議，是一種自動化偏差。在 Fort 和 Sagot 的實驗中，使用 81.6% 的標註器的預標註時，較準確的那位標註者的準確率從 98.1% 降到 95.8%，而使用最好的標註器時，同一位標註者犯下了與標註器自身相同的系統性錯誤（把過去分詞標成形容詞）。在一項關於主觀任務中 LLM 建議的預註冊研究中，Schroeder et al. (2025) 發現，標註者並沒有變快，而且採納建議的頻率高到足以改變標籤分佈。當以受協助的標籤作為評估參照時，LLM 的實測準確率也隨之上升。

在被接受的預標籤上重新訓練，會增加一個反饋迴圈。標註者原樣儲存的預標籤成為該標註者的答案，下一次訓練執行會像對待其他標籤一樣從這個答案中學習。因此，標註者接受的錯誤會作為訓練資料回來，下一個模型可能在新條目上重複這個錯誤。一致性度量抓不住這個迴圈，因為接受同一個預標籤的標註者，按構造就是一致的。如何區分認真稽核與不加思考的接受描述了針對不讀就接受的標註者的計時訊號，衡量 LLM 建議如何錨定標註者則描述了針對那些讀了仍被牽引的標註者的盲條目。

設計選擇

有四項設定決定預標籤對某項研究有沒有幫助：置信度下限、獲得預標籤的條目、被留出的標註者比例，以及模型重新訓練的頻率。

置信度閾值

低於置信度下限的預測會被隱藏，標註者從零開始標註該條目。下限越高，顯示的預標籤越少，其中正確的比例越大。只有當模型的置信度經過校準時，下限才有意義。校準過的模型在置信度為 0.8 的預測上，對留出條目大約有 80% 是正確的。一次執行有至少 50 個訓練條目時，Potato 的 sklearn-text 預設會校準分類器的置信度，條目少於 1,000 時用 Platt 縮放，此後用保序迴歸。請依據留出條目來設定下限，取模型的正確率高到檢查預標籤比標註條目更快的那個置信度。

哪些條目獲得預標籤

Potato 從不為模型自己的訓練條目生成預標籤，因為模型對訓練資料有把握，其原因與新資料毫無關係。除這條規則之外，也不要在用於衡量標註者間一致性的條目和金標準條目上放預標籤。在帶有共同預標籤的條目上衡量的一致性，衡量的是預標籤，而螢幕上顯示著預標籤時作答的金標準條目，衡量模型的程度不亞於衡量標註者。在其餘條目中，按置信度從低到高排序的稽核佇列會把標註者安排到模型可能出錯的地方。如果每個條目仍需要人工標籤，則適合採用按置信度從低到高提供每個條目的佇列。

留出標註者以衡量影響

錨定的衡量方法，是比較同一批標註者在同類條目上，有預標籤時給出的答案與沒有預標籤時給出的答案。Potato 的 ai_support.holdout 對隨機一部分標註者與條目配對不提供任何形式的協助，訓練預標籤也在被扣下的形式之列。Potato 按配對而不是按條目抽取，所以大多數條目既有受協助的標註者，也有留出的標註者。加鹽雜湊使每個配對在重啟之後仍留在同一組。對於 radio、multiselect、likert 和 select 方案，管理員儀表盤的 AI influence 標籤頁會比較這兩組，看答案與模型一致的頻率、答案與金標準一致的頻率，以及每組內部的一致性。當每組在有模型答案的條目上都有 10 個答案之後，該標籤頁會報告與模型一致性的差異，並給出 95% 的自助法區間。請在標註開始之前設定比例和鹽值，因為在研究中途更改其中任何一個都會重新洗牌各組。衡量 AI 影響列出了留出所扣下的每一種協助介面。

多久重新訓練一次

頻繁重新訓練會讓預標籤跟上最新的指南決定和更正，而每次重新訓練也會替換標註者看到的預標籤。Potato 的 auto_retrain 在 update_frequency 條新標註到來（預設 25）、並且距上次執行結束已過 min_interval_s 秒（預設 600）時啟動一次執行。較大的 update_frequency 節省算力，並讓預標籤在更長的工作時段內保持穩定。請在整個研究期間保持 split_seed 固定，因為更改種子會把留出條目移入訓練，使一次執行的留出得分無法與下一次比較。Potato 還會把稽核者更正過的每個條目放入之後每次執行的訓練劃分。這樣，更正會教給下一個模型，而不會被用來給模型評分。

Potato 中的模型輔助標註

Potato 的模型訓練在管理員訓練頁面上，用一項研究自己的標註擬合模型，在留出條目上給模型評分，並把模型的預測作為預標籤寫回條目。回寫會讓模型的答案在標註頁面上處於預選狀態。只有當標註者編輯預標籤或轉到下一條時，預標籤才成為標註者的答案。在此之前，該條目不算完成。下面這些塊在帶有名為 sentiment 的 radio 方案的配置中，加入了帶自動重新訓練和 20% 留出的模型輔助標註：

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemas 指定標註者能看到其預測的方案。該列表預設為空，在列表中寫入某個方案之前，標註者看不到任何預測。include_unlabeled: true 還會對無人標註的條目做預測，而預標籤正是在這些條目上節省時間。沒有這項設定時，一次執行只對該次執行的留出條目做預測。低於 min_confidence 的預測會被儲存但不顯示。留出塊在 ai_support.enabled 關閉時也能工作。

assignment_strategy: model_review 按置信度從低到高提供帶預標籤的條目以供稽核，assignment_strategy: llm_confidence 則按該順序提供每個條目。稽核者對每個預標籤記錄 accept、correct 或 reject 判定。被拒絕的預標籤會從條目上撤下，不再顯示。DELETE /admin/training/api/runs/<run_id>/predictions 會撤回一次執行寫入的所有預標籤。迴圈中的模型逐步演示回寫、稽核佇列、採集順序和 auto_retrain，上游的回寫參考則列出預測在標註者看到之前要通過的每一項檢查。

延伸閱讀

參考文獻

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323