Skip to content
Guides2 min read

用一份盲態人工樣本認證 LLM 標籤

只在一份盲態隨機人工樣本表明錯誤率低於目標時才保留 LLM 的標籤，並用經過模型校正的區間報告流行率。

Potato Team

要決定保留哪些 LLM 標籤而又不逐條檢查，可以讓人標註一份盲態隨機樣本，在這份樣本的一半上選定置信度閾值，再在另一半上檢驗高於閾值的標籤中錯誤率是否低於你的目標。對於流行率數字，則用模型在同一份樣本上的錯誤來校正它的估計，這樣得到的區間無論模型多好都有效。

檢查 LLM 標籤的一種常見做法是讀幾十條輸出，看著沒問題就釋出資料集，再附上一句“資料由 LLM 標註，我們做了抽查”。這句話沒有說明標籤出錯的頻率，審稿人也無從判斷這次檢查能否發現 15% 的錯誤率。一次能支撐某個數字的檢查要回答三個問題：保留哪些機器標籤，用機器標籤算出的比率偏差有多大，以及模型能否代替人。

抽查和稽核預標註中的偏差

有兩種習慣會讓機器標籤看起來比實際更好。第一種是專門檢查模型最沒把握的條目。檢查這些條目能很快找到錯誤，但被檢查的條目不是資料集的樣本，所以在它們身上得到的錯誤率對其餘條目說明不了任何問題。第二種是在模型答案顯示在螢幕上時，衡量人給出的標籤與它的一致性。建議會把答案往它那邊拉，所以在稽核過的預標註上測得的一致性，要高於盲態下測得的一致性。LLM 預標註更詳細地討論了這種自動化偏差。

因此，一次能支撐某個數字的檢查需要具備三個性質。被檢查的條目是隨機抽取的，且入選機率已知。標註它們的人看不到模型的答案。用來選定規則的標籤和用來檢驗規則的標籤不是同一批。

選擇性預測與選擇性風險

選擇性預測是指模型只標註置信度超過閾值的條目，其餘條目棄權，交給人來標註。要控制的量是選擇性風險，即模型保留的標籤中的錯誤率。例如，一個以 4% 的錯誤率保留 70% 條目的閾值，可能比一個以 12% 的錯誤率標註所有條目的模型更有用。

在同一批標籤上選定閾值又檢驗它，會高估閾值的效果，所以人工樣本要一分為二。一半是 dev 劃分，用來選定閾值。另一半是 cert 劃分，用單側二項檢驗來檢驗“被接受標籤中的錯誤率高於目標”這一命題。如果這一命題被拒絕，該閾值就在所宣告的置信度下得到認證。Learn-then-Test（Angelopoulos et al., 2025）把選定閾值當作一個多重檢驗問題來處理。它的一種程式按固定順序檢驗候選閾值，遇到第一個不通過的就停下，這樣它可以嘗試多個閾值而不丟失保證。

這些檢驗所需的樣本比大多數抽查都大。假設目標是至多 10% 出錯、置信度為 90%，而且這是對單個模型、不按類別劃分的第一次檢驗，Potato 會以約 0.06 的水平來執行它（下一節解釋原因）。如果 cert 劃分中有 100 條被接受的標籤，只有至多 5 條出錯時檢驗才會通過。5% 的目標要求 100 條中至多 1 條出錯，或 200 條中至多 4 條出錯。一個真實錯誤率為 7% 的模型，在有 100 條被接受的 cert 標籤時，大約有 29% 的機率通過這第一次檢驗，有 300 條時約為 56%。

重複檢驗與錯誤預算

第一次檢驗之後，人們還會繼續標註，而一再重跑檢驗直到通過，會把 10% 的錯誤證書機率變成大得多的數字。一種解決辦法是給每次檢驗分配一份逐漸縮小的錯誤預算。Potato 給第 k 次檢驗分配允許錯誤的 6 / (pi^2 k^2)，所以第一次檢驗得到 61%，第二次得到 15%，在所有可能的檢驗上，這些份額加起來正好是全部預算。嘗試新的提示詞或新的模型都算作一次新檢驗，因為它又多了一次靠運氣通過的機會。

用預測驅動推斷估計流行率

很多研究需要的是一個比率，而不是一個數據集，例如有毒帖子所佔的比例，或智慧體執行成功的比例。只要模型的錯誤偏向一邊，統計機器標籤得到的比率就是有偏的。只統計人工樣本，得到的比率無偏，但區間很寬。

預測驅動推斷（prediction-powered inference，Angelopoulos et al., 2023）把兩者結合起來。它先用每個條目上的機器標籤算出比率，再用模型在人工標註樣本上的平均錯誤來校正它。無論模型品質如何，這個區間都有效。PPI++ 會調整機器標籤所佔的權重，所以好模型能讓區間比只用人工標籤時更窄，差模型也不會讓它更寬。當人工樣本是以不等機率抽取時，Horvitz-Thompson 差分估計量起到同樣的作用。

在 Potato 隨附的智慧體軌跡示例中，一個 LLM 評審給 288 條為該示例編寫的合成智慧體軌跡打分，每條都有參考結果，評審判定 76% 成功。用同一個評審加上一份人工樣本得到的預測驅動區間是 0.66 [0.57, 0.76]，而資料中的參考比率是 0.60。評審在 80% 的單條軌跡上判斷正確，卻仍把比率高估了 16 個百分點，因為它的錯誤偏向“成功”。

替代標註者檢驗

當人與人之間存在分歧時，固定的準確率目標可能問錯了問題。如果兩位認真的標註者在 85% 的條目上一致，那麼任何標註者都無法被證明有 95% 是“對的”，因為參考本身也有噪聲。替代標註者檢驗（Calderon et al., 2025）轉而提出一個相對的問題。它輪流留出每一個人，檢驗模型與其餘人一致的頻率是否至少與被留出的那個人相當，允許一定的容差。它需要由多人標註的條目，Potato 的實現會等到至少有三位標註者、每人標註 30 個條目後才執行。LLM 評審一致性介紹了這種比較基於 kappa 的版本，以及如何檢查評審的校準。

Potato 標註引擎中的契約

從 2.11 版起，Potato 的標註引擎以契約的形式執行這些檢驗。它抽取盲態隨機樣本，在隱藏所有機器答案的情況下把樣本提供給標註者，把樣本劃分為 dev 和 cert，並在標籤陸續到來時進行認證。下面這份配置在至多 10% 出錯、置信度為 90% 的條件下保留 LLM 的情感標籤，並以 90% 的區間報告每個標籤的流行率：

yaml
assignment_strategy: engine
 
labeling_engine:
  enabled: true
  sources:
    - id: llm
      kind: llm
      endpoint_type: vllm
      model: google/gemma-4-12B-it-qat-w4a16-ct
      base_url: http://localhost:8001/v1
      confidence: {method: logprob}
  contracts:
    - id: accuracy
      kind: selective_risk
      schema: sentiment
      error: 0.1
      confidence: 0.9
    - id: prevalence
      kind: ppi
      schema: sentiment
      confidence: 0.9
  budgets:
    human_labels: 400

confidence 為 0.9 是 Potato 對每種契約的預設值。這個來源根據 token 的對數機率讀出置信度，因為閾值需要一個能把正確答案和錯誤答案分開的置信度，而模型用文字說出的置信度是 Potato 提供的各種方法中最不可靠的。Potato 的文本示例讓 481 條評論先經過 Laya，再以這個 LLM 作為最後一層。在那次執行中，10% 的契約用 165 條人工標籤得到滿足，引擎接受了 316 條機器標籤，全部來自這個 LLM，因為 Laya 的閾值始終沒有定下來。對照參考標籤，這些標籤實測的錯誤率為 7.6%。potato label certificate config.yaml 會列印檢驗了什麼、用了多少條標籤，以及用的是哪個模型和提示詞版本。

盲態樣本認證的侷限

所有這些保證說的都是與標註樣本的那些人之間的一致。如果這些人粗心或訓練不足，已滿足的契約認證的就是與粗心之人的一致，所以在信任一份證書之前，請先用重疊標註和品質控制檢查標註者。

一個從不變化的置信度，讓閾值無從區分。智慧體軌跡示例中的評審給每條軌跡的置信度都是 1.0，所以沒有任何閾值能通過，Potato 會把這樣的契約標為 infeasible，而不是接受全部標籤。在同一份資料上，流行率區間仍然有效，因為它不依賴置信度。

在主觀任務上，人們出於本應留在資料中的原因而產生分歧，每個條目未必存在唯一正確的答案。這時應把模型的標籤分佈與人們的意見分佈作比較，Potato 的 distributional 契約會對照一個對半拆分的噪聲上限來報告這一點。第一輪之後執行 potato label status config.yaml，就能看到每份契約還需要多少條人工標籤才可能通過。

延伸閱讀

參考文獻

  1. Angelopoulos, A. N., Bates, S., Candès, E. J., et al. (2025). Learn then test: Calibrating predictive algorithms to achieve risk control. The Annals of Applied Statistics. https://doi.org/10.1214/24-AOAS1998
  2. Angelopoulos, A. N., Bates, S., Fannjiang, C., et al. (2023). Prediction-powered inference. Science, 382(6671). https://doi.org/10.1126/science.adi6000
  3. Angelopoulos, A. N., Duchi, J. C., and Zrnic, T. (2023). PPI++: Efficient prediction-powered inference. arXiv. https://arxiv.org/abs/2311.01453
  4. Calderon, N., Reichart, R., and Dror, R. (2025). The alternative annotator test for LLM-as-a-judge: How to statistically justify replacing human annotators with LLMs. Proceedings of ACL 2025. https://aclanthology.org/2025.acl-long.782/