跳轉到內容

資料標註術語表

標註研究所用術語的簡明定義，從 Krippendorff's alpha 和裁定到 IOB 標記和過程獎勵模型，每條都連結到一篇指南。

這份術語表定義了資料標註中使用的 50 個術語，按項目中各術語出現的階段分組。每個詞條用一到三句話給出定義，並連結到深入介紹該術語的 Potato 指南。

各組依次從研究設計，經過一致性、品質控制、模型輔助標註和 LLM 評估，到質性編碼和資料集文件。存在公認外部定義的地方，詞條會連結到維基百科或提出該術語的論文。標註概念常見問題回答了關於標註的常見問題，例如一項任務需要多少名標註者。標註學習路徑按目標把指南排成閱讀順序。

研究設計

條目（Item）

條目是資料檔案中供標註者標註的一個單位，例如一個句子或一張影像。Potato 從配置中 item_properties 下指定的欄位讀取每個條目的 ID 和內容。資料格式介紹了 Potato 能讀取的檔案佈局。

標註方案（Annotation scheme）

標註方案是標註者為每個條目回答的一個問題或一個標註元件，例如單選類別或一組高亮的跨度。Potato 配置在 annotation_schemes 下列出各方案，每個方案指定一個 annotation_type。選擇標註方案把研究需要的回答類型與方案對應起來。

標籤集（Label set）

標籤集，也稱 tagset，是標註者在一個方案中從中選擇的封閉類別列表。在單選方案中，各類別不應重疊，並應覆蓋每個條目，列表不夠用時可加一個"Other"標籤。命名實體識別展示了團隊如何把標準實體標籤集裁剪到某個領域。

標註指南（Annotation guidelines）

標註指南是告訴標註者哪個標籤適用於哪個條目的書面規則，包含定義和疑難案例的示例。指南會在研究期間變化，每次修訂都有版本號，讀者就能把某個標籤追溯到給出該標籤時有效的規則。撰寫有效的標註指南給出了文件的結構。

試標（Pilot）

試標是在正式研究之前進行的一小輪標註，用來找出標註者理解不一的規則和條目。團隊審查試標中的每一處分歧，在規則不清的地方修訂指南，並再做一輪試標，直到一致性趨於穩定。先試標，再修訂描述了這一迴圈。

重疊度（Overlap）

重疊度是獨立標註每個條目的標註者人數。重疊度為兩人或以上，一致性才可以衡量，而在預算固定時，每個條目多一名標註者，就意味著標註的不同條目變少。Potato 用 num_annotators_per_item 設定重疊度，你需要多少位標註者？按任務給出了經驗法則。

跨度（Span）

跨度是條目內被標註的一段，記錄為起始位置、結束位置和標籤。文本中的命名實體和模型輸出中的幻覺陳述，都是以跨度來標註的。跨度標註介紹了文本和音訊中的跨度任務。

IOB 標記（IOB tagging）

IOB 標記也稱 BIO 標記，把跨度編碼為每個詞元一個標記。B- 標記跨度的第一個詞元，I- 標記跨度內較後的詞元，O 標記不屬於任何跨度的詞元。該格式可追溯到 Ramshaw 和 Marcus（1995），Potato 的 conll_2003 匯出會把跨度標註轉換為 BIO 標記。

李克特量表（Likert scale）

李克特量表請標註者在一組簡短的有序標籤點上評定同意程度或強度，通常是五點或七點。由於李克特評分是有序的，對它的一致性應使用序數 alpha 或加權 kappa，而不是名義係數。評分量表介紹了點數和標籤的設定。

成對比較（Pairwise comparison）

成對比較向標註者展示兩個條目，問在某個給定標準上哪一個更好。每位標註者使用絕對量表的方式各不相同，而比較只問哪個條目更好。成對比較與最佳-最差量表把這種格式與評分做了對比。

最佳-最差量表（Best–worst scaling，BWS）

最佳-最差量表向標註者展示一小組條目，常為四個，並問在某個給定標準上哪個最好、哪個最差。統計每個條目被選為最佳和最差的次數，就得到每個條目一個實數分數，Kiritchenko 和 Mohammad（2017）發現 BWS 在情感強度上比評分量表更可靠。Potato 的 bws 標註類型實現了這一格式，最佳-最差量表計算器可把選擇結果轉為分數。

Bradley–Terry 模型（Bradley–Terry model）

Bradley–Terry 模型根據大量成對比較為每個條目估計一個分數。在該模型中，一個條目擊敗另一個條目的機率只取決於這兩個條目的分數。模型兩兩對比用該模型根據人的投票為 LLM 排名，Bradley–Terry 計算器則把該模型擬合到一份比較結果的 CSV 上。

邊界框（Bounding box）

邊界框是標註者在影像或影片幀中圍繞物體畫出的矩形，儲存為座標和標籤。如何用 Potato 標註圖片在介紹多邊形和關鍵點的同時也介紹了邊界框。

交併比（Intersection over union，IoU）

交併比用兩個形狀共有的面積除以兩者合起來覆蓋的面積，取值從 0（無重疊）到 1（形狀完全相同）。IoU 是應用於區域的 Jaccard 指數，時間 IoU 則把同樣的比值用在時間片段上。標註者之間的平均 IoU 在大而居中的物體上即使沒有一致也會偏高，如何測量邊界框上的標註者間一致性會對該數值做偶然校正。

一致性與可靠性

標註者間一致性（Inter-annotator agreement，IAA）

標註者間一致性是指獨立標註相同條目的標註者給出相同標籤的程度。研究用經過偶然校正的係數報告 IAA，以證明任務定義明確。標註者間一致性詳解介紹了這些係數，維基百科把這個主題稱為評分者間信度。

百分比一致率（Percent agreement）

百分比一致率是得到相同標籤的條目所佔比例，或一個條目上標註者兩兩配對中得到相同標籤的比例。百分比一致率不考慮偶然因素，兩名標註者即使都在隨機標註，只要各自把 90% 的條目標為同一個標籤，也會在約 82% 的條目上一致。Potato 的 reliability 匯出會為每個問題同時報告百分比一致率和 Krippendorff's alpha。

經偶然校正的一致性（Chance-corrected agreement）

經偶然校正的係數，把觀察到的一致性與標註者按觀察到的標籤頻率隨機標註時預期的一致性相比較。數值為 1 表示完全一致，0 表示一致性與偶然水平相當，負值表示一致性低於偶然。Cohen's kappa、Fleiss' kappa 和 Krippendorff's alpha 是常見的經偶然校正的係數。

Cohen's kappa

Cohen's kappa 衡量恰好兩名標註者在相同條目上經偶然校正的一致性。Cohen（1960）為名義類別提出了該係數，加權 kappa 則通過給接近的錯誤部分得分，把 kappa 擴充套件到有序類別。一致性計算器可根據標籤的 CSV 計算 kappa。

Fleiss' kappa

當每個條目都收到相同數量的標籤、標註者人數不限時，Fleiss' kappa 衡量經偶然校正的一致性。Fleiss（1971）為名義類別提出了該係數。存在缺失標籤或重疊不均時，Krippendorff's alpha 更適合這樣的資料。

Krippendorff's alpha

Krippendorff's alpha 衡量任意數量標註者之間經偶然校正的一致性，並能容忍缺失標籤。alpha 有適用於名義、有序、區間和比率資料的不同版本。質性研究中的編碼者間信度解釋了慣用的 0.800 和 0.667 閾值，一致性指南的常見問題介紹了負值。

成對 F1（Pairwise F1）

成對 F1 衡量跨度上的一致性，做法是把一名標註者的跨度當作參照、另一名標註者的跨度當作預測，再對所有標註者兩兩配對的 F1 取平均。kappa 不太適合跨度任務，因為沒有人標出的文本構不成一組固定的、可供計數的條目。跨度與結構化輸出的一致性介紹了精確和部分邊界匹配，跨度與邊界框一致性計算器負責計算分數。

一致性漂移（Agreement drift）

一致性漂移是指在研究進行過程中，標註者運用指南的方式逐漸發生變化。正式研究前的一次一致性檢查，無法發現漂移。Potato 在 /admin/iaa 的一致性報告會在已完成條目的連續視窗中為一致性打分，當最新視窗低於項目基線的幅度達到 calibration.drop_threshold 設定的比例時，就提示進行一輪重新校準。

品質控制

黃金標準（Gold standard）

黃金標準條目的答案經過專家核實。把黃金條目混入標註流，就能得到每位標註者的即時準確率，一些眾包工具把黃金條目稱為 honeypot。Potato 的 gold_standards 塊設定黃金條目出現的頻率和最低準確率（accuracy.min_threshold，預設 0.7）。

注意力檢查（Attention check）

注意力檢查是指令中寫明瞭正確答案的條目，例如"Select Disagree for this item."。沒有選出所述答案的標註者就是沒有認真閱讀，Oppenheimer、Meyvis 和 Davidenko（2009）把問卷版本命名為指令操縱檢查（instructional manipulation check）。Potato 的 attention_checks 塊每隔 frequency 個條目插入一次檢查，預設在 2 次失敗後警告標註者，5 次失敗後將其遮蔽。

培訓階段（Training phase）

培訓階段在正式任務之前給標註者帶有已知答案和反饋的練習條目，只有達到及格分數的標註者才能進入正式任務。Potato 的 training 塊設定練習條目、通過標準和失敗後的處理方式。培訓階段介紹了各選項。

裁定（Adjudication）

裁定是指由專家審查標註者標得不一致的條目並確定最終標籤。Potato 的 adjudication 塊會把一致性低於 agreement_threshold（預設 0.75）的每個條目排入佇列，交給 adjudicator_users 中列出的使用者。裁定與分歧處理把裁定與聚合做了比較。

多數投票（Majority vote）

多數投票以多數標註者給出的標籤作為條目的最終標籤。多數投票對粗心的標註者和認真的標註者一視同仁，2–1 的分裂與 3–0 的全票結果等同。聚合眾包標籤介紹了按估計可靠性給標註者加權的模型。

Dawid–Skene 模型（Dawid–Skene model）

Dawid–Skene 模型僅根據標籤矩陣，用 EM 演算法同時估計每個條目的真實標籤和每位標註者的混淆矩陣。Dawid 和 Skene（1979）提出該模型用於估計觀察者的錯誤率。Dawid–Skene 計算器把該模型擬合到一份標籤 CSV 上，聚合眾包標籤把該模型與多數投票做了比較。

MACE

MACE（Multi-Annotator Competence Estimation）把每位標註者建模為要麼知道答案、要麼在猜測，並估計每個條目的真實標籤，同時為每位標註者給出 0 到 1 的能力分數。Hovy 等人（2013）提出了 MACE。MACE 記錄了 Potato 如何在研究的標籤上執行該模型。

軟標籤（Soft label）

軟標籤為條目記錄各類別上的機率分佈，而不是單一類別。軟標籤來自一名標註者把分數分配到多個標籤上，或來自多名標註者選擇的分佈，軟標籤保留了多數投票所丟棄的分歧。Potato 的 soft_label 標註類型收集的是第一種。

模型輔助標註

預標註（Pre-annotation）

預標註向標註者展示由模型提出的標籤，稱為預標籤。標註者對每個預標籤選擇接受、修正或拒絕，核對一個品質好的預標籤比從頭標註更省時間。Potato 的 pre_annotation 塊從檔案或資料中的某個欄位載入預測。

走過場（Rubber-stamping）

走過場是指不核對預標籤就接受，是一種自動化偏差。僅憑標籤本身計算的任何度量，都無法區分走過場的資料與認真複核的資料，一致性之所以上升，是因為接受同一個預標籤的標註者在構造上就是一致的。如何在預標註資料中區分認真複核與走過場根據工作所用的時間把兩者區分開。

主動學習（Active learning）

主動學習按每個未標註條目對用迄今收集的標籤訓練出的模型有多大資訊量，來為標註佇列排序。目標是用比隨機抽樣更少的標籤達到目標模型準確率。面向標註的主動學習介紹了這一迴圈，Potato 的 active_learning 塊則在研究中配置該迴圈。

不確定性取樣（Uncertainty sampling）

不確定性取樣是最簡單的主動學習策略，挑選模型對預測標籤最沒有把握的條目。選出的條目聚集在決策邊界附近，已標註樣本便不再能代表語料。Potato 的 random_sample_percent 讓佇列中保留一定比例的隨機條目（預設 0.2），主動學習參考記錄了其他策略。

LLM 與智慧體評估

以 LLM 作評審者（LLM-as-a-judge）

LLM 評審者是被提示去給輸出打分或做比較的語言模型，通常依據評分標準。Zheng 等人（2023）發現，作為評審者的 GPT-4 與受控和眾包的人類偏好的一致程度都超過 80%。如何衡量 LLM 評審者與人類標註者之間的一致性把評審者與人的一致性，同人與人之間的一致性做了比較。

校準（Calibration）

當所述置信度與準確率相符時，評審者或分類器就是校準的，一個校準良好的評審者在 80% 置信度下給出的判斷，約有 80% 是正確的。在標註管理中，校準輪次會讓標註者回到有已知答案的共同示例上，以重新統一他們對指南的理解。LLM 評審者指南介紹了第一種含義，一致性漂移介紹了第二種。

評分標準（Rubric）

評分標準把一個品質判斷拆成若干命名的標準，每個標準按定義好的量表打分。分別為每個標準打分，可以看出輸出在哪個標準上不合格，而一個總體分數會掩蓋原因。基於評分量表的 LLM 評估介紹了評分標準的設計。

偏好資料（Preference data）

偏好資料記錄人們針對同一提示詞，更偏好兩個或多個模型回覆中的哪一個。成對偏好判斷是基於人類反饋的強化學習（RLHF）中獎勵模型的常用訓練資料。收集 RLHF 與偏好資料介紹瞭如何用 Potato 的 pairwise 標註類型收集這類資料。

智慧體軌跡（Agent trajectory）

智慧體軌跡記錄一次智慧體執行的每個步驟，從智慧體的推理到每次工具呼叫和工具輸出。標註軌跡就是判斷整次執行，並標出出錯的步驟，為每個步驟給出錯誤類別和嚴重程度。標註智慧體軌跡介紹了應當收集哪些標籤。

過程獎勵模型（Process reward model，PRM）

過程獎勵模型為解答中的每個推理步驟打分，而不只看最終答案，訓練 PRM 需要說明每個步驟是否正確的步驟級標籤。Lightman 等人（2023）以 PRM800K 為名釋出了 80 萬條步驟級人工標籤，並發現在 MATH 題上，過程監督優於結果監督。過程獎勵模型與步驟級標註介紹瞭如何用 Potato 的 process_reward 標註類型收集。

幻覺（Hallucination）

幻覺是模型輸出中既沒有輸入支援、也沒有已知事實支援的陳述。把沒有依據的詞語標為帶錯誤標籤的跨度，比對整條回答只打一個標記能得到更好用的資料。用跨度標註檢測幻覺給出了錯誤所用的標籤集。

質性編碼

程式碼與編碼（Code and coding）

在質性研究中，編碼是給訪談、田野筆記或開放式回答的摘錄附上簡短標籤，這些標籤稱為程式碼。演繹程式碼在編碼開始之前就來自理論或研究問題，歸納程式碼則在編碼過程中來自資料。為質性編碼準備訪談轉錄稿介紹了從錄音到已編碼摘錄的各個步驟。

碼本（Codebook）

碼本列出每個程式碼，附有定義、適用與不適用的規則，以及來自資料的示例。Potato 會給每條儲存的標註蓋上當時生效的碼本修訂號，該標記顯示每段摘錄是用哪個版本的碼本編碼的。為質性研究編制碼本介紹了詞條的撰寫，質性編碼的共享碼本記錄了該功能。

內容分析（Content analysis）

內容分析依據由固定變數和類別構成的碼本，對文章或演講等單位進行編碼。至少兩名編碼者對一個樣本編碼，研究要為每個變數報告編碼者間信度。Potato 中的定量內容分析：碼本與 Krippendorff's alpha從頭到尾演示了這一方法。

主題分析（Thematic analysis）

主題分析是在質性資料集中發展主題的一類方法，Braun 和 Clarke（2006）為心理學闡述了該方法。反思性主題分析把編碼視為一種詮釋，因此不使用一致性係數。當方法主張不用係數時闡述了這兩種立場。

編碼者間信度（Intercoder reliability，ICR）

編碼者間信度是質性研究和內容分析中的用語，指對相同摘錄應用同一份碼本的編碼者之間的一致性。研究通常在佔資料 10% 到 25% 的雙重編碼樣本上報告 Krippendorff's alpha 或 Cohen's kappa。質性研究中的編碼者間信度把係數與編碼設計相匹配。

備忘錄（Memo）

分析備忘錄是研究者在編碼期間寫下的、關於資料和程式碼的筆記，例如某個程式碼為何適合某個段落。Potato 可把備忘錄附在條目、文本選區或影像上的形狀上，並把備忘錄儲存在項目資料庫中。備忘錄介紹了回覆、問題和備忘錄匯出。

資料集文件

資料規格表（Datasheet）

資料集的資料規格表回答一組關於資料集動機、構成、收集過程和推薦用途等主題的標準問題。Gebru 等人（2021）參照每個電子元件所附的規格表，提出了資料集的規格表。記錄資料集與模型把資料規格表與另外兩種標準做了比較。

資料宣告（Data statement）

資料宣告描述語言資料集的整理依據、語言變體、說話人和標註者的人口統計資訊，以及指南。Bender 和 Friedman（2018）為自然語言處理提出了資料宣告。資料宣告能讓讀者判斷資料集代表了哪些人群。

模型卡（Model card）

模型卡報告訓練好的模型的預期用途、侷限性，以及按人口統計及其他群體分解的效能。Mitchell 等人（2019）提出了模型卡。資料規格表或資料宣告中的標註者人口統計資訊，使模型卡中各群體的結果得以解讀。

這些術語在 Potato 配置中的位置

上面的許多術語對應 Potato 中的一個配置鍵或一種標註類型。下表列出了有直接對應設定的術語。

術語Potato 設定
條目item_properties（id_key、text_key）
標註方案annotation_schemes 下的一個條目
重疊度num_annotators_per_item
黃金標準gold_standards
注意力檢查attention_checks
培訓階段training
裁定adjudication
一致性漂移calibration
預標註pre_annotation
主動學習、不確定性取樣active_learning
李克特量表、成對比較、BWS、軟標籤、跨度、PRMannotation_type: likert、pairwise、bws、soft_label、span、process_reward
Krippendorff's alpha、百分比一致率reliability 匯出
IOB 標記conll_2003 匯出

把這些塊加入一份可執行的配置，就可以為每個條目收集三個標籤、在黃金條目上為標註者打分，並把一致性低的條目送交裁定者：

yaml
num_annotators_per_item: 3
 
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  frequency: 20          # about one gold item per 20 items
  accuracy:
    min_threshold: 0.8   # stricter than the 0.7 default
 
adjudication:
  enabled: true
  adjudicator_users: ["lead_annotator"]
  agreement_threshold: 0.75   # items below the threshold go to the adjudicator

黃金檔案中的每條記錄都需要一個 id 和一個 gold_label，完整格式見品質控制。

延伸閱讀

參考文獻

  1. Bender, E. M., & Friedman, B. (2018). Data statements for natural language processing: Toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6. https://aclanthology.org/Q18-1041/
  2. Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika, 39(3/4), 324. https://doi.org/10.2307/2334029
  3. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa
  4. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
  5. Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Applied Statistics, 28(1), 20. https://doi.org/10.2307/2346806
  6. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
  7. Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92. https://doi.org/10.1145/3458723
  8. Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E. (2013). Learning whom to trust with MACE. Proceedings of NAACL-HLT 2013. https://aclanthology.org/N13-1132/
  9. Kiritchenko, S., & Mohammad, S. (2017). Best-worst scaling more reliable than rating scales: A case study on sentiment intensity annotation. Proceedings of ACL 2017 (Volume 2: Short Papers). https://aclanthology.org/P17-2074/
  10. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., et al. (2023). Let's verify step by step. arXiv:2305.20050. https://arxiv.org/abs/2305.20050
  11. Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220-229. https://doi.org/10.1145/3287560.3287596
  12. Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872. https://doi.org/10.1016/j.jesp.2009.03.009
  13. Ramshaw, L., & Marcus, M. (1995). Text chunking using transformation-based learning. Third Workshop on Very Large Corpora. https://aclanthology.org/W95-0107/
  14. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. https://arxiv.org/abs/2306.05685