你究竟需要多少名標註者？

"我需要多少名標註者？"是任何項目最先冒出來的問題之一，而誠實的答案是：這取決於三件事——任務有多清晰、你能花多少預算，以及你打算如何處理分歧。沒有什麼神奇的數字，但確實有一些不錯的預設選擇。

Coverage versus overlap

覆蓋與重疊

每一份標註預算都要在兩個相互競爭的目標之間分配。覆蓋意味著標註更多不同的資料，每條標註一次。重疊意味著對同一批資料標註多次，以便你能衡量一致性並進行聚合。你無法同時把兩者都做到最大。

一個行之有效的做法是：先對一小部分子集做完全重疊的標註，用來衡量一致性並確認任務定義清晰，然後在你信任它之後，對其餘資料只做單人標註。這樣你就能獲得品質訊號，而無需為所有資料都付出三倍的標註成本。

經驗法則

對於類別清晰、一致性高的任務，讓一名標註者處理大部分資料，再讓兩到三名標註者在 5% 到 10% 的樣本上重疊標註，以監控品質。

對於中等主觀程度的任務，每條資料使用三名標註者，並以多數投票或按能力加權的模型來裁定。

對於真正主觀的工作，比如判斷冒犯性、情緒或偏好，每條資料使用五名或更多標註者，並考慮保留標籤的完整分佈，而不是把它歸併為單一答案。這種分歧往往是真實的訊號，而非噪聲。

更多的標註者能降低單條資料聚合標籤的方差，但收益遞減。從一名標註者增加到三名，其幫助遠大於從七名增加到九名。

在 Potato 中設定重疊

Potato 的自動分配功能控制著每條資料由多少名標註者檢視，以及資料如何在標註者之間分發。

automatic_assignment:
  on: true
  instance_per_annotator: 50     # items each person labels
  labels_per_instance: 3         # annotators per item (overlap)

人數無法替代品質控制

如果其中一些標註者並不可靠，增加人手也無濟於事。把重疊標註與黃金標準資料和注意力檢查結合起來，這樣你就能在聚合之前對低品質的工作進行加權或剔除。完整的推理過程，請參見你需要多少名標註者？指南和標註者間一致性。有關實現細節，請參見源文件和品質控制文件。