Skip to content

撰寫有效的標註指南

如何編寫能產出一致標籤的標註手冊，涵蓋清晰的定義、實戰示例、邊界情形規則，以及"試標—修訂"迴圈。

標註指南（即"標註手冊"）是標註者所遵循的規則手冊。決定標籤品質的最大因素，是指南能否讓兩個認真的人選出相同的標籤，而不是指南有多詳盡。 一份簡短、精準、附有優質示例的手冊，勝過一份冗長含糊的手冊。

這一主題與社會科學中的內容分析相通——標註手冊的設計在該領域已被研究了數十年，它最終決定了你的評分者間信度。

一份好手冊應包含什麼

  • 每個標籤一句話定義，外加一句說明該標籤不是什麼。否定式定義能預防最常見的分歧。
  • 實戰示例，包括邊界情形。來自你自己資料的真實條目勝過憑空編造的例子。
  • 決勝規則。 當兩個標籤都可能適用時，說明哪個優先。一致性的成敗正是在這裡決出。
  • "拿不準時"的預設選項和一條退路（"無法判斷"選項），這樣標註者就不會默默地瞎猜。

把規則放在標註者看得到的地方

Potato 可以把說明和每個標籤的提示直接顯示在控制元件旁邊，讓指南出現在做決策的當下，而不是躺在另一份文件裡：

yaml
annotation_schemes:
  - annotation_type: radio
    name: toxicity
    description: "Is this comment toxic? Toxic = rude, disrespectful, or likely to make someone leave a conversation."
    labels: [Toxic, Not toxic, Can't tell]

"Can't tell" 選項很重要：它把真正的歧義與被迫的猜測區分開來，從而讓你的一致性指標保持真實。

先試標，再修訂

指南不可能一次就寫對。先做一次小規模試標，逐一檢視標註者出現分歧的每個條目，判斷究竟是指南不清楚，還是條目本身確實模稜兩可。修訂指南後再次試標。通常兩到三輪就能讓標籤集趨於穩定。

Potato 的黃金標準與注意力檢查讓你能把已定論的案例編碼為檢查項，使日後的標註者保持校準。

延伸閱讀