Skip to content

選擇標註方案

如何把你的研究問題對映到合適的 Potato 標註類型：radio、multiselect、span、likert、slider、pairwise、best-worst、multirate、rubric 等等。

標註方案決定了你向標註者提出的問題的形態。選擇時先問清楚你需要哪種答案：一個類別、多個類別、條目中的某個區域、量表上的某個位置，還是條目之間的比較。 Potato 支援 30 多種標註類型，本指南幫你縮小範圍。

完整的選項及其設定請參見標註方案參考。

一份決策指南

如果你需要…使用此類型示例
恰好一個類別radio情感：正面 / 負面 / 中性
同時選多個類別multiselect文章中出現的主題
從長列表中選一個類別select（下拉框）國家、語言、ICD 編碼
文本/音訊內部的某個區域span命名實體、錯誤跨度
量表上的某個位置likert贊同度、流暢度、品質
一個連續數值slider置信度 0–100
兩個條目中較好的一個pairwise哪個模型回覆更好？
一組中最好和最差的項best_worst_scaling按流暢度對譯文排序
對許多條目用同一量表multirate給每篇檢索到的文件評分
多個加權標準rubric_evalMT-Bench 風格的 LLM 打分
一段書面回答text理由說明、修正

實例：單標籤還是多標籤

如果類別之間互斥，使用 radio，讓標註者必須選一個：

yaml
annotation_schemes:
  - annotation_type: radio
    name: stance
    description: "What stance does the post take?"
    labels: [Supports, Opposes, Neutral]
    sequential_key_binding: true

如果一個條目可以同時擁有多個標籤，使用 multiselect 並設定數量限制：

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: "Select every topic the article covers."
    labels: [Politics, Technology, Health, Sports, Business]

sequential_key_binding: true 讓標註者按數字鍵而不是點選滑鼠，對大批次任務能顯著提速。

組合多個方案以應對更復雜的任務

你可以在同一螢幕上疊加多個方案，例如一個類別加上一段自由文本理由。再配合條件邏輯，讓理由只在需要時才出現：

yaml
annotation_schemes:
  - annotation_type: radio
    name: quality
    description: "Is this answer acceptable?"
    labels: [Good, Bad]
  - annotation_type: text
    name: reason
    description: "If Bad, briefly explain why."
    label_requirement:
      required: false

延伸閱讀