Skip to content

选择标注方案

如何把你的研究问题映射到合适的 Potato 标注类型：radio、multiselect、span、likert、slider、pairwise、best-worst、multirate、rubric 等等。

标注方案决定了你向标注者提出的问题的形态。选择时先问清楚你需要哪种答案：一个类别、多个类别、条目中的某个区域、量表上的某个位置，还是条目之间的比较。 Potato 支持 30 多种标注类型，本指南帮你缩小范围。

完整的选项及其设置请参见标注方案参考。

一份决策指南

如果你需要…使用此类型示例
恰好一个类别radio情感：正面 / 负面 / 中性
同时选多个类别multiselect文章中出现的主题
从长列表中选一个类别select（下拉框）国家、语言、ICD 编码
文本/音频内部的某个区域span命名实体、错误跨度
量表上的某个位置likert赞同度、流畅度、质量
一个连续数值slider置信度 0–100
两个条目中较好的一个pairwise哪个模型回复更好？
一组中最好和最差的项best_worst_scaling按流畅度对译文排序
对许多条目用同一量表multirate给每篇检索到的文档评分
多个加权标准rubric_evalMT-Bench 风格的 LLM 打分
一段书面回答text理由说明、修正

实例：单标签还是多标签

如果类别之间互斥，使用 radio，让标注者必须选一个：

yaml
annotation_schemes:
  - annotation_type: radio
    name: stance
    description: "What stance does the post take?"
    labels: [Supports, Opposes, Neutral]
    sequential_key_binding: true

如果一个条目可以同时拥有多个标签，使用 multiselect 并设置数量限制：

yaml
annotation_schemes:
  - annotation_type: multiselect
    name: topics
    description: "Select every topic the article covers."
    labels: [Politics, Technology, Health, Sports, Business]
    min_selections: 1
    max_selections: 3

sequential_key_binding: true 让标注者按数字键而不是点击鼠标，对大批量任务能显著提速。

组合多个方案以应对更复杂的任务

你可以在同一屏幕上叠加多个方案，例如一个类别加上一段自由文本理由。再配合条件逻辑，让理由只在需要时才出现：

yaml
annotation_schemes:
  - annotation_type: radio
    name: quality
    description: "Is this answer acceptable?"
    labels: [Good, Bad]
  - annotation_type: text
    name: reason
    description: "If Bad, briefly explain why."
    label_requirement:
      required: false

延伸阅读