アノテーションスキームの選び方
研究上の問いを適切な Potato のアノテーションタイプ（radio、multiselect、span、likert、slider、pairwise、best-worst、multirate、rubric など）に対応づける方法。
アノテーションスキームは、アノテーターに投げかける問いの形そのものです。必要な答えがどの種類かを考えて選びましょう。1 つのカテゴリか、複数のカテゴリか、項目内の領域か、尺度上の位置か、それとも項目同士の比較か。 Potato は 30 種類を超えるアノテーションタイプに対応しており、本ガイドではその絞り込み方を示します。
選択肢の一覧と設定の詳細はアノテーションスキームのリファレンスを参照してください。
選定ガイド
| 必要なもの | 使うタイプ | 例 |
|---|---|---|
| ちょうど 1 つのカテゴリ | radio | 感情：肯定 / 否定 / 中立 |
| 複数のカテゴリを同時に | multiselect | 記事に含まれるトピック |
| 長いリストから 1 つのカテゴリ | select（ドロップダウン） | 国、言語、ICD コード |
| テキスト/音声内の領域 | span | 固有表現、誤りスパン |
| 尺度上の位置 | likert | 同意度、流暢さ、品質 |
| 連続値 | slider | 確信度 0–100 |
| 2 項目のうち良い方 | pairwise | どちらのモデルの返答が良いか？ |
| 集合の中の最良と最悪 | best_worst_scaling | 流暢さで翻訳を順位付け |
| 多数の項目に同じ尺度 | multirate | 検索された各文書を評価 |
| 重み付けされた複数の基準 | rubric_eval | MT-Bench 形式の LLM 採点 |
| 記述による回答 | text | 根拠、修正 |
実例：単一ラベルか複数ラベルか
カテゴリが互いに排他的なら、radio を使ってアノテーターに 1 つだけ選ばせます。
yaml
annotation_schemes:
- annotation_type: radio
name: stance
description: "What stance does the post take?"
labels: [Supports, Opposes, Neutral]
sequential_key_binding: true1 つの項目が複数のラベルを同時に持ちうる場合は、multiselect を使って上限・下限を設定します。
yaml
annotation_schemes:
- annotation_type: multiselect
name: topics
description: "Select every topic the article covers."
labels: [Politics, Technology, Health, Sports, Business]
min_selections: 1
max_selections: 3sequential_key_binding: true を指定すると、アノテーターはクリックの代わりに数字キーを押せるようになり、大量の作業を高速化できます。
スキームを組み合わせてより複雑なタスクに
1 つの画面に複数のスキームを重ねられます。たとえばカテゴリと自由記述の理由を組み合わせるなどです。条件ロジックと併用すれば、理由欄を必要なときだけ表示できます。
yaml
annotation_schemes:
- annotation_type: radio
name: quality
description: "Is this answer acceptable?"
labels: [Good, Bad]
- annotation_type: text
name: reason
description: "If Bad, briefly explain why."
label_requirement:
required: false