評価尺度

評価尺度はカテゴリではなく程度——どれだけ肯定的か、どれだけ流暢か、どれだけ役立つか——を捉えます。よく使われる形式は 2 つあり、離散的な Likert 尺度（例：1〜5）と連続的なスライダーです。 尺度の小さな設計上の選択は、思っている以上にデータを左右します。

Likert：離散的な刻み

比較しやすく集計しやすい評価がほしいときは Likert 尺度を使います。

annotation_schemes:
  - annotation_type: likert
    name: fluency
    description: "How fluent is this translation?"
    size: 5
    min_label: "Not fluent at all"
    max_label: "Perfectly fluent"

重要な設計判断：

• 刻みは何段階にするか。 5 段階が無難な既定値です。アノテーターが使いこなせるなら、7 段階でより細かい解像度が得られます。偶数の段階では中立の中点がなくなり、どちらかに寄ることを強います。「中立」が逃げになっている場合には有用ですが、中立が実在する場合には危険です。
• 両端、できれば各段階にラベルを付ける。 ラベル付きの段階は、数字だけの場合より一貫して解釈されます。
• 方向を一貫させる。 すべての尺度で向きをそろえ、アノテーターが習慣でひっくり返さないようにします。

スライダー：連続的な値

確信度のパーセンテージや感情の強度など、背後にある量が本当に連続的なときは slider を使います。

annotation_schemes:
  - annotation_type: slider
    name: confidence
    description: "How confident are you in your label?"
    min: 0
    max: 100
    step: 1
    min_label: "Guessing"
    max_label: "Certain"

連続尺度は解像度が高い一方で一致度は下がります。「67 か 72 か」という細かな感覚は人によって共有されていないからです。一致度が必要なら出力をビンにまとめましょう。

設計で回避すべきバイアス

• 黙従バイアス：同意しがちな傾向。同意が既定にならないよう、逆方向の表現の項目を混ぜます。黙従バイアスを参照してください。
• 中心化傾向：中央に集まる傾向。明確な端点ラベルと、適切な場合は偶数の段階がこれに対抗します。
• アンカリング：最初のいくつかの項目が基準を決めてしまいます。冒頭に短いキャリブレーション用のセットを置くと役立ちます。

単一の尺度を超えて

• multirate を使えば、多くの項目を同じ尺度で一度に評価できます（たとえば検索された各文書）。RAG の評価を参照してください。
• rubric_eval で重み付けされた複数の基準を採点します。ルーブリックに基づく LLM 評価を参照してください。
• MOS のような音声品質の評価も同じ Likert の仕組みを使います。音声アノテーションを参照してください。

さらに読む

• アノテーションスキームの選び方
• ペア比較とベスト・ワースト尺度法。比較が評価に勝るとき
• アノテーター間一致度の解説