Skip to content

ペア比較とベスト–ワースト尺度法

評価の代わりに比較判断を使うべき場面、ペア比較とベスト–ワースト尺度法（MaxDiff）、そして Potato でのそれらの設定方法を解説します。

人は安定した絶対値の点数を付けるのは苦手ですが、比較は得意です。比較によるアノテーションはこの性質を利用します。「これを 1〜5 で評価して」ではなく「A と B のどちらが良いか」を尋ねるのです。 主な形式はペア比較とベスト–ワースト尺度法の 2 つです。これらは現代の AI の選好データの土台になっています。

背景については Pairwise comparison と MaxDiff を参照してください。

ペア比較

2 つの項目を提示し、どちらが勝つかを尋ねます。単純で一致度が高く、人間のフィードバックからの強化学習のために人間の選好データを集める際に使われる形式です。

yaml
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: "Which response better answers the question?"
    mode: binary
    allow_tie: true
    sequential_key_binding: true

引き分けを許すことで、差のないところにアノテーターが無理に差を作り出すのを防げます。どれだけ良いかを捉えたい場合は、mode を尺度（例：「A がかなり良い … B がかなり良い」）に切り替えます。ペア選好のショーケースが動作する実例です。

多くのペア判断は、Elo レーティングシステムや Bradley–Terry モデルなどのモデルによって 1 つのランキングにまとめられます。

ベスト–ワースト尺度法（MaxDiff）

小さな集合（多くは 4 項目）を提示し、ベストとワーストを選んでもらいます。1 回の判断が単独のペア投票より多くの情報を持つのは、集合の両端を一度に固定するからです。

yaml
annotation_schemes:
  - annotation_type: best_worst_scaling
    name: fluency
    description: "Pick the most and least fluent translation."
    tuple_size: 4
    best_label: "Most fluent"
    worst_label: "Least fluent"

ベスト–ワースト尺度法は単純な選択から信頼性の高い間隔尺度に近いスコアを生み出し、多数のアノテーターから校正済みのランキングを構築するために広く使われています。

評価より比較を選ぶべき場面

  • 構成概念を絶対的に固定しづらい場合（ユーモア、有用性、美的品質など）。
  • 高い一致度が必要で、Likert 尺度のノイズが大きい場合。
  • モデルの学習やアラインメントのための選好データを構築している場合。

代償として得られるのは相対的な情報です。絶対的なスコアを復元するにはモデル（Elo、Bradley–Terry）が必要になることがあります。

さらに読む