LLM の人手評価と選好データのツール比較

チームは、人手による選好データと LLM の評価を、Labelbox や Label Studio のようなアノテーションプラットフォームで、評価者も提供する Scale AI や Surge AI のようなマネージドサービスで、あるいは Argilla、Label Studio Community Edition、Potato のような無料のツールで集めています。Potato は、ペアワイズ選好、リッカートとルーブリックのスコア、ベスト・ワースト・スケーリングのための、Labelbox、Label Studio Enterprise、マネージドサービスのソフトウェア側に代わる無料のセルフホスト型の選択肢で、アイテムごとに複数の評価者をつけ、すべてのペアについて一致度を報告します。Potato は評価者を提供しないため、評価者は自分のチームの人か、Prolific で募集した参加者です。

言語モデルの人手評価は、人にモデルの出力を判断してもらいます。ペアワイズ選好の判断では、評価者は一つのプロンプトと二つの応答を見て、より良い応答を選ぶか、引き分けとします。人間のフィードバックからの強化学習（RLHF）では、報酬モデルが選好のペアから学習します。直接選好最適化（DPO）は、報酬モデルなしで、プロンプト、chosen、rejected の三つ組でモデルを訓練します。Bradley-Terry モデルは、多数のペアワイズの結果を、モデルごとに一つの強さのスコアに変え、公開リーダーボードは、このモデルを使って投票からモデルを順位付けします。ルーブリックは、一つの応答を、複数の名前付きの基準で採点し、多くはリッカート尺度で行います。ベスト・ワースト・スケーリングは、評価者に、小さな集合の中で最良と最悪の出力を尋ねます。レッドチーミングのラベルは、敵対的なプロンプトが有害な回答を引き出したかどうかを記録します。LLM-as-a-judge は出力を自動で採点し、サンプルに対する人手のラベルが、その判定者を信頼できるかどうかを示します（Zheng ら、2023）。

このページは、モデルの出力に対する人手の判断を扱います。AI エージェント評価ツール比較は、LangSmith、Langfuse、Arize Phoenix、Potato でのエージェントのトレースの人手レビューを扱い、Potato での LLM 評価は、Potato の評価タスクを一か所にまとめています。

比較する価値のある LLM 評価ツール

ライセンスと価格は、各プロジェクト自身のページによるもので、2026-10-29 に確認しました。

Argilla のリポジトリは、元の作者たちが離れたこと、そしてプロジェクトがバグ修正とパッチは公開するが新機能は公開しないことを述べています。Argilla の最新リリース 2.8.0 は、2025 年 3 月に出ました。Label Studio のレッドチーミングと、本番の RLHF のチャットテンプレートは Label Studio Enterprise を必要とし、ペアワイズの RLHF と並べての比較のテンプレートには、そのような表示はありません。Arena が数えるのは、二つのモデルが匿名である間に投じられた票だけで、Arena は、匿名化した会話を、公開の研究用データセットで公開しています。

どの作業にどのツールか

マネージドサービスは、サービスの一部として評価者を提供します。そのほかのツールはソフトウェアであり、ソフトウェアを動かすチームが評価者を連れてきます。

Labelbox と Scale AI に代わる無料の選択肢

Labelbox は選好データのためのアノテーションプラットフォームを販売し、Scale AI はデータそのものを販売します。Labelbox のマルチモーダルチャットエディターは、一つのプロンプトを最大 10 のモデルに、ライブで、またはインポートした会話から送り、評価者はモデルの比較や RLHF のために、応答を順位付けし、選択し、評価します。Scale AI は、審査済みの専門家のネットワークと、的を絞ったレッドチーミングを備えた、人手のフィードバックと選好の順位付けを販売しており、Scale の RLHF のページは、価格ではなくデモを提供しています。Surge AI は、分野の専門家によるラベル付けチーム、API を持つ RLHF インターフェース、レッドチーミングを説明しており、Prolific は、セルフサービスの参加者プールと、マネージドな AI データ収集を運営しています。

収集のソフトウェアは、三つの無料のツールがカバーします。Argilla は、無料の Hugging Face Space で動き、各レコードに必要な回答数を min_submitted で設定し、Argilla のドキュメントは、進捗のカウントを説明していますが、一致度の統計量は説明していません。Label Studio Community Edition には、ペアワイズの RLHF テンプレートと並べての比較のテンプレートが含まれ、Label Studio は、一致度の指標、タスクごとに複数のアノテーターをつける overlap の設定、LLM-as-a-judge の機能を、有償プランに入れています。Potato には、一致度、アイテムごとの複数の評価者、Prolific での募集、注意チェック、ゴールドアイテムが無料で含まれ、不足は、LLM 評価で Potato が行わないことに挙げています。

無料のツールはどれも評価者を提供しません。無料のツールは、マネージドサービスが動かすソフトウェアの代わりになりますが、評価者の作業には、引き続き参加者への報酬がかかります。Prolific の最低報酬は時給 $8.00 で、Prolific は $12.00 を推奨しており、いずれもプラットフォーム手数料の前の金額です。

ツールごとの一致度と評価者の募集

選好ラベルは、しばしば一致しません。二つの良い回答は、品質より文体で異なることがあるためです。そのため調査では、各ペアを複数の評価者に送り、評価者がどれだけ一致するかを報告します。表は、各ツールが一つのアイテムを複数の人に送る方法と、そのツールのドキュメントが説明している一致度の指標を示します。

ダッシュは、2026-10-29 に確認した、そのツール自身のドキュメントに、そのセルに当たるものが見つからなかったことを意味します。セルが誤っている場合は、お知らせください。

Potato では、/admin/iaa の管理ダッシュボードが、調査の実行中に、スキームごとの一致度を報告します。二値モードのペアワイズスキームは、A、B、引き分けの名義的な選択として採点され、スケールモードのスキームは、連続的な評価として採点されます。バージョン 2.13.1 から、/admin/iaa は rubric_eval のグリッドを、基準ごとと、すべての基準をプールしたものとして採点し、reliability エクスポートは pairwise スキームをカバーします。何人のアノテーターが必要かは、ペアごとの評価者の数を見積もる助けになります。

位置バイアスとブラインド化

LLM の判定者は、しばしば特定の位置にある応答を好み（Zheng ら、2023）、人間の評価者も、最初の位置への選好を示すことがあります。常に同じモデルを最初に示す調査は、品質とともにその選好も測定します。Arena は、投票まで両方のモデル名を隠し、その後で名前を明らかにします。Label Studio の並べての比較のテンプレートは、入力データの順に二つの回答を示し、Prodigy の ab.openai.prompts レシピは、二つのプロンプトのブラインド比較を実行します。Potato の Model Arena は、各応答カードにモデルのラベルを表示する管理者向けのツールです。Model Arena は、調査チームによるプロンプトの素早い確認に向いています。

Potato でブラインドの調査を行うには、モデルを名指すフィールドを item_properties.private_keys に挙げます。バージョン 2.13.1 から、Potato は、それらのフィールドを、評価者のブラウザーに送るすべてのものから除外し、エクスポートには保持します。それ以前のバージョンでは、アイテムのすべてのフィールドがページのソースに届くため、そこではモデル名を別のキーファイルに保管してください。pairwise スキームは randomize_order: true も受け付け、評価者、アイテム、スキームから導かれた順序を各評価者に与えます。バージョン 2.13.1 から、エクスポートと一致度ダッシュボードは、各回答をデータの順序で読み取るため、A は常にデータファイルの最初の応答を意味します。それ以前のバージョンでは、保存される回答は表示された位置であり、randomize_order を使う調査は、分析の前に、user_state.json から各回答を応答に対応付け直します。

ペアごとに三人の評価者がつく選好調査

以下の設定は、Prolific で募集した評価者のための、ブラインドの選好調査を実行します。num_annotators_per_item: 3 は、すべてのペアを三人の評価者に送り、ダッシュボードはすべてのペアについて一致度を報告します。三人の評価者がいれば、誰も引き分けとしないペアには、多数派が生まれます。引き分けの選択肢は、同じくらい良い二つの回答の間で評価者が選ぶことを強いられないようにし、任意の理由の欄では、評価者が長さや書式を評価したかどうかを監査できます。この設定は完結しており、Potato のバリデーターを通過します。

annotation_task_name: Chat response preference, three raters per pair
task_dir: .
output_annotation_dir: annotation_output/
data_files:
  - data/pairs.jsonl
item_properties:
  id_key: id
  text_key: prompt
user_config:
  allow_all_users: true
  users: []
 
# Raters arrive from Prolific with the participant ID in the URL
login:
  type: url_direct
  url_argument: PROLIFIC_PID
completion_code: C1ABCDEF
auto_redirect_on_completion: true
 
# Three raters per pair, so agreement can be measured on every pair
assignment_strategy: random
num_annotators_per_item: 3
max_annotations_per_user: 40
 
annotation_schemes:
  - annotation_type: pairwise
    name: preference
    description: Which response better answers the prompt?
    items_key: responses
    labels: [Response A, Response B]
    allow_tie: true
    tie_label: About the same
    justification:
      reason_categories: [More accurate, Follows the instruction, Safer, Better written]
      required: false
    label_requirement:
      required: true

data/pairs.jsonl の各行には、一つのプロンプトと、すでにシャッフルされた二つの応答が入り、モデル名はありません。

{"id": "p002", "prompt": "Write a one-line commit message for fixing a typo in the README.", "responses": ["This commit fixes a small typographical error that was present in the README file of the repository.", "Fix typo in README"]}

サーバーは potato start config.yaml -p 8000 で起動し、Prolific には調査の URL https://your-server.com/?PROLIFIC_PID={{%PROLIFIC_PID%}} を渡します。終えた評価者には完了コードが表示され、Prolific の完了ページに戻されます。評価者は、キー 1、2 で答え、引き分けは 0 です。選択ではなく段階的な選好にするには、mode: scale を設定し、ペアワイズ比較が示すとおりに、両端のキャプションを scale.labels の下に置きます。pairwise スキームには options: キーはありません。

選好ラベルから DPO データへ

Potato は、アイテムと評価者ごとに一行を、CSV、TSV、JSONL、Parquet としてエクスポートし、huggingface エクスポートは、アノテーションとアイテムを Hugging Face のデータセットリポジトリにプッシュします。各行は、評価者の選択を preference.selection の下に保持します。Potato には、pairwise スキームから DPO の三つ組を書き出すエクスポーターはありません。バージョン2.14からは、llm-dpo トレーナーが、2択の pairwise スキームで Potato の中でDPO により LLM をファインチューニングし、reward-model トレーナーが同じ回答で報酬モデルを当てはめます。Potato の外で学習する場合は、短いスクリプトで、エクスポートをデータファイルに結合します。まずアノテーションをエクスポートします。

python -m potato.export -c config.yaml -f jsonl -o export/

以下のスクリプトは、各ペアの多数派の選択を残し、引き分けと多数派のないペアをスキップして、Hugging Face TRL が DPOTrainer と RewardTrainer のために読み込む prompt、chosen、rejected のフィールドを書き出します。

import json
from collections import Counter
 
items = {r["id"]: r for r in map(json.loads, open("data/pairs.jsonl"))}
votes = {}
for row in map(json.loads, open("export/annotations.jsonl")):
    choice = row["labels"].get("preference", {}).get("selection")
    votes.setdefault(row["instance_id"], []).append(choice)
 
with open("dpo.jsonl", "w") as out:
    for item_id, choices in votes.items():
        winner, count = Counter(choices).most_common(1)[0]
        if winner not in ("A", "B") or count <= len(choices) / 2:
            continue  # skip ties and pairs without a majority
        item = items[item_id]
        chosen = 0 if winner == "A" else 1
        out.write(json.dumps({"prompt": item["prompt"],
                              "chosen": item["responses"][chosen],
                              "rejected": item["responses"][1 - chosen]}) + "\n")

評価者ごとのエクスポートを、DPO のファイルの隣に保管してください。多数派のラベルで訓練された報酬モデルは、意見の相違を捨ててしまい、その意見の相違は、どのペアが難しかったかを示します。Model Arena の Export DPO ボタンは、アリーナでの管理者の選択から、勝者と敗者ごとに一つずつ、同じ三つ組を書き出します。RLHF と選好データは、多次元の選好と、選好データの落とし穴を扱います。

LLM の判定者を評価者に照らして確認する

LLM の判定者が評価者の代わりになるのは、判定者のラベルを、同じアイテムに対するブラインドの人手ラベルと比較した後に限られます。Potato の判定者のキャリブレーションは、アイテムごとに各判定者を複数回サンプリングし、人に、判定者の回答を見ずにサンプルへラベルを付けてもらい、判定者と人の間のカッパ、人同士のカッパ、期待キャリブレーション誤差、Brier スコアを報告します。判定者のキャリブレーションは、radio、select、likert、multiselect、span のスキームをカバーします。選好の判定者をキャリブレーションするには、選好を、A、B、引き分けのラベルを持つ radio スキームとして尋ねます。管理者向けのエンドポイント /admin/api/judge-position-bias は、サンプリングした各アイテムを、一度はラベルを逆にして、二回実行し、判定者の回答が入れ替わる頻度を報告します。LLM 判定者と人間の一致度が手順を示し、判定者の一致度の計算ツールが、CSV に対して比較を実行します。

LLM 評価で Potato が行わないこと

• 評価者はいない。 Prolific、SONA の被験者プール、ほかのパネルで評価者を募集するか、自分のチームを招待します。
• pairwise スキームからの DPO エクスポートはない。 上のスクリプトが、JSONL エクスポートから三つ組を作ります。バージョン2.14からは、llm-dpo トレーナーが、Potato の中で pairwise の回答で学習します。
• ルーブリックのグリッドに対する一致度はない。 基準ごとの一致度が重要な場合は、各基準を likert スキームとして尋ねてください。
• Model Arena は素早い確認専用。 アリーナは、モデルのラベルを表示する管理者向けのページで、メモリ内に最大 1,000 件の選択を保持し、サーバーを再起動すると、選択とリーダーボードを失います。
• 公開リーダーボードはない。 Arena は一般の人から投票を集め、Potato は、招待した評価者から判断を集めます。
• 本番のトレーシングはない。 ライブのトラフィックは観測ツールで採点し、その後でサンプルを Potato に持ち込みます。AI エージェント評価ツール比較がその方法を説明しています。
• サーバーが必要。 誰かが pip で Potato をインストールし、評価者が到達できる場所でサーバーを動かします。

各プロジェクト自身のドキュメントと価格のページに照らして、2026 年 10 月に確認しました。

よくある質問

RLHF の選好データのための、Scale AI に代わる無料の選択肢はありますか。

はい。Potato、Argilla、Label Studio Community Edition は、自分で募集した評価者からペアワイズ選好を集めるための、無料のツールです。Potato は、すべてのペアに対する一致度と Prolific での募集を加えます。Scale AI や Surge AI のように、訓練された評価者を提供する無料のツールはありません。無料のツールを使うチームは、たとえば Prolific を通じて、最低時給 $8.00 にプラットフォーム手数料を加えた額で、評価者に直接報酬を支払います。

Chatbot Arena は、ペアワイズの投票からどのようにモデルを順位付けしていますか。

Arena（旧 LMArena、Chatbot Arena）は、匿名のペアワイズの投票に Bradley-Terry モデルを当てはめます。投票者は、名前のないモデルの二つの回答を見て、一つを選びます。順位に数えられるのは、名前が明らかにされる前に投じられた票だけです。オープンソースの Arena-Rank パッケージは、Bradley-Terry の当てはめと、長さや書式のような回答の文体を制御する拡張を実装しています。Potato の Model Arena と Bradley-Terry の計算ツールは、自分の評価者の選択から、同じ方法でモデルを順位付けします。

ペアワイズ比較で、どちらの応答を先に表示するかをランダム化するにはどうしますか。

データファイルを書くときに、アイテムごとに二つの応答をシャッフルし、どのモデルがどの応答を書いたかを別のキーで保管します。すると、各モデルはペアのおよそ半分で最初に現れ、すべての評価者が同じ順序を見ます。エクスポートと一致度の数値に補正は不要です。Potato は、randomize_order: true で評価者ごとのランダム化も行い、バージョン 2.13.1 から、エクスポートと一致度の数値は、各回答をデータの順序で読み取ります。

関連資料

• Potato での LLM 評価：Potato の評価タスクを一か所にまとめています
• RLHF と選好データとルーブリックに基づく LLM 評価
• ペアワイズとベスト・ワースト・スケーリングとベスト・ワースト・スケーリング
• 生成テキストの人手評価
• クラウドソーシング調査の実施
• AI エージェント評価ツール比較とテキストアノテーションツール比較
• Model Arenaとアノテーター間一致度
• LLM とエージェントのトレースのための人手レビューキュー
• レッドチーミングのアノテーション（安全性評価における有害性ラベル、過剰拒否、評価者間の一致度について）

参考文献

1. Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems 36 (NeurIPS 2023). https://arxiv.org/abs/2305.18290
2. Zheng, L., Chiang, W.-L., Sheng, Y., et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks. https://arxiv.org/abs/2306.05685