Skip to content

世界モデルとロボットエピソードの評価ツールの比較

生成動画、世界モデル、ロボットエピソードの評価に使うベンチマーク、可視化ツール、アノテーションツールをまとめます。VBench、WorldModelBench、Physics-IQ、ATLAS、Rerun、Potato。

世界モデルや動画生成モデルは、VBench、WorldModelBench、Physics-IQ などのベンチマークで評価します。これらのベンチマークは何を測るかを定め、自動評価器を提供します。その自動評価器は、人の判断と照らし合わせて検証されます。どのモデルが生成したかを評価者に伏せ、評価者同士の一致度も報告するような、根拠として示せる人の判断を集めるのは、アノテーションの仕事です。Potato には、生成されたロールアウトを判定するスキームと、ロボットのエピソードを区切るスキームがあります。

世界モデルは、多くの場合ある行動を条件として、場面がどう変化するかを予測します。動画生成モデルも、出力が物理法則に従っているか、与えられた指示に沿っているかを問うことで、世界モデルとして評価できます。ロールアウトとは、生成された一つの続きのことです。ロボットのエピソードは、タスクへの 1 回の試行を記録したもので、通常は複数のカメラ映像に加え、関節位置、グリッパーの状態などの信号を含みます。

このページは世界モデル、生成動画、ロボティクスを扱います。すべてのデータの種類を 1 ページで比べたものは AI アノテーションツールの比較にあります。

各ツールの役割

ツール概要人が関わる部分
VBench動画生成のベンチマークスイート、Apache-2.0自動スコアが人と一致するかを確かめるための、次元ごとの人の選好アノテーション
WorldModelBench動画生成モデルを世界モデルとして評価するベンチマーククラウドソーシングで集めた 67,000 件の人手ラベル。自動ジャッジの学習にも使われた
Physics-IQ生成動画の物理理解を測る、Google DeepMind のベンチマークスコアとリーダーボード
ATLASROS bag と RLDS に対応した、長時間の行動を区切るためのデスクトップツールエピソードごとにアノテーター 1 人
Rerun、Foxgloveロボティクスの可視化閲覧用で、ラベル付けの調査用ではない
ELAN、BORIS動画の行動コーディングELAN はアノテーター間信頼性を報告する
CVAT、Label Studio汎用の動画アノテーショントラックとタイムラインのラベル。世界モデル用のスキームはない
Potatorollout_evaluation と episode_annotation のスキームを持つアノテーションツール1 項目に複数のアノテーター、盲検パネル、一致度の報告

ベンチマークがプロトコルを決める

VBench は、テキストから動画を生成するモデルを 16 の次元で採点します。被写体の一貫性、動きの滑らかさ、空間的な関係などです。VBench-2.0 は、常識、物理、人の動き、構図に関する 18 の次元を加えています。著者らは各次元について人の選好アノテーションを集め、自動スコアがそれに沿うことを示しました。

WorldModelBench は、動画生成モデルを指示への追従と物理法則への準拠で評価し、質量保存に反して物体の大きさが変わるような違反を検出します。著者らはクラウドソーシングで 67,000 件の人手ラベルを集めて 14 の最先端モデルを評価し、そのうえで 20 億パラメータのジャッジをファインチューニングしました。このジャッジは、世界モデルとしての違反を GPT-4o より 8.6% 高い精度で予測します（arXiv 2502.20694）。

Physics-IQ は、固体力学、流体力学、光学、熱力学、磁気を対象としています。Sora、Runway、Pika、Lumiere、Stable Video Diffusion、VideoPoet を試した著者らは、物理の理解はきわめて限られており、見た目のリアルさとは関係がないことを見いだしました（arXiv 2501.09038）。

指標と参照プロトコルには、これらのベンチマークを使ってください。結果はこれらと比べられることになります。

人の判断が必要になる場面

VBench は次元の妥当性を確かめるために、WorldModelBench はジャッジを学習させるために、人の判断を使っています。自分のモデルを評価する場合、人による部分は新しいチェックポイントのたびにやり直す必要があります。そしてそこには、あらゆるアノテーション調査と同じ問題が生じます。どのモデルがどの動画を作ったかを評価者が知っていること、何を違反とみなすかで評価者の意見が割れること、そしてラベルを信頼できると示す一致度の数字がないことです。

Potato で生成ロールアウトを判定する

rollout_evaluation スキームは、二つ以上のロールアウトを共通の時間軸で並べて表示します。アノテーターは、世界のつじつまが合わなくなるフレームに印を付け、どの物理的・因果的な性質が破綻したかをタグ付けし、ルーブリックに沿って選好を示し、介入を踏まえて反事実的な分岐がありうるかを評価します。パネルはモデルを伏せたうえで、アノテーターごとに固定の順序で並べ替えられるので、再読み込みしてもどのモデルかはわかりません。

破綻点の一致度は三つの観点で報告します。アノテーターが破綻を検出したか、どこに置いたか、どのカテゴリーを付けたかです。照合の許容幅は、一つのしきい値ではなく、値を変えたスイープとして示します。

yaml
annotation_schemes:
  - annotation_type: rollout_evaluation
    name: rollout_review
    description: "Where does each rollout stop making sense?"
    streams:
      - {field: real,  name: "Recording", role: real}
      - {field: gen_a, name: "Model A"}
      - {field: gen_b, name: "Model B"}
    fps: 25
    layers: [violations, preference, counterfactual]
    blind: true
    shuffle: true
    require_clean: true

require_clean を使うと「破綻なし」が明示的な回答になるので、誰も印を付けなかったロールアウトと、誰も最後まで見なかったロールアウトを区別できます。生成動画と世界モデルの評価方法を参照してください。

ロボットのエピソードをアノテーションする

episode_annotation スキームは、同期した複数の動画と、ロボットの時系列データ（関節位置、グリッパーの状態、力・トルク、報酬）のレーンを一つのタイムラインに並べます。アノテーターはフェーズを区切り、各フェーズの結果に印を付け、密な進捗報酬を描き、事後に指示文を付け直します。Potato は LeRobot v2、HDF5（RoboMimic と ALOHA）、RLDS/TFDS を取り込み、フレームごとの JSONL サイドカーを書き出すので、読み取り専用の公開データセットを書き換える必要はありません。

一致度は、フェーズ境界について時間 IoU、結果ラベルについて α、報酬曲線について ICC と Pearson 相関で報告し、それぞれカバー率を併記します。タイムラインの 5% だけで計算した相関は、残りについて何も語らないからです。

TU Wien の ATLAS は、長時間の行動を区切るためのデスクトップツールで、ROS bag と RLDS をそのまま読み込めます。1 人のアノテーターが境界を正確に置く作業のために作られています。動画の横に固有感覚の時系列データを表示すると、動画だけの場合より境界の誤差が減るという ATLAS の発表結果が、Potato がこれらのレーンを表示している理由です。Rerun と Foxglove はロボティクスで最良の可視化ツールであり、行動コーディングでは今も ELAN と BORIS が標準です。ロボットのエピソードをアノテーションする方法を参照してください。

視覚言語モデルのグラウンディングやポインティングの評価については、VLM のグラウンディング評価を参照してください。

この分野で Potato ができないこと

  • 物理の自動評価器はありません。 それにはベンチマークの評価器を使い、その検証に使う人手ラベルには Potato を使ってください。
  • モデルの学習や推論はしません。 Potato は、あなたが生成したロールアウトを表示します。
  • 点群シーケンスには対応していません。 3D アノテーションはフレーム単位です。

2026 年 8 月と 9 月に、各プロジェクトのリポジトリと論文で確認しました。

よくある質問

世界モデルはどう評価しますか？

VBench、WorldModelBench、Physics-IQ のように、生成動画を物理法則への準拠、指示への追従、見た目の品質で採点するベンチマークと、それらの評価器を検証または学習させる人の判断で評価します。新しいモデルについては、人がロールアウトを見て、物理的につじつまが合わなくなる箇所に印を付け、比較するのが人による部分です。その際、評価者にはどのモデルの出力かを伏せます。

人の判断を使っている世界モデルのベンチマークは？

VBench は、自動スコアが人と一致することを示すため、すべての次元について人の選好アノテーションを集めました。WorldModelBench は、14 のモデルについてクラウドソーシングで 67,000 件の人手ラベルを集め、それを使って自動ジャッジをファインチューニングしました。

ロボットのエピソードのアノテーションにはどのツールを使えますか？

ATLAS は、1 人のアノテーターが ROS bag や RLDS の長いエピソードを区切るためのデスクトップツールです。Potato は、複数のアノテーターがブラウザでエピソードをアノテーションでき、LeRobot v2、HDF5、RLDS/TFDS を取り込み、フェーズ境界、結果、報酬曲線の一致度を報告します。

生成動画を判定する人同士の一致度はどう測りますか？

各ロールアウトを、どのモデルが生成したかを知らない 2 人以上の評価者に判定してもらいます。そもそも破綻しているかどうかで一致するか、破綻点が複数の許容幅でどれだけ近いか、同じカテゴリーを付けるかを報告してください。Potato の rollout_evaluation は、この三つを別々に報告します。

参考資料