生成動画と世界モデルを評価する方法

生成動画に「物理的もっともらしさ」で 5 段階の 3 を付けても、それは検証できず、位置を特定できず、何かを直すのにも使えない数値です。 代わりに世界が破綻し始めるフレームとその理由を尋ねれば、その三つすべてを満たすアノテーションが得られます。

なぜ破綻点なのか

時点とカテゴリの組は次の性質を持ちます。

• 検証できる。 研究者は 47 フレーム目を開いて確かめられます。
• 位置が特定できる。 失敗はスコアだけでなく、テンソル上の場所を持ちます。
• 比較できる。 二人のアノテーターの答えは直線上の二点なので、本物の偶然一致補正された統計が適用できます。

動画生成のベンチマークは FVD と勝率を報告します。しかしその勝率を生んだ人間同士が一致していたかを報告するものはなく、つまりどれもモデルの差とアノテーターのノイズを切り分けられません。

分類体系

失敗を記述させるのではなく、名前の付いたカテゴリを与えてください。実用に耐える物理・因果の一式です。

重大度の尺度も加えてください。「二度見れば分かる」と「この地点より後は判断する価値がない」は別々の所見です。

盲検化は安定していなければならない

モデルの正体が見えないようにアノテーターごとにパネル順を並べ替え、アノテーターと項目にシードを固定して再現可能にしてください。

表示のたびに新しく無作為化すると再アノテーションが壊れます。ある項目に対するアノテーターの二度目の判断が、動画とは何の関係もない理由で一度目と食い違うからです。

「破綻なし」を明示させる

「ここには問題がない」という積極的な回答を必須にしてください。それがないと、印のない推演は一度もレビューされていない推演と区別がつかず、しかも分母がモデルに有利な方向に狂います。

スイープを報告する

破綻点の一致度は三通りに分解されます。

• 検出 — そもそも破綻を見つけたか。
• 位置決め — 同じ場所に置いたか。
• カテゴリ — 同じ名前で呼んだか。

そして位置決めはマッチング許容幅に依存します。単一の数値ではなく、許容幅にわたるスイープを報告してください。0.25 秒での一致度と 2 秒での一致度は別々の主張であり、片方だけを選ぶと、読み手は自分の結論を支持するほうを勝手に想定してしまいます。

設定

annotation_schemes:
  - annotation_type: rollout_evaluation
    name: rollout_review
    description: "Where does each rollout stop making sense?"
    streams:
      - {field: real,  name: "Recording", role: real}
      - {field: gen_a, name: "Model A"}
      - {field: gen_b, name: "Model B"}
    fps: 25
    layers: [violations, preference, counterfactual]
    blind: true
    shuffle: true
    require_clean: true

fps は明示してください。指定がなければフレーム番号は推測されるのではなく省略されます。

この手法の位置づけ

VBench、WorldModelBench、Physics-IQ は指標と参照プロトコルを提供します。クラウドのパネルは規模を提供します。どれも提供しないのは、人間側を繰り返し実行しつつ信頼性を測るための計器であり、そこがこれの埋める穴です。ベンチマークの推演を取り込むことは、それらのベンチマークが検証の拠り所とする人間データを集める妥当な方法でもあります。

参考文献

• 世界モデル評価のリファレンス
• 時間的な一致度
• ロボットエピソードのアノテーション