Skip to content

世界モデルと生成動画の評価

2 本から N 本の生成動画を一つの時計にフレーム同期して並べ、世界が破綻するフレームを印してもらい、どの物理的性質が壊れたかをタグ付けしてもらいます。

同じシナリオの動画を複数本、一本のタイムラインにフレーム同期して並べます。アノテーターは各推演が破綻し始めるフレームを見つけ、理由を述べ、勝者を選び、シナリオに介入が含まれる場合は乖離がそこから導かれるかを判定します。 そのうえで Potato は、アノテーターが破綻の位置について一致していたかを報告します。

動作する例：examples/agent-traces/world-model-rollouts/。

破綻点は評点に勝る

生成動画に「物理的もっともらしさ」で 5 段階の 3 を付けても、それは検証できず、位置を特定できず、何かを直すのにも使えない数値です。

時点とカテゴリの組はその三つすべてを満たせます。

  • 検証できる。 研究者は 47 フレーム目を開いて確かめられます。
  • 位置が特定できる。 失敗はスコアだけでなく、テンソル上の場所を持ちます。
  • 比較できる。 二人のアノテーターの答えは直線上の二点なので、本物の偶然一致補正された統計が適用できます。

動画生成のベンチマークは FVD と勝率を報告します。しかしその勝率を生んだ人間同士が一致していたかを報告するものはなく、つまりどれもモデルの差とアノテーターのノイズを切り分けられません。

設定

yaml
annotation_schemes:
  - annotation_type: rollout_evaluation
    name: rollout_review
    description: "Where does each rollout stop making sense?"
    streams:
      - {field: real,  name: "Recording", role: real}
      - {field: gen_a, name: "Model A"}
      - {field: gen_b, name: "Model B"}
    fps: 25
    layers: [violations, preference, counterfactual]
    blind: true
    shuffle: true
    require_clean: true
    violation_types:
      - {name: object_permanence, description: "An object vanishes, or appears, with nothing causing it."}
      - {name: interpenetration,  description: "Two solid objects pass through each other."}
      - {name: gravity_violation, description: "Something floats, falls upward, or stands unsupported."}

fps は明示してください。指定がなければフレーム番号は推測されるのではなく出力から省略されます。

盲検化と並べ替えは安定している

パネルはアノテーターごとに盲検化して並べ替えられ、その並べ替えは安定しています。アノテーターと項目にシードが固定されているからです。同じ項目に対するアノテーターの二度目の判断は一度目と整合しますが、表示のたびに新しく無作為化するとそれが壊れます。

require_clean: true は「破綻なし」を空の回答ではなく明示的な行為にします。これがないと、印のない推演は一度もレビューされていない推演と区別がつきません。

破綻点の一致度はスイープである

一致度は三通りに報告されます。検出（そもそも破綻を見つけたか）、位置決め（同じ場所に置いたか）、カテゴリ（同じ名前で呼んだか）です。マッチング許容幅は単一の数値ではなくスイープとして示されます。

これは細かさのための細かさではありません。0.25 秒での一致度と 2 秒での一致度は別々の主張であり、片方の閾値だけを報告すると、読み手は自分の結論を支持するほうを勝手に想定してしまいます。

この手法のエコシステムでの位置づけ

比較対象になるのはベンチマーク——VBench、WorldModelBench、Physics-IQ——とクラウドのパネルです。それらは指標と参照プロトコルを提供し、Potato はそうしたプロトコルの人間側を、信頼性を測りながら繰り返し実行するための計器を提供します。両者は補い合う関係であり、ベンチマークの推演を Potato に取り込むことは、それらのベンチマークが検証の拠り所とする人間データを集める妥当な方法です。

関連