생성 영상과 세계 모델을 평가하는 방법

생성된 영상에 "물리적 그럴듯함" 5점 만점에 3점을 매기면, 검증할 수도 없고 위치를 짚을 수도 없으며 무언가를 고치는 데 쓸 수도 없는 수치가 나옵니다. 대신 세계가 말이 되지 않기 시작하는 프레임과 그 이유를 물으면, 세 가지를 모두 만족하는 주석이 나옵니다.

왜 붕괴 지점인가

시점과 범주의 조합은 다음과 같습니다.

• 검증할 수 있습니다. 연구자가 47번 프레임을 열어 볼 수 있습니다.
• 위치를 짚을 수 있습니다. 실패가 점수뿐 아니라 텐서 위의 자리를 갖습니다.
• 비교할 수 있습니다. 두 주석자의 답은 직선 위의 두 점이므로, 진짜 우연 일치 보정 통계를 적용할 수 있습니다.

영상 생성 벤치마크는 FVD와 승률을 보고합니다. 그러나 그 승률을 만들어 낸 사람들이 서로 일치했는지를 보고하는 것은 하나도 없으며, 따라서 어느 것도 모델 간 차이와 주석자 잡음을 갈라내지 못합니다.

분류 체계

실패를 서술하게 하는 대신 이름이 붙은 범주를 주십시오. 실제로 쓸 만한 물리·인과 세트입니다.

심각도 척도도 더하십시오. "다시 보면 보인다"와 "이 지점 이후는 판단할 가치가 없다"는 서로 다른 발견입니다.

눈가림은 안정적이어야 한다

모델의 정체가 드러나지 않도록 주석자별로 패널 순서를 섞되, 주석자와 항목에 시드를 고정해 재현 가능하게 하십시오.

볼 때마다 새로 무작위화하면 재주석이 망가집니다. 한 항목에 대한 주석자의 두 번째 판단이, 영상과는 아무 상관도 없는 이유로 첫 번째와 어긋나기 때문입니다.

"붕괴 없음"을 명시하게 한다

"여기는 문제없다"는 적극적인 답을 필수로 만드십시오. 그러지 않으면 표시가 없는 롤아웃과 아예 검토되지 않은 롤아웃이 구분되지 않고, 분모가 모델에 유리한 쪽으로 틀어집니다.

스윕을 보고한다

붕괴 지점 일치도는 세 갈래로 분해됩니다.

• 검출 — 애초에 붕괴를 찾아냈는가.
• 위치 지정 — 같은 자리에 놓았는가.
• 범주 — 같은 이름으로 불렀는가.

그리고 위치 지정은 매칭 허용 오차에 좌우됩니다. 수치 하나가 아니라 허용 오차 전반의 스윕을 보고하십시오. 0.25초에서의 일치도와 2초에서의 일치도는 서로 다른 주장이며, 하나만 고르면 읽는 사람이 자기 결론을 뒷받침하는 쪽을 마음대로 가정하게 됩니다.

설정

annotation_schemes:
  - annotation_type: rollout_evaluation
    name: rollout_review
    description: "Where does each rollout stop making sense?"
    streams:
      - {field: real,  name: "Recording", role: real}
      - {field: gen_a, name: "Model A"}
      - {field: gen_b, name: "Model B"}
    fps: 25
    layers: [violations, preference, counterfactual]
    blind: true
    shuffle: true
    require_clean: true

fps를 명시하십시오. 지정하지 않으면 프레임 번호는 추측되는 대신 생략됩니다.

이 방법의 자리

VBench, WorldModelBench, Physics-IQ는 지표와 참조 프로토콜을 제공합니다. 크라우드 패널은 규모를 제공합니다. 어느 것도 제공하지 않는 것은, 신뢰도를 측정하면서 사람 쪽을 반복적으로 돌릴 수 있는 도구이며, 바로 그 빈자리를 이것이 채웁니다. 벤치마크의 롤아웃을 들여오는 것은 그 벤치마크들이 검증 근거로 삼는 사람 데이터를 모으는 합리적인 방법이기도 합니다.

더 읽을거리

• 세계 모델 평가 레퍼런스
• 시간적 일치도
• 로봇 에피소드 주석