Ferramentas de avaliação de modelos de mundo e episódios de robôs comparadas

Benchmarks, visualizadores e ferramentas de anotação para avaliar vídeo gerado, modelos de mundo e episódios de robôs, comparados quanto a avaliação humana cega e concordância entre avaliadores: VBench, WorldModelBench, ATLAS, Potato.

Modelos de mundo e geradores de vídeo são avaliados com benchmarks como o VBench, o WorldModelBench e o Physics-IQ, que definem o que medir e fornecem avaliadores automáticos. Esses avaliadores automáticos são checados contra julgamentos humanos. Coletar julgamentos humanos que se sustentem, com avaliadores que não sabem qual modelo gerou cada vídeo e com a concordância deles relatada, é trabalho de anotação. O Potato tem esquemas para julgar rollouts gerados e para segmentar episódios de robôs.

Um modelo de mundo prevê como uma cena vai mudar, muitas vezes a partir de uma ação, e um modelo de geração de vídeo pode ser avaliado como um modelo de mundo perguntando se a saída dele obedece à física e segue a instrução que recebeu. Um rollout é uma continuação gerada. Um episódio de robô é a gravação de uma tentativa de realizar uma tarefa, geralmente vários fluxos de câmera mais posições das juntas, estado da garra e outros sinais.

Esta página trata de modelos de mundo, vídeo gerado e robótica. Ferramentas de anotação com IA, comparadas cobre todos os tipos de dados em uma única página.

O que cada ferramenta faz

Ferramenta	O que é	Onde as pessoas entram
VBench	Suíte de benchmarks para geração de vídeo, Apache-2.0	Anotações de preferência humana para cada dimensão, usadas para checar se as pontuações automáticas correspondem às das pessoas
WorldModelBench	Benchmark de geradores de vídeo como modelos de mundo	67.000 rótulos humanos coletados por crowdsourcing, usados também para treinar um juiz automático
Physics-IQ	Benchmark de compreensão física em vídeo generativo, do Google DeepMind	Uma pontuação e um ranking
ATLAS	Ferramenta de desktop para segmentação de ações de longo horizonte, com suporte a ROS bag e RLDS	Um anotador por episódio
Rerun, Foxglove	Visualização para robótica	Visualização, não estudos de rotulagem
ELAN, BORIS	Codificação de comportamento em vídeo	O ELAN relata a confiabilidade entre anotadores
CVAT, Label Studio	Anotação de vídeo de uso geral	Trilhas e rótulos de linha do tempo, sem esquema para modelos de mundo
Potato	Ferramenta de anotação com os esquemas `rollout_evaluation` e `episode_annotation`	Vários anotadores por item, painéis cegos, concordância relatada

Avaliação humana lado a lado

Os benchmarks e o Potato fazem trabalhos diferentes, e uma avaliação de modelo de mundo geralmente precisa dos dois:

	Potato	VBench	WorldModelBench	Physics-IQ	ATLAS	CVAT, Label Studio
Pontuações automáticas	—	16 dimensões, mais 18 no VBench-2.0	Um juiz treinado	Pontuações de física e um ranking	—	—
Interface para pessoas julgarem rollouts sem saber qual é o modelo	`rollout_evaluation`, cego e embaralhado	—	—	—	—	Rótulos de vídeo genéricos
Concordância sobre onde um rollout quebra	Detecção, posição e categoria, ao longo de uma varredura de tolerâncias	—	—	—	—	—
Episódios de robôs com faixas de séries temporais	`episode_annotation`, vários anotadores	—	—	—	Desktop, um anotador por episódio	—
Recrutar avaliadores no Prolific ou no SONA	Integrado	—	—	—	—	—

Os benchmarks não são ferramentas de anotação, então a maioria dos travessões deles é intencional. Use-os para a pontuação, e o Potato para os rótulos humanos com os quais as pontuações são checadas.

Onde o Potato está à frente na avaliação de modelos de mundo

A metade humana de uma avaliação de modelo de mundo é um estudo de anotação, e precisa ser repetida a cada checkpoint. O Potato é feito para essa parte. Os avaliadores podem ser recrutados no Prolific ou no SONA, veem os rollouts sem saber qual modelo os gerou e marcam onde cada um deixa de fazer sentido físico. A concordância deles é relatada quanto a se houve uma quebra, onde ela aconteceu e de que tipo foi. Para episódios de robôs, vários anotadores segmentam o mesmo episódio com os sinais das juntas e da garra desenhados abaixo do vídeo, e a concordância é relatada sobre fronteiras, resultados e curvas de recompensa. Nenhum dos benchmarks ou das ferramentas de robótica desta página oferece uma forma de medir a concordância entre os seus próprios avaliadores.

Os benchmarks definem o protocolo

O VBench pontua modelos de texto para vídeo em 16 dimensões, incluindo consistência do sujeito, suavidade do movimento e relações espaciais. O VBench-2.0 acrescenta 18 dimensões sobre raciocínio de senso comum, física, movimento humano e composição. Para cada dimensão, os autores coletaram anotações de preferência humana e mostraram que as pontuações automáticas acompanham essas anotações.

O WorldModelBench avalia geradores de vídeo quanto a seguir instruções e respeitar a física, detectando violações como um objeto que muda de tamanho em desacordo com a conservação da massa. Os autores coletaram por crowdsourcing 67.000 rótulos humanos para avaliar 14 modelos de ponta e depois fizeram o fine-tuning de um juiz de 2 bilhões de parâmetros que prevê violações de modelagem de mundo com acurácia 8,6% maior que a do GPT-4o (arXiv 2502.20694).

O Physics-IQ cobre mecânica dos sólidos, dinâmica dos fluidos, óptica, termodinâmica e magnetismo. Ao testar o Sora, o Runway, o Pika, o Lumiere, o Stable Video Diffusion e o VideoPoet, os autores constataram que a compreensão física é muito limitada e não tem relação com o realismo visual (arXiv 2501.09038).

Use esses benchmarks para as métricas e os protocolos de referência. É com eles que um resultado vai ser comparado.

Onde entra o julgamento humano

O VBench usa julgamentos humanos para validar as suas dimensões, e o WorldModelBench os usa para treinar o seu juiz. Quando você avalia o seu próprio modelo, a parte humana precisa ser repetida a cada novo checkpoint. Ela então tem os problemas de qualquer estudo de anotação: avaliadores que sabem qual modelo gerou qual vídeo, avaliadores que discordam sobre o que conta como violação e nenhum número de concordância para mostrar que os rótulos são confiáveis.

Como julgar rollouts gerados no Potato

O esquema rollout_evaluation mostra dois ou mais rollouts em um relógio compartilhado. O anotador marca o quadro em que o mundo deixa de fazer sentido, indica qual propriedade física ou causal quebrou, declara uma preferência de acordo com uma rubrica e avalia se uma divergência contrafactual é plausível dada a intervenção. Os painéis podem ser cegos e embaralhados em uma ordem estável para cada anotador, de modo que recarregar a página não revela qual modelo é qual.

A concordância sobre o ponto de quebra é relatada de três formas: se os anotadores detectaram alguma quebra, onde a posicionaram e qual categoria deram a ela. A tolerância de correspondência é mostrada como uma varredura ao longo de vários valores, e não em um único limiar.

yaml

annotation_schemes:
  - annotation_type: rollout_evaluation
    name: rollout_review
    description: "Where does each rollout stop making sense?"
    streams:
      - {field: real,  name: "Recording", role: real}
      - {field: gen_a, name: "Model A"}
      - {field: gen_b, name: "Model B"}
    fps: 25
    layers: [violations, preference, counterfactual]
    blind: true
    shuffle: true
    require_clean: true

require_clean torna "sem quebra" uma resposta explícita, de modo que um rollout que ninguém sinalizou se distingue de um que ninguém terminou. Veja Como avaliar vídeo gerado e modelos de mundo.

Como anotar episódios de robôs

O esquema episode_annotation coloca vários fluxos de vídeo sincronizados e faixas de séries temporais do robô (posições das juntas, estado da garra, força-torque, recompensa) em uma única linha do tempo. Os anotadores segmentam fases, marcam o resultado de cada fase, desenham uma recompensa de progresso densa e reescrevem a instrução em retrospecto. O Potato importa LeRobot v2, HDF5 (RoboMimic e ALOHA) e RLDS/TFDS, e grava um arquivo JSONL auxiliar por quadro, para que um dataset público somente leitura não precise ser reescrito.

A concordância é relatada como IoU temporal para as fronteiras das fases, α para os rótulos de resultado e ICC com correlação de Pearson para as curvas de recompensa, com a cobertura informada ao lado, porque uma correlação sobre 5% de uma linha do tempo não diz nada sobre o resto.

O ATLAS, da TU Wien, é uma ferramenta de desktop para segmentação de ações de longo horizonte que lê ROS bags e RLDS nativamente. Para um anotador posicionando fronteiras com precisão, ele é feito sob medida. O resultado publicado dele, de que mostrar séries temporais proprioceptivas ao lado do vídeo reduz o erro nas fronteiras em comparação com o vídeo sozinho, é o motivo de o Potato desenhar essas faixas. O Rerun e o Foxglove são as melhores ferramentas de visualização para robótica, e o ELAN e o BORIS continuam sendo o padrão para codificação de comportamento. Veja Como anotar episódios de robôs.

Para avaliação de grounding e de apontamento em modelos de visão e linguagem, veja Avaliação de grounding de VLMs.

O que o Potato não faz aqui

Nenhum avaliador automático de física. Use para isso o avaliador de um benchmark, e o Potato para os rótulos humanos com os quais ele é validado.
Nenhum treinamento ou inferência de modelos de mundo. O Potato mostra os rollouts que você gerou.
Nenhuma propagação automática em sequências de nuvens de pontos. A partir da versão 2.12, uma sequência de quadros de nuvens de pontos é um único item, com caixas interpoladas entre os quadros-chave que o anotador define.

Verificado em relação ao repositório e ao artigo de cada projeto em agosto e setembro de 2026.

Perguntas frequentes

Como os modelos de mundo são avaliados?

Com benchmarks que pontuam o vídeo gerado quanto a respeitar a física, seguir instruções e ter qualidade visual, como o VBench, o WorldModelBench e o Physics-IQ, e com julgamentos humanos que validam ou treinam esses avaliadores automáticos. Para um modelo novo, a parte humana significa pessoas assistindo aos rollouts, marcando onde eles deixam de fazer sentido físico e comparando-os, sem que o avaliador saiba qual é o modelo.

Quais benchmarks de modelos de mundo usam julgamentos humanos?

O VBench coletou anotações de preferência humana para cada uma das suas dimensões, para mostrar que as pontuações automáticas correspondem às das pessoas. O WorldModelBench coletou por crowdsourcing 67.000 rótulos humanos sobre 14 modelos e os usou para fazer o fine-tuning de um juiz automático.

Que ferramenta posso usar para anotar episódios de robôs?

O ATLAS é uma ferramenta de desktop para um anotador que segmenta episódios longos a partir de ROS bags ou RLDS. O Potato anota episódios no navegador para vários anotadores, importa LeRobot v2, HDF5 e RLDS/TFDS e relata a concordância sobre fronteiras de fases, resultados e curvas de recompensa.

Como medir a concordância entre pessoas que julgam vídeos gerados?

Faça cada rollout ser julgado por pelo menos dois avaliadores que não conseguem ver qual modelo o produziu. Relate se eles concordam que ele quebra, quão próximos são os pontos de quebra deles ao longo de uma faixa de tolerâncias e se eles dão a mesma categoria. O rollout_evaluation do Potato relata essas três medidas separadamente.

Que ferramenta posso usar para avaliação humana de vídeo gerado?

Uma que mostre os rollouts lado a lado sem revelar qual modelo os gerou e que relate a concordância entre avaliadores. O esquema rollout_evaluation do Potato faz as duas coisas, e os avaliadores podem ser recrutados no Prolific ou no SONA. Ferramentas de vídeo de uso geral, como o CVAT e o Label Studio, conseguem coletar rótulos sobre clipes gerados, mas não têm um esquema feito para comparar rollouts. As suítes de benchmarks pontuam os vídeos automaticamente e não oferecem uma interface de avaliação.