Évaluer une démonstration de modèle du monde : mémoire, actions et transfert

Identifier ce que prédit le modèle

Merci à MirroS de sponsoriser cette vidéo.

Cette explication d’août distingue la génération de langage des modèles qui prédisent l’évolution d’un environnement. Certaines prédictions sont des scènes visibles ; d’autres sont des représentations internes utilisées par un système.

1. Notez l’environnement, les entrées et le résultat prédit dans l’exemple évalué.
2. Distinguez une vidéo générée d’un monde interactif qui réagit aux actions.
3. Demandez quelle partie est montrée directement et laquelle reste une affirmation sur le système.

Poser trois questions concrètes

La vidéo propose trois tests : mémoire, réponses correctes aux actions et transfert au réel. Une image visuellement convaincante ne répond pas aux trois.

1. Mémoire : un objet conserve-t-il son état lorsqu’il sort du champ puis y revient ?
2. Actions : modifier une entrée produit-il une conséquence cohérente, plutôt qu’une simple animation plausible ?
3. Transfert : quelles preuves montrent que le comportement simulé est utile en dehors de cette démonstration ?

Examiner chaque composante d’un benchmark

Luke examine une séquence publiée avec le benchmark open source HarnessEval-W de MirroS. Il rapporte de bons résultats pour les mouvements et la caméra, ainsi qu’un score de 0,13 pour le feu hors champ.

1. Ouvrez la ressource du benchmark conservée avec cette vidéo.
2. Examinez les scores individuels et la séquence qu’ils décrivent, pas seulement une moyenne globale.
3. Rattachez ce résultat de 0,13 à son test précis de feu hors champ.
4. Consignez les défaillances restantes avant de considérer une démonstration créative comme un simulateur fiable.

À retenir

La prévision d’août de la vidéo sur des mondes polyvalents fiables est une opinion à cette date. Cette liste pratique aide à interroger les preuves ; ce n’est pas un classement actuel de tous les modèles du monde.