Cómo evaluar una demo de un modelo del mundo: memoria, acciones y transferencia

Identifica qué predice el modelo

Gracias a MirroS por patrocinar este vídeo.

La explicación de agosto distingue la generación de lenguaje de los modelos que predicen cómo cambia un entorno. Algunas predicciones son escenas visibles; otras son representaciones internas utilizadas por un sistema.

1. Anota el entorno, las entradas y el resultado previsto del ejemplo que estás evaluando.
2. Separa un vídeo generado de un mundo interactivo que responde a las acciones.
3. Pregunta qué parte se muestra directamente y cuál es solo una afirmación sobre el sistema.

Utiliza tres preguntas concretas

El vídeo propone memoria, respuestas correctas a las acciones y transferencia a la realidad como tres pruebas. Un fotograma visualmente convincente no responde a las tres.

1. Memoria: ¿conserva un objeto su estado cuando sale de la vista y vuelve?
2. Acciones: ¿cambiar una entrada produce una consecuencia coherente, en lugar de una animación meramente plausible?
3. Transferencia: ¿qué pruebas muestran que el comportamiento simulado es útil fuera de esta demo concreta?

Inspecciona cada componente de un benchmark

Luke examina una secuencia publicada mediante el benchmark de código abierto HarnessEval-W de MirroS. Comunica buenos resultados de movimiento y cámara junto con una puntuación de 0,13 para el fuego fuera de pantalla.

1. Abre el recurso del benchmark conservado de este vídeo.
2. Inspecciona las puntuaciones individuales y la secuencia que describen, no solo una media global.
3. Mantén ese resultado de 0,13 vinculado a su prueba concreta de fuego fuera de pantalla.
4. Registra los fallos restantes antes de tratar una demo creativa como un simulador fiable.

Conclusión

La previsión de agosto del vídeo sobre mundos fiables de propósito general es una opinión de aquella fecha. Esta lista práctica permite examinar las pruebas, no ofrece una clasificación actual de todos los modelos del mundo.