Puntuaciones IA: comparar prueba y condiciones antes del modelo

Partir del episodio histórico

La fuente del 4 de febrero de 2025 da capítulos sin cifras ni veredicto detallado. AIME 2024, Codeforces, GPQA Diamond, MATH-500, MMLU-Pro y SWE-bench Verified preceden R1/o1 en 5:37. Las definiciones siguientes son complemento documentado aparte, no reconstrucción de puntuaciones no revisadas de Luke.

1. Registra prueba, versión, métrica y fecha antes de comparar.
2. Conserva valores y condiciones ausentes sin inferir ganador por reputación.

Distinguir matemáticas, ciencia y conocimiento

AIME es una competición matemática; MATH-500 usa 500 problemas MATH reservados para evaluar. Fuentes: https://maa.org/wp-content/uploads/2025/08/Final-MAA-Impact-Report-2024.pdf y https://github.com/openai/prm800k.

GPQA Diamond es un subconjunto científico seleccionado; MMLU-Pro amplía evaluación multidisciplinar con razonamiento más difícil y diez opciones. Fuentes: https://arxiv.org/html/2311.12022 y https://arxiv.org/abs/2406.01574.

1. Sigue 0:24, 1:54, 2:40 y 3:05 para distinguir tareas.
2. Pregunta si la prueba corresponde a las necesidades de tu aplicación antes de generalizar utilidad.

Separar competición de código y reparación de repositorios

Codeforces trata concursos y clasificación; SWE-bench Verified contiene 500 problemas de software filtrados por humanos. Fuentes: https://codeforces.com/help y https://www.swebench.com/.

1. Sigue 1:03 y 4:29 distinguiendo clasificación, porcentaje y tareas resueltas.
2. No leas clasificación como porcentaje de bugs de producción ni un test de repositorio como todo el desarrollo.

Leer condiciones y probar la tarea real

La evaluación oficial R1 separa métricas y describe muestreo: https://github.com/deepseek-ai/DeepSeek-R1/blob/main/README.md. Es informe del proveedor, no resultado reproducido aquí. Prompts, herramientas e intentos deben seguir visibles tras las cifras.

1. Compara misma versión y métrica con condiciones declaradas, distinguiendo proveedor y revisión independiente.
2. Después prueba una tarea real acotada con resultado conocido y registra calidad, errores y esfuerzo aparte del score.

Conclusión

Un benchmark documenta una prueba definida, no ganador permanente ni sustituto de tus comprobaciones.