# Puntuaciones IA: comparar prueba y condiciones antes del modelo

Une los capítulos con referencias primarias verificadas el 2 de noviembre de 2026.

[HTML](https://lukejbyrne.com/library/guides/gztgxvaw11e/?lang=es)
Idioma del texto: es
Autor: Luke Byrne
Vídeo publicado el: 2025-02-04
Guía publicada el: 2026-11-02

[Ver el vídeo](https://www.youtube.com/watch?v=gzTGXvAW11E)
Idioma del vídeo: Inglés

## Partir del episodio histórico

La fuente del 4 de febrero de 2025 da capítulos sin cifras ni veredicto detallado. AIME 2024, Codeforces, GPQA Diamond, MATH-500, MMLU-Pro y SWE-bench Verified preceden R1/o1 en 5:37. Las definiciones siguientes son complemento documentado aparte, no reconstrucción de puntuaciones no revisadas de Luke.

1. Registra prueba, versión, métrica y fecha antes de comparar.
2. Conserva valores y condiciones ausentes sin inferir ganador por reputación.

## Distinguir matemáticas, ciencia y conocimiento

AIME es una competición matemática; MATH-500 usa 500 problemas MATH reservados para evaluar. Fuentes: https://maa.org/wp-content/uploads/2025/08/Final-MAA-Impact-Report-2024.pdf y https://github.com/openai/prm800k.

GPQA Diamond es un subconjunto científico seleccionado; MMLU-Pro amplía evaluación multidisciplinar con razonamiento más difícil y diez opciones. Fuentes: https://arxiv.org/html/2311.12022 y https://arxiv.org/abs/2406.01574.

1. Sigue 0:24, 1:54, 2:40 y 3:05 para distinguir tareas.
2. Pregunta si la prueba corresponde a las necesidades de tu aplicación antes de generalizar utilidad.

## Separar competición de código y reparación de repositorios

Codeforces trata concursos y clasificación; SWE-bench Verified contiene 500 problemas de software filtrados por humanos. Fuentes: https://codeforces.com/help y https://www.swebench.com/.

1. Sigue 1:03 y 4:29 distinguiendo clasificación, porcentaje y tareas resueltas.
2. No leas clasificación como porcentaje de bugs de producción ni un test de repositorio como todo el desarrollo.

## Leer condiciones y probar la tarea real

La evaluación oficial R1 separa métricas y describe muestreo: https://github.com/deepseek-ai/DeepSeek-R1/blob/main/README.md. Es informe del proveedor, no resultado reproducido aquí. Prompts, herramientas e intentos deben seguir visibles tras las cifras.

1. Compara misma versión y métrica con condiciones declaradas, distinguiendo proveedor y revisión independiente.
2. Después prueba una tarea real acotada con resultado conocido y registra calidad, errores y esfuerzo aparte del score.

## Conclusión

Un benchmark documenta una prueba definida, no ganador permanente ni sustituto de tus comprobaciones.

## Recursos de la guía

- [ailuke.short.gy](https://ailuke.short.gy/gzTGXvAW11E1)
- [ailuke.short.gy](https://ailuke.short.gy/gzTGXvAW11E2)
- [newsletter.lukejbyrne.com](https://newsletter.lukejbyrne.com)
- [linkedin.com](https://linkedin.com/in/lukejbyrne)
- [amazon.com](https://www.amazon.com/shop/lukejbyrne)
- [maa.org](https://maa.org/wp-content/uploads/2025/08/Final-MAA-Impact-Report-2024.pdf)
- [github.com](https://github.com/openai/prm800k)
- [arxiv.org](https://arxiv.org/html/2311.12022)
- [arxiv.org](https://arxiv.org/abs/2406.01574)
- [codeforces.com](https://codeforces.com/help)
- [swebench.com](https://www.swebench.com/)
- [github.com](https://github.com/deepseek-ai/DeepSeek-R1/blob/main/README.md)

## Capítulos

- [0:00 Introducción](https://www.youtube.com/watch?v=gzTGXvAW11E&t=0s)
- [0:24 AIME 2024](https://www.youtube.com/watch?v=gzTGXvAW11E&t=24s)
- [1:03 Codeforces](https://www.youtube.com/watch?v=gzTGXvAW11E&t=63s)
- [1:54 GPQA Diamond](https://www.youtube.com/watch?v=gzTGXvAW11E&t=114s)
- [2:40 MATH-500](https://www.youtube.com/watch?v=gzTGXvAW11E&t=160s)
- [3:05 MMLU-Pro](https://www.youtube.com/watch?v=gzTGXvAW11E&t=185s)
- [4:29 SWE-bench Verified](https://www.youtube.com/watch?v=gzTGXvAW11E&t=269s)
- [5:37 DeepSeek R1 frente a OpenAI o1](https://www.youtube.com/watch?v=gzTGXvAW11E&t=337s)

## Fuentes y límites

Preparado el 2 de noviembre de 2026 a partir de título, descripción y capítulos históricos exactos, con las referencias primarias separadas enlazadas y verificadas ese día. No se vio ni transcribió la grabación completa de forma independiente; no se afirma prueba práctica, reproducción de puntuaciones ni ganador independiente.

[Vídeo original](https://www.youtube.com/watch?v=gzTGXvAW11E)