Scores IA : comparer test et conditions avant le modèle

Partir de l’épisode historique

La source du 4 février 2025 donne des chapitres sans résultats chiffrés ni verdict détaillé. AIME 2024, Codeforces, GPQA Diamond, MATH-500, MMLU-Pro et SWE-bench Verified précèdent R1/o1 à 5:37. Les définitions suivantes sont un complément sourcé séparément, pas les scores non examinés de Luke.

1. Notez test, version du modèle, métrique et date avant comparaison.
2. Gardez valeurs et conditions manquantes visibles sans déduire un gagnant de réputation.

Distinguer mathématiques, sciences et connaissances

AIME est un concours mathématique ; MATH-500 utilise 500 problèmes MATH réservés à l’évaluation. Sources : https://maa.org/wp-content/uploads/2025/08/Final-MAA-Impact-Report-2024.pdf et https://github.com/openai/prm800k.

GPQA Diamond est un sous-ensemble scientifique sélectionné ; MMLU-Pro élargit l’évaluation multidisciplinaire avec questions de raisonnement plus difficiles et dix choix. Sources : https://arxiv.org/html/2311.12022 et https://arxiv.org/abs/2406.01574.

1. Suivez 0:24, 1:54, 2:40 et 3:05 pour distinguer ces tâches.
2. Demandez si le test correspond aux questions de votre application avant de généraliser son utilité.

Séparer concours de code et réparation de dépôt

Codeforces porte sur concours et classements ; SWE-bench Verified contient 500 problèmes logiciels filtrés par des humains. Sources : https://codeforces.com/help et https://www.swebench.com/.

1. Suivez 1:03 et 4:29 en distinguant classement, pourcentage et tâches résolues.
2. Ne lisez pas un classement comme pourcentage de bugs de production corrigés ni un test de dépôt comme tout le développement.

Lire les conditions et tester sa vraie tâche

L’évaluation officielle R1 distingue les métriques et décrit l’échantillonnage : https://github.com/deepseek-ai/DeepSeek-R1/blob/main/README.md. C’est un rapport fournisseur, pas un résultat reproduit ici. Prompts, outils et tentatives doivent rester visibles derrière les chiffres.

1. Comparez même version et métrique avec conditions déclarées, en distinguant fournisseur et contrôle indépendant.
2. Essayez ensuite une tâche réelle délimitée au résultat connu et notez qualité, erreurs et effort séparément du score.

À retenir

Un benchmark documente un test défini, pas un gagnant éternel ou un remplacement de vos vérifications.