Benchmarks de capacités IA 2026 — MMLU-Pro, GPQA, ARC-AGI, SWE-Bench

De quoi il s'agit

Quatre benchmarks dominent la façon dont le marché de l'IA de pointe parle des capacités des modèles, et tout architecte SAP Analytics qui doit choisir entre le modèle sous-jacent de Joule, Claude, un modèle de raisonnement de la famille GPT, ou Gemini pour un cas d'usage client précis doit savoir ce que chacun mesure réellement — et, tout aussi important, ce qu'il ne mesure pas. Les supports marketing des éditeurs sont connus pour citer le mauvais score en face de la mauvaise tâche, et le consultant capable de repérer ce décalage en comité de pilotage gagne plus de crédibilité en cinq minutes qu'une douzaine de slides de comparaison fonctionnelle.

Pourquoi c'est important

• Les scores MMLU-Pro se regroupent à 80-90 % pour les modèles frontière 2026, ce qui rend les petits écarts proches du bruit pour choisir un modèle sur un cas d'usage précis comme l'analyse de planification financière.
• GPQA Diamond est le vrai signal de profondeur : les modèles de raisonnement atteignent 70-85 % contre 40-50 % en baseline, et un gain de 25+ points avec l'extended thinking indique un vrai gain de raisonnement, pas juste plus de tokens.
• ARC-AGI reste difficile (40-60 % en 2026) précisément parce que le pattern-matching n'y fonctionne pas, ce qui en fait le bon benchmark pour l'automatisation de conception de process exigeant un raisonnement sur des problèmes inédits.

Points clés

• MMLU-Pro — benchmark d'étendue ; 12 000+ Qs sur 14 domaines, 10 choix de réponse (arXiv:2406.01574, NeurIPS 2024) ; scores frontière 2026 80-90 % ; un écart de 4 points ne dit presque rien sur un cas d'usage spécifique.
• GPQA Diamond — benchmark de profondeur de raisonnement ; 448 Qs Google-proof écrites par des docteurs (arXiv:2311.12022, 2023) ; l'article d'origine trouvait les experts du domaine à 65 %, les non-experts à 34 %, GPT-4 à 39 % — les modèles de raisonnement 2026 avec réflexion étendue atteignent désormais 70-85 %.
• ARC-AGI — benchmark de généralisation créé par François Chollet (2019, arcprize.org) ; puzzles visuels conçus comme « faciles pour les humains, difficiles pour l'IA » ; reste difficile (40-60 % en 2026) ; distingue le raisonnement authentique de la récupération sophistiquée.
• SWE-Bench Verified — benchmark d'agent codeur (swebench.com) ; issues GitHub réelles + tests cachés ; la famille inclut les variantes Verified, Multilingual, Multimodal et Lite ; 70-80 % pour agents frontière vs 20-30 % baseline ; le plus prédictif pour agents codeurs autonomes.
• Adaptez le benchmark au cas d'usage — les decks éditeur citent routinièrement le mauvais score contre la mauvaise tâche ; la littératie benchmarks est la façon dont un consultant défend une recommandation modèle contre le bruit marketing.
• Aucun de ces quatre benchmarks n'est spécifique à SAP ni ne mentionne Joule — la propre documentation du generative AI hub de SAP traite un harnais d'évaluation spécifique à la tâche, passé par le service d'orchestration face aux données réelles d'un client, comme la vraie base d'un choix de modèle en production.
• Le LLM-as-judge est une technique d'évaluation distincte de ces quatre benchmarks publics — il note les sorties d'un agent précis sur une charge de travail précise via un second modèle comme juge sur grille, en complément et non en remplacement de la littératie benchmarks publique.

Termes employés sur cette page

MMLU-Pro

Massive Multitask Language Understanding — édition Pro (arXiv:2406.01574, piste NeurIPS 2024 Datasets and Benchmarks) ; successeur 2024 de MMLU avec plus de 12 000 questions plus difficiles et 10 choix de réponse couvrant 14 domaines académiques et professionnels ; le benchmark canonique d'étendue pour les modèles frontière de 2026.

GPQA Diamond

Graduate-level Google-Proof Q&A (arXiv:2311.12022, 2023), sous-ensemble le plus difficile ; 448 questions à choix multiples rédigées par des docteurs en physique, chimie et biologie que la recherche Google ne peut résoudre ; l'article d'origine trouvait les experts du domaine à 65 % et GPT-4 à 39 % ; le benchmark canonique de profondeur de raisonnement.

ARC-AGI

Abstraction and Reasoning Corpus for Artificial General Intelligence, créé par François Chollet (2019, arcprize.org) ; casse-tête de complétion de motifs visuels conçus pour tester l'intelligence fluide et la généralisation à des tâches nouvelles ; reste difficile pour les modèles frontière car le pur appariement de motifs ne fonctionne pas.

SWE-Bench Verified

Sous-ensemble validé à la main de SWE-Bench (swebench.com) ; de véritables issues GitHub de projets open-source où le modèle doit produire un correctif de code passant les tests du projet ; la famille inclut aussi les variantes Multilingual, Multimodal et Lite ; le benchmark canonique de codage agentique.

LLM-as-judge

Une technique d'évaluation où un second modèle (souvent plus puissant), guidé par une grille de notation, juge les sorties d'un agent précis sur une charge de travail précise — un proxy scalable de la revue humaine ; distinct et complémentaire des quatre benchmarks de capacité publics de cette fiche.

Harnais d'évaluation spécifique à la tâche

Une évaluation passée par le propre service d'orchestration de SAP face aux documents et prompts réels d'un client, plutôt qu'un score de classement public ; ce que la documentation du generative AI hub de SAP traite comme la vraie base d'un choix de modèle en production.

Sources

1. Stanford HAI AI Index Report 2026 §1 Technical performance — frontier benchmark coverage
2. MMLU-Pro paper + leaderboard
3. SAP Business AI — official product page
4. arXiv — MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark (2406.01574, NeurIPS 2024)
5. arXiv — GPQA: A Graduate-Level Google-Proof Q&A Benchmark (2311.12022, 2023)
6. ARC Prize Foundation — ARC-AGI benchmark overview
7. SAP Help Portal — generative AI hub orchestration service (evaluation-relevant grounding/filtering/masking pipeline)
8. SAP Help Portal — generative AI hub model access (SAP AI Core)
9. SAP Help Portal — metering and pricing for generative AI on SAP AI Core (cost of running a task-specific evaluation harness)
10. Anthropic — evaluation guidance, canonical framing for LLM-as-judge practice
11. SWE-bench Verified benchmark review — Epoch AI (3 Sep 2026)
12. OpenAI Says Benchmark Used to Measure AI Coding Skill Is 'Contaminated' — Decrypt (24 Feb 2026)
13. AI Model Benchmarks Explained: SWE-bench, GPQA Diamond, HLE for Production — GMI Cloud (28 Jul 2026)
14. ARC-AGI-2 — ARC Prize