KI-Fähigkeits-Benchmarks 2026 — MMLU-Pro, GPQA, ARC-AGI, SWE-Bench

Vier Benchmarks dominieren, wie der Spitzen-KI-Markt über Modellfähigkeiten spricht, und jeder SAP-Analytics-Architekt, der für einen konkreten Kunden-Anwendungsfall zwischen Joules zugrunde liegendem Modell, Claude, GPT-Reasoning-Modellen oder Gemini wählen muss, muss wissen, was jeder dieser Benchmarks tatsächlich misst — und, ebenso wichtig, was nicht. Marketing-Decks von Anbietern sind dafür berüchtigt, den falschen Wert gegen die falsche Aufgabe zu zitieren, und der Berater, der diese Fehlpassung in einem Lenkungsausschuss aufdeckt, gewinnt in fünf Minuten mehr Glaubwürdigkeit als mit einem Dutzend Feature-Vergleichsfolien.

Was jeder Benchmark tatsächlich misst

MMLU-Pro ist der breit zitierte Nachfolger des ursprünglichen MMLU (Massive Multitask Language Understanding). Er erweitert den Fragenpool auf mehr als zwölftausend Items aus vierzehn akademischen und beruflichen Domänen und hebt die Schwierigkeitsschwelle bewusst an, weil das ursprüngliche MMLU gesättigt war — Spitzenmodelle erreichten über neunzig Prozent, was es für die Unterscheidung von Spitzensystemen unbrauchbar machte. MMLU-Pro geht zudem von vier auf zehn Antwortmöglichkeiten über, was die Chance auf einen glücklichen Treffer senkt. Da er alles von Recht über Ingenieurwesen bis Gesundheit abdeckt, versteht man MMLU-Pro am besten als Breiten-Benchmark: Er testet, wie zuverlässig ein Modell über viele Domänen hinweg Wissen hat, nicht wie gut es sich durch ein wirklich schwieriges Problem durchdenkt. Eine kleine Lücke von wenigen Prozentpunkten zwischen zwei Spitzenmodellen bei MMLU-Pro sagt fast nichts darüber aus, welches Modell einen konkreten Anwendungsfall in der Finanzplanung oder Lieferkette besser bedient.

Warum es zählt

• MMLU-Pro-Werte gruppieren sich bei 2026er Spitzenmodellen zwischen 80-90 %, was bedeutet, dass kleine Lücken nahe am Rauschen liegen, wenn ein Modell für einen konkreten Anwendungsfall wie Finanzplanungsanalyse ausgewählt wird.
• GPQA Diamond ist das eigentliche Tiefensignal: Reasoning-Modelle erreichen 70-85 % gegenüber einer Baseline von 40-50 %, und ein Zugewinn von 25+ Punkten durch aktiviertes Extended Thinking zeigt einen echten Reasoning-Gewinn an, nicht nur zusätzliche Tokens.
• ARC-AGI bleibt schwierig (40-60 % im Jahr 2026), gerade weil Mustererkennung dabei nicht funktioniert, was es zum richtigen Benchmark für Prozessgestaltungs-Automatisierung macht, die Reasoning bei neuartigen Problemen erfordert.

Kernpunkte

• MMLU-Pro — Breiten-Benchmark; 12.000+ Fragen über 14 Domänen, 10 Antwortoptionen (arXiv:2406.01574, NeurIPS 2024); 2026er Spitzenwerte bei 80-90 %; eine 4-Punkte-Lücke sagt für einen konkreten Anwendungsfall fast nichts aus.
• GPQA Diamond — Reasoning-Tiefen-Benchmark; 448 von Promovierten verfasste, google-sichere Fragen (arXiv:2311.12022, 2023); das Originalpapier fand Fachexperten bei 65 %, Laien bei 34 %, GPT-4 bei 39 % — 2026er Reasoning-Modelle mit Extended Thinking erreichen inzwischen 70-85 %.
• ARC-AGI — Generalisierungs-Benchmark, geschaffen von François Chollet (2019, arcprize.org); visuelle Musterrätsel, konzipiert als „leicht für Menschen, schwer für KI“; bleibt schwierig (40-60 % im Jahr 2026); unterscheidet echtes Reasoning von ausgeklügeltem Retrieval.
• SWE-Bench Verified — Agentic-Coding-Benchmark (swebench.com); echte GitHub-Issues + verborgene Tests; die Familie umfasst die Varianten Verified, Multilingual, Multimodal und Lite; 70-80 % bei Spitzenagenten gegenüber 20-30 % Basis; die höchste Vorhersagekraft für autonome Coding-Agenten.
• Benchmark auf Anwendungsfall abstimmen — Anbieter-Decks zitieren routinemäßig den falschen Wert gegen die falsche Aufgabe; Benchmark-Kompetenz ist, wie ein Berater eine Modellempfehlung gegen Marketing-Rauschen verteidigt.
• Keiner dieser vier Benchmarks ist SAP-spezifisch oder erwähnt Joule — SAPs eigene Anleitung zum Generative AI Hub behandelt ein aufgabenspezifisches Evaluierungs-Harness, das über den Orchestrierungsdienst gegen echte Kundendaten läuft, als die eigentliche Grundlage für eine Modellwahl in der Produktion.
• LLM-as-Judge ist eine von diesen vier öffentlichen Benchmarks getrennte Evaluationstechnik — sie bewertet die Ausgaben eines bestimmten Agenten bei einer bestimmten Arbeitslast mittels eines zweiten Modells als bewertungsvorlagenbasierter Richter, ergänzend statt ersetzend zur öffentlichen Benchmark-Kompetenz.

Begriffe auf dieser Seite

MMLU-Pro

Massive Multitask Language Understanding — Pro-Edition (arXiv:2406.01574, NeurIPS-2024-Track Datasets and Benchmarks); 2024er Nachfolger von MMLU mit 12.000+ schwierigeren Fragen und 10 Antwortoptionen über 14 akademische und berufliche Domänen; der kanonische Breiten-Benchmark für 2026er Spitzenmodelle.

GPQA Diamond

Graduate-level Google-Proof Q&A (arXiv:2311.12022, 2023), schwierigste Teilmenge; 448 von Promovierten verfasste Multiple-Choice-Fragen in Physik, Chemie und Biologie, die eine Google-Suche nicht lösen kann; das Originalpapier fand Fachexperten bei 65 % und GPT-4 bei 39 %; der kanonische Reasoning-Tiefen-Benchmark.

ARC-AGI

Abstraction and Reasoning Corpus for Artificial General Intelligence, geschaffen von François Chollet (2019, arcprize.org); visuelle Musterergänzungs-Rätsel, konzipiert, um fluide Intelligenz und Generalisierung bei neuartigen Aufgaben zu testen; bleibt für Spitzenmodelle schwierig, weil reine Mustererkennung nicht funktioniert.

SWE-Bench Verified

Von Hand validierte Teilmenge von SWE-Bench (swebench.com); echte GitHub-Issues aus Open-Source-Projekten, bei denen das Modell einen Code-Patch erzeugen muss, der die Tests des Projekts besteht; die Familie umfasst zudem die Varianten Multilingual, Multimodal und Lite; der kanonische Agentic-Coding-Benchmark.

LLM-as-Judge

Eine Evaluationstechnik, bei der ein zweites (oft stärkeres) Modell, angeleitet durch eine Bewertungsvorlage, die Ausgaben eines bestimmten Agenten bei einer bestimmten Arbeitslast bewertet — ein skalierbarer Stellvertreter für menschliche Prüfung; getrennt von und ergänzend zu den vier öffentlichen Fähigkeits-Benchmarks dieser Karte.

Aufgabenspezifisches Evaluierungs-Harness

Eine Evaluation, die über SAPs eigenen Orchestrierungsdienst gegen die tatsächlichen Dokumente und Prompts eines Kunden läuft, statt gegen einen öffentlichen Leaderboard-Wert; das, was SAPs Anleitung zum Generative AI Hub als die eigentliche Grundlage für eine Modellwahl in der Produktion behandelt.

Quellen

1. Stanford HAI AI Index Report 2026 §1 Technical performance — frontier benchmark coverage
2. MMLU-Pro paper + leaderboard
3. SAP Business AI — official product page
4. arXiv — MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark (2406.01574, NeurIPS 2024)
5. arXiv — GPQA: A Graduate-Level Google-Proof Q&A Benchmark (2311.12022, 2023)
6. ARC Prize Foundation — ARC-AGI benchmark overview
7. SAP Help Portal — generative AI hub orchestration service (evaluation-relevant grounding/filtering/masking pipeline)
8. SAP Help Portal — generative AI hub model access (SAP AI Core)
9. SAP Help Portal — metering and pricing for generative AI on SAP AI Core (cost of running a task-specific evaluation harness)
10. Anthropic — evaluation guidance, canonical framing for LLM-as-judge practice
11. SWE-bench Verified benchmark review — Epoch AI (3 Sep 2026)
12. OpenAI Says Benchmark Used to Measure AI Coding Skill Is 'Contaminated' — Decrypt (24 Feb 2026)
13. AI Model Benchmarks Explained: SWE-bench, GPQA Diamond, HLE for Production — GMI Cloud (28 Jul 2026)
14. ARC-AGI-2 — ARC Prize