Auswahl des Foundation Model — OpenAI vs. Claude vs. Gemini vs. Llama
Stand
Was ist Auswahl des Foundation Model?
Generische Leaderboards (HumanEval, MMLU) sagen die Leistung bei SAP-Aufgaben nicht voraus — und langer Kontext unterscheidet die Anbieter nicht mehr: Claude Opus 5.5 und Sonnet 5 sowie Gemini 2.5 Pro bieten 1-Mio.-Token-Fenster, entscheidend sind daher Evaluationen pro Aufgabe, Datenresidenz und Kosten.
Worum es geht
Die Auswahl des Foundation Model ist die wiederkehrende architektonische Entscheidung, vor der jede SAP-KI-Initiative irgendwann steht: welches Large Language Model — die GPT-6-Familie von OpenAI (Astra, Sol, Luna), Claude von Anthropic, Gemini von Google oder ein Open-Weight-Modell wie Llama oder Mistral — hinter einer gegebenen Joule-Erweiterung, einer BTP-AI-API-Integration oder einer kundenspezifischen Analytics-Funktion stehen soll. Sie ist wichtig, weil die Entscheidung teuer rückgängig zu machen ist: Prompt Engineering, Evaluierungs-Frameworks, Fine-Tuning-Daten und Kostenmodelle sind alle um das Verhalten eines bestimmten Modells herum aufgebaut, und ein späterer Anbieterwechsel bedeutet, all das gegen eine neue Baseline neu zu validieren.
Der Fehler, den die meisten Unternehmensarchitekten machen, ist, dies als Nachschlagen in einem Leaderboard zu behandeln. Allgemeine Benchmarks — Coding-Tests, breite Wissensquiz, Denkaufgaben — messen Fähigkeiten, die nur schwach mit den Aufgaben korrelieren, die SAP-Analytics-Arbeit tatsächlich braucht: typisierte Felder aus einer halbstrukturierten S/4HANA-BAPI-Antwort zu extrahieren, ohne nicht vorhandene Werte zu erfinden, ABAP oder SQLScript zu generieren, das SAP-Namens- und Performance-Konventionen einhält, korrekt über die Metadaten eines Datasphere Analytic Model zu schlussfolgern oder ESRS-konformen Fließtext aus strukturierten ESG-Zahlen zu entwerfen. Ein Modell, das ein allgemeines Leaderboard anführt, kann bei diesen engen, folgenreichen Extraktions- und Generierungsaufgaben trotzdem unterdurchschnittlich abschneiden, und die einzige verlässliche Methode, das herauszufinden, ist eine aufgabenspezifische Evaluierung an echten SAP-Daten vor der Entscheidung.
Warum es zählt
- Die strukturierte Datenextraktion aus S/4-BAPI-JSON/XML muss auf den eigenen Payloads gemessen werden — Anbieter-Leaderboards sagen sie nicht voraus, und ein öffentliches SAP-spezifisches Leaderboard gibt es nicht
- Nur Llama 3 im EU-Region-Deployment von SAP AI Core erfüllt Art. 44 DSGVO für hochsensible personenbezogene Daten vollständig — die EU-Endpunkte von OpenAI und Gemini decken nur Standarddaten ab
- Codegenerierung muss pro Aufgabe evaluiert werden — ABAP-Generierung, Long-Context-SQL-Reasoning und SQLScript ordnen die Modelle unterschiedlich, und die Reihenfolge ändert sich mit jeder Modellgeneration.
Kernpunkte
- Generische Benchmarks (MMLU, HumanEval) sagen die Leistung bei SAP-spezifischen Aufgaben nicht voraus — eigene Evaluierung für ABAP-Generierung, S/4-Extraktion und Datasphere-Metadatenaufgaben durchführen.
- OpenAI GPT-6 (Astra, Sol, Luna; GPT-6.1 Sol seit 29. September 2026): die tiefste Microsoft/Azure-Integration; bei ABAP-Generierung und strukturierter S/4-Datenextraktion evaluieren.
- Claude (Opus 5.5, Sonnet 5; Haiku 4.5 für Volumen): 1-Mio.-Token-Kontext bei Opus und Sonnet; bei Long-Context-SQL-Reasoning und Befolgen von Anweisungen evaluieren.
- Gemini (2.5 Pro und neuer): 1-Mio.-Token-Kontext; bei vollständigen InfoProvider-Katalogen oder großen CSRD-Offenlegungsanalysen evaluieren.
- Llama 3 70B auf SAP AI Core EU: am besten für EU-Datenresidenz-Compliance und Kosten im großen Maßstab; benötigt Fine-Tuning für SAP-spezifische Aufgaben.
- Die Modellauswahl ist eine architektonische Festlegung für 3-5 Jahre; eine Migration bei Minderleistung kostet 6-12 Monate.
Begriffe auf dieser Seite
- Foundation Model
- Großes, vortrainiertes Modell (LLM oder multimodal), das über Fine-Tuning oder Prompting als universelle Basis für nachgelagerte Unternehmensaufgaben dient.
- GPT-6
- Aktuelle Modellfamilie von OpenAI (GPT-6: Astra, Sol, Luna; GPT-6.1 Sol seit 29. September 2026; die GPT-5-Linie, erschienen im August 2025, ist die vorherige Generation); verfügbar über Azure OpenAI / Microsoft Foundry, einschließlich EU-Datenzonen.
- Claude
- Modellfamilie von Anthropic — im September 2026 Claude Opus 5.5 und Sonnet 5 (1-Mio.-Token-Kontext) sowie Haiku 4.5 (200K); verfügbar über die Claude API, AWS Bedrock, Google Cloud Vertex AI und Microsoft Foundry.
- Gemini
- Modellfamilie von Google; Gemini 2.5 Pro bietet ein 1-Mio.-Token-Kontextfenster; verfügbar über Vertex AI mit Deployments in EU-Regionen.
- Llama 3
- Open-Weight-LLM-Familie von Meta (2024); self-hostable auf EU-Infrastruktur oder verfügbar über den Modellkatalog von SAP AI Core.
- SAP BTP AI API
- SAPs verwaltetes API-Gateway für den Zugriff auf Foundation Models auf der Business Technology Platform — bietet einen einheitlichen Endpunkt für mehrere Modelle über SAP AI Core.
Quellen
- Anthropic — Claude models overview (checked 2026-09-22)
- SAP AI Core — Supported Foundation Models Documentation
- Meta Llama 3 Model Card — Meta AI
- Google Vertex AI — Gemini Models Overview
- Azure OpenAI Service — models documentation
- SAP Business AI — official product page
- SAP Joule (work companion) — official product page
- SAP Generative AI — official product page
- Meta AI — Llama model research
- SAP Help Portal — Generative AI hub in SAP AI Core: model access overview
- SAP Help Portal — Orchestration service: content filtering and data masking pipeline modules
- Anthropic (via Claude documentation) — Context windows: current model limits (checked 2026-09-27)
- EUR-Lex — Regulation (EU) 2016/679 (GDPR), Article 44: general principle for data transfers
- The Decoder — GPT-6.1 Sol comes close to Astra at a fifth of the price (GPT-6.1 Sol pricing and OpenAI-reported benchmarks, 29 Sep 2026)
- InfoWorld — OpenAI pulls the plug on GPT 6.1 Astra as agents keep crossing lines (planned Astra release withheld over safety, 29 Sep 2026)
- The Decoder — Google Gemini 4 Argon closes the gap with OpenAI and Anthropic but doesn't take a clear lead (Argon pricing, Artificial Analysis scores, staged rollout)
- Databricks — October 2026 platform release notes (Gemini 2.5 Pro and Flash retired 2 Oct 2026)
- Databricks — September 2026 platform release notes (GPT-6.1 Sol on Unity Gateway, 29 Sep 2026)
- The Decoder — Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of Pro (consumer plan limits, 4 Oct 2026)
Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.
Offene SAP-Projekte
Aktuelle SAP-Analytics-Projekte und Stellen im DACH-Raum: SAP-Analytics-Projekte im DACH-Raum.