Modellzugriff im Generative AI Hub (die Frage nach dem „SAP Model Gateway“)

Warum diese Karte neu ausgerichtet wurde

Frühere Versionen dieser Karte beschrieben ein „SAP Model Gateway“ mit Qualitätsstufen, Kostenstellen je Skill und automatischem Routing, angekündigt auf der Sapphire 2026. Ein solches Produkt taucht weder in der Dokumentation von SAP AI Core und Generative AI Hub (September 2026) noch in der Plattformankündigung der Sapphire 2026 oder bei SAP Learning auf. Der Bedarf hinter dem Namen ist dennoch real: Jedes Unternehmen mit mehreren LLMs will einen einzigen, kontrollierten Weg zu ihnen. Im SAP-Stack ist dieser Weg der Generative AI Hub, und die sinnvolle Übung besteht darin, jede Gateway-Erwartung dem Mechanismus zuzuordnen, den SAP tatsächlich liefert — samt seinen Grenzen.

Ein Einstiegspunkt und Modellunabhängigkeit: die harmonisierte API

Der Orchestration Service läuft unter dem von SAP verwalteten globalen Szenario orchestration. Sie legen ein Orchestrierungs-Deployment je Resource Group an (oder nutzen das der Default-Resource-Group) und rufen POST {deploymentUrl}/v2/completion auf. Die harmonisierte API nimmt die OpenAI-API als Standard und bildet Nachrichtenformate, Parameter und Antworten anderer Anbieter darauf ab; das Modell ist nur noch model.name und model.version in prompt_templating. Der Wechsel von einem Azure-OpenAI-Modell zu einem Anthropic-Modell auf AWS Bedrock, zu Gemini auf Vertex AI oder zu einem Mistral-Modell ist eine Konfigurationsänderung, keine neue Integration. Orchestration Configs lassen sich zudem über die Prompt Registry (C118) speichern, versionieren und aus Anfragen referenzieren, womit die Modellwahl aus dem Anwendungscode herauswandert. Die Alternative, das Szenario foundation-models, verlangt ein Deployment je Modell und Version und zeigt die jeweils eigene API des Anbieters — richtig, wenn Sie eine anbieterspezifische Funktion brauchen, falsch, wenn Sie Austauschbarkeit wollen.

Warum es zählt

• Eine „Model Gateway“-Position anzubieten oder zu budgetieren, die SAP nicht verkauft, kostet schon im ersten Architektur-Review Glaubwürdigkeit.
• Ohne Allow-Liste auf Deployment-Ebene bleibt die Politik freigegebener Modelle eine Empfehlung; jeder Entwickler kann jedes Modell des Tenants aufrufen.
• Rate Limits zählen Anfragen pro Minute je Modell, nicht Tokens je Nutzer — Ausgabenobergrenzen je Anwendung muss man bauen, nicht konfigurieren.

Kernpunkte

• „SAP Model Gateway“ ist kein SAP-Produkt; die Gateway-Rolle übernehmen der Orchestration Service des Generative AI Hub sowie Rate Limits und Metering von AI Core.
• Ein Einstiegspunkt: ein Orchestrierungs-Deployment je Resource Group, POST /v2/completion, harmonisierte API im OpenAI-Stil.
• Modellwechsel = model.name/version in prompt_templating oder in einer gespeicherten Orchestration Config ändern — keine neue Integration.
• Politik freigegebener Modelle: modelFilterList + modelFilterListType (allow/deny) am Orchestrierungs-Deployment.
• Ausfallumschaltung: geordnete Fallback-Konfigurationen; Auslöser sind regionale Nichtverfügbarkeit und — ohne Streaming — 408, 429 und 5xx.
• Kontingente: Anfragen pro Minute je Modell und Tenant, optional eigene Resource-Group-Limits über die Quota-Management-API; 429 + Retry-After.
• Kostenzuordnung nativ bis Modell, Orchestrierung und Resource Group im BTP-Nutzungsexport; feiner nur mit Labels und Logs.
• Joules eigene LLM-Aufrufe laufen unter SAP-Verwaltung über AI Core, ohne Speicherung und Training; Ihre Kontrollen gelten für das, was Sie bauen.

Begriffe auf dieser Seite

Harmonisierte API

Orchestrierungsschnittstelle, die Anbieter auf die Konventionen der OpenAI-API für Nachrichten, Parameter und Antworten normalisiert.

modelFilterList / modelFilterListType

Parameterbindungen eines Orchestrierungs-Deployments, die bestimmte Modelle und Versionen erlauben oder sperren.

Fallback-Konfiguration

Geordnete Liste von Modulkonfigurationen, die bei definierten Fehlern oder regionaler Nichtverfügbarkeit nacheinander versucht werden.

intermediate_failures

Antwortfeld, das meldet, warum höher priorisierte Konfigurationen übersprungen wurden.

RPM-Limit

Maximale Anfragen pro Minute je Modell in einem Tenant, geteilt von allen Versionen dieses Modells.

Quota-Management-API

AI-Core-Endpunkte zum Lesen und Ändern von Rate Limits, einschließlich eigener Resource-Group-Limits.

GenAI-Token

Virtuelle Einheit, die Ein- und Ausgabe-Tokens eines Modells zu modellspezifischen Sätzen umrechnet, bevor daraus Capacity Units werden.

Quellen

1. SAP AI Core — Orchestration (SAP-docs)
2. SAP AI Core — Harmonized API (SAP-docs)
3. SAP AI Core — Model Restriction (SAP-docs)
4. SAP AI Core — Orchestration with Fallbacks (SAP-docs)
5. SAP AI Core — Rate Limit Management (SAP-docs)
6. SAP AI Core — Batch Consumption (SAP-docs)
7. SAP AI Core service guide — metering and pricing (PDF, 4 Sep 2026)
8. SAP News — SAP Unveils Business AI Platform (Sapphire, May 2026)
9. SAP Community — Trust by Design: Security, Guardrails & Governance in Joule (Aug 2026)
10. SAP Help — Generative AI hub overview (model access)
11. SAP Help — Metering and pricing for generative AI (SAP AI Core service guide)
12. SAP Help — Prompt Registry (generative AI hub)
13. SAP Developers — Tutorial: generative AI hub prompt registry