Konzeptkarte

Multimodale Foundation-Modelle und SAP-Integration

Stand 18. Oktober 2026

Redaktion: Cédric Mary, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Multimodale Foundation-Modelle und SAP-Integration?

Multimodale Modelle schließen den blinden Fleck in SAP, an dem die schwierigsten Entscheidungen — Rechnungsausnahmen, Außenhandels-Compliance-Kennzeichen, Anlagenkritikalität — das gemeinsame Lesen eines tabellarischen Datensatzes und eines angehängten Bildes erfordern, wozu regelbasierte Systeme und Modelle mit nur einer Modalität nicht in der Lage sind.

Worum es geht

Ein multimodales Foundation-Modell liest und schreibt mehr als eine Art von Signal — Text, Bilder, Audio, manchmal strukturierte Tabellen — innerhalb eines einzigen Forward Pass durch ein einziges Netzwerk. Diese Eigenschaft des einzigen Netzwerks unterscheidet es vom älteren Muster, eine OCR-Engine, einen separaten Vision-Klassifikator und ein Textmodell mit brüchigem Klebe-Code dazwischen zusammenzustückeln. Die drei Modelle, denen ein SAP-Berater am häufigsten begegnet, sind GPT-4o, Gemini 1.5/2.0 und Anthropics aktuelle Claude-Familie (Claude Sonnet 5 / Opus 5.5, seit SAPs Anthropic-Partnerschaft im Mai 2026 als primäre Reasoning-Fähigkeit über Joule und Joule-Agenten positioniert), und obwohl ihre Benchmarks sich unterscheiden, ist die architektonische Idee dieselbe: Text, Bild-Patches und manchmal Audio-Frames werden alle in Token umgewandelt, die im selben Embedding-Raum leben, und ein gemeinsamer Attention-Mechanismus lässt jedes Token auf jedes andere Token zugreifen, unabhängig davon, aus welcher Modalität es stammt. Das ist der eigentliche Fähigkeitssprung — nicht, dass das Modell „sehen“ kann, sondern dass es in einem einzigen Inferenzschritt gemeinsam über ein Bild und einen Absatz schlussfolgern kann.

Warum es zählt

Die Kombination von gebuchter Rechnungszeile, zugeordneter Bestellung und gescanntem Bild in einem einzigen GPT-4o-Prompt über SAP AI Core senkt die manuelle Ausnahmeprüfung in frühen Pilots um 60-70 %.
Die gemeinsame Auswertung von Produktfotos und HS-Code-Zertifikaten in SAP Global Trade Services senkt das Fehlklassifizierungsrisiko um rund 15 % gegenüber reinem Text-NLP.
Die dominanten multimodalen Modelle 2026 unterscheiden sich in der Modalität: Gemini und GPT-4o verarbeiten Audio nativ, während Anthropics aktuelle Claude-Familie (Sonnet 5 / Opus 5.5) bei Text und Bild bleibt — eine echte Einschränkung für Workflows mit Audio, obwohl Claude seit der Anthropic-Partnerschaft im Mai 2026 SAPs benannter primärer Reasoning-Partner für Joule ist, was für Text-/Bild-Urteilsaufgaben mehr zählt als für Audio.

Kernpunkte

GPT-4o, Gemini (Generation 1.5/2.x) und Anthropics aktuelle Claude-Familie (Sonnet 5 / Opus 5.5) sind die drei multimodalen Modellfamilien, denen ein SAP-Berater 2026 in der Integrationsarbeit am häufigsten begegnet.
Wichtigster SAP-Anwendungsfall: Bearbeitung von AP-Rechnungsausnahmen — Bild + Bestellung + GL-Datensatz gemeinsam eingereicht, 60-70 % weniger manuelle Prüfung.
Kosten: 5-20× höher pro Aufruf als ein reines Text-LLM; Latenz bei bildtragenden Prompts 2-5× länger.
Der Generative AI Hub von SAP AI Core unterstützt gemanagte Endpoints für GPT-4o, Claude und Gemini innerhalb der SAP-Vertrauensgrenze.
Dass Joule Work Bildanhänge direkt im Chat akzeptiert, war für eine Q2-2026-Vorschau auf SAPs öffentlicher Roadmap vorgesehen; dieses Datum ist zum Zeitpunkt dieser Prüfung inzwischen verstrichen — den aktuellen Status (live, verzögert oder ersetzt) prüfen, bevor einem Kunden ein konkretes Datum genannt wird.
SAP kündigte im Mai 2026 eine erweiterte Anthropic-Partnerschaft an, die Claude als primäre Reasoning-/agentische Fähigkeit über Joule und Joule-Agenten positioniert, verbunden über MCP und den SAP Knowledge Graph für Geschäftskontext lesend — relevant, wenn Claude das für eine urteilslastige SAP-Ausnahmewarteschlange gewählte multimodale Modell ist.
Die Lesart eines Bildes durch ein multimodales Modell wie das Ergebnis eines Tool-Aufrufs behandeln, das derselben Guardrail-Disziplin unterliegt wie jede andere KI-Ausgabe — eine ungeprüfte visuelle Lesart in einen gebuchten Finanzbetrag oder eine Handelsklassifikation einfließen zu lassen, ist das riskanteste in dieser Karte beschriebene Muster.

Begriffe auf dieser Seite

GPT-4o: OpenAIs Omni-Modell (GA Mai 2024) — verarbeitet Text-, Bild- und Audio-Token nativ in einem einzigen Forward Pass, ohne Modalitäts-Konvertierungsadapter.
Gemini: Google DeepMinds multimodale Modellfamilie; die Generation 1.5 Pro bot ein Kontextfenster von 1 Mio. Token für Text, Bild, Video, Audio und Code in einem Prompt — den Namen der aktuellen Generation prüfen, bevor einem Kunden eine konkrete Version genannt wird.
Modalitätsübergreifendes Schlussfolgern: Die Fähigkeit eines Modells, Schlüsse zu ziehen, die gleichzeitig Evidenz aus zwei oder mehr Modalitäten erfordern — z. B. eine Diskrepanz zwischen einem gedruckten Rechnungsbetrag (Bild) und einem gebuchten GL-Betrag (Text) zu erkennen.
SAP AI Core: SAP-BTP-Service zum Hosten und Aufrufen von KI-Modell-Endpoints innerhalb der SAP-Vertrauensgrenze — unterstützt gemanagte Deployments von GPT-4o, Claude, Gemini über den Generative AI Hub.
Claude (Anthropic): Anthropics aktuelle Modellfamilie (Claude Sonnet 5, Opus 5.5/5.5) — Text und Vision, kein natives Audio-Token Stand dieser Prüfung; von SAP seit einer im Mai 2026 angekündigten Partnerschaft als primäre Reasoning-/agentische Fähigkeit über Joule und Joule-Agenten positioniert, verbunden über MCP.
Vision-Language-Modell (VLM): Eine Modellarchitektur, für die GPT-4o, Gemini und Claude aktuelle Beispiele sind, die Bild-Patches in denselben Embedding-Raum wie Text-Token tokenisiert, sodass ein gemeinsamer Attention-Mechanismus über beide hinweg gemeinsam schlussfolgern kann — die mechanische Grundlage modalitätsübergreifenden Schlussfolgerns.
Modalitäts-Token-Sequenzierung: Wie Bild-Token relativ zu Text-Anweisungs-Token in einem multimodalen Prompt angeordnet werden (Bild zuerst, Anweisung zuerst oder verschachtelt) — verändert die Genauigkeit messbar, weil das Modell echte gemeinsame Attention durchführt, nicht zwei getrennte, nachträglich zusammengefügte Durchläufe.
Nähe zum Hochrisikostatus (multimodale Anwendungsfälle): Mehrere urteilslastige multimodale SAP-Anwendungsfälle — Trade-Compliance-Screening, kreditrelevante Dokumentenprüfung — liegen nahe an oder innerhalb der Hochrisikokategorie des EU AI Act (Artikel 6 + Anhang III), was Dokumentations- und Human-Oversight-Pflichten mit sich bringt, die ein rein auf Genauigkeit ausgelegter Proof-of-Concept nicht von Haus aus erfüllt.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →

Offene SAP-Projekte

Aktuelle SAP-Analytics-Projekte und Stellen im DACH-Raum: SAP-Analytics-Projekte im DACH-Raum.