Konzeptkarte

Landschaft multimodaler Modelle 2026 — Bild, Audio, Dokument

Stand 2026-07-24T14:00:00Z

Redaktion: Cédric-Olivier Mâry, alleiniger Redakteur und verantwortlich für die Veröffentlichung — 27 Jahre im SAP-Ökosystem. Wie diese Seiten entstehen und wo Automatisierung eingesetzt wird.

Was ist Landschaft multimodaler Modelle 2026 — Bild, Audio, Dokument?

Multimodale Dokumentenextraktion hebt die Straight-Through-Processing-Quote in SAP von 60-70 % auf 90-95 %, da Spitzenmodelle bei Rechnungen mit gemischtem Layout eine Genauigkeit von 95-98 % erreichen gegenüber 70-85 % bei klassischer OCR plus Regelwerk.

Worum es geht

Multimodale Modelle sind Großsprachmodelle, die trainiert wurden, mehr als reinen Text zu lesen — sie nehmen Bilder und Video, Audio wie Sprache und Umgebungsgeräusche sowie Dokumente auf, die Text, Tabellen und Bilder in unregelmäßigen Layouts mischen, und schließen daraus. Für alle, die einen SAP-Analytics- oder Joule-basierten Agenten bauen, ist diese Kategorie relevant, weil der größte Teil der realen Eingaben, die ein Unternehmen erzeugt, niemals als sauberer Text ankommt. Rechnungen, Bestellungen, Frachtbriefe, gescannte Verträge, Prüfungsnachweise, Dashboard-Screenshots, Lagerkamera-Feeds und aufgezeichnete Kundenanrufe sind das tatsächliche Substrat, das ein Agent verarbeiten muss, bevor ein konventionelles SAP-Datenmodell darauf zugreifen kann. Von den drei Modalitäten sind Dokumente für SAP-Praktiker am folgenreichsten, weil Kreditorenbuchhaltung, Wareneingang in der Lieferkette und Audit-Automatisierungsprogramme seit Jahren durch die Fehlerquote von 15-30 % klassischer OCR-plus-Regelwerk-Pipelines bei PDFs mit gemischtem Layout ausgebremst werden.

Warum es zählt

Klassische OCR- + Regelwerk-Engines verarbeiten Rechnungen, Frachtbriefe und behördliche Einreichungen in 15-30 % der Fälle falsch — der eigentliche Engpass hinter den Kreditorenbuchhaltungs- und Audit-Automatisierungsprogrammen von SAP-Kunden.
Jeder Anbieter führt bei einer eigenen Modalität: Claude beim Lesen von Dokumenten/Diagrammen (SAPs Sapphire-2026-Supply-Chain-Agenten für Frachtbriefe und Zollformulare), GPT-o4 beim Screenshot-/UI-Reasoning (Microsoft Copilot Studio), Gemini 2.x bei Langvideo und nativer Audioverarbeitung (Databricks Mosaic Industrial IoT).
Joule Studio 2.0 (Juni 2026) liefert native Dokumentenextraktions-Primitiven, die Claude umhüllen, und macht damit eine separate Tesseract- + ABBYY- + Custom-Regex-Pipeline überflüssig.

Kernpunkte

Multimodale Modelle akzeptieren Vision- (Bilder, Diagramme, Screenshots), Audio- (Sprache, Umgebungsgeräusche) und Dokumenteingaben (PDF, gescannte Formulare) — nicht nur Text; das Reasoning überspannt Modalitäten in einer einzigen Inferenz.
Die Dokumentmodalität ist die für SAP folgenreiche — Rechnungen, Frachtbriefe, Audit-PDFs sind Dateien mit gemischtem Layout, die klassische OCR + Regelwerke in 15-30 % der Fälle falsch verarbeiten; diese Fehlerquote ist der Engpass der Kreditorenbuchhaltungs-/Supply-Chain-Automatisierung.
Drei Anbieterfamilien 2026 — Claude (Anthropic, Dokument + Diagramm, SAP-Supply-Chain-Agenten, Joule Studio 2.0) · GPT-o4 Vision (OpenAI, Screenshot + UI-Navigation, Copilot Studio) · Gemini 2.x (Google, Langvideo bis zu 1 h + native Audioverarbeitung, Databricks Mosaic IoT).
Joule Studio 2.0 (Juni 2026) liefert native Dokumentenextraktions-Primitiven, die Claude umhüllen — keine separate Tesseract- + ABBYY- + Regex-Pipeline nötig; das multimodale Modell IST die Pipeline.
Genauigkeitsgewinn — 95-98 % Extraktion bei Rechnungen mit gemischtem Layout gegenüber 70-85 % bei klassischer OCR + Regelwerk; STP von 60-70 % auf 90-95 %; verkleinert die Prüfwarteschlange der Kreditorenbuchhaltung drastisch — der Engpass der Stückkostenrechnung seit 2018.
Routing-Taxonomie — Dokument-PDFs → Claude; UI-Screenshot-Navigation → GPT-o4; Langvideo + Anrufaufzeichnung → Gemini 2.x; Fehlrouting verschwendet Prompt-Tokens und senkt die Genauigkeit.
Context-Window-Grenzen sind relevant — Claude verarbeitet PDFs nativ bis zu 100 Seiten; darüber hinaus sind Dokument-Chunking + Retrieval (RAG über Seiten) erforderlich; GPT-o4 Vision verarbeitet Bilder bis zu 2048×2048 px; Gemini 2.x verarbeitet Video bis zu 1 h.
SAP-spezifische Anwendungsfälle: Rechnungsextraktion in der Kreditorenbuchhaltung (Claude, Joule Studio 2.0) · Zollformularverarbeitung (Claude, SAP TM) · Desktop-RPA-Screenshot-Navigation (GPT-o4, Copilot Studio) · Fabrikkamera-QA-Inspektion (Gemini, Vertex AI + Databricks).
Governance-Anforderung — jede Dokumentenextraktions-Pipeline muss die Modellversion, den Konfidenzwert pro Feld und die Rate manueller Übersteuerungen protokollieren; Joule Studio 2.0 stellt dies nativ bereit; individuelle Pipelines müssen es selbst bauen.
Wann nicht einsetzen — bei sauberen strukturierten Tabellendaten (RPT verwenden, C237); bei schlichtem unstrukturiertem Text (ein Text-LLM verwenden); bei Echtzeit-Videostreams mit einer Latenzanforderung von <500 ms (Spitzenmodelle fügen 2-10 s Latenz hinzu).

Begriffe auf dieser Seite

Multimodales Modell: Ein Foundation-Modell, das Eingaben über mehrere Modalitäten hinweg (Vision, Audio, Dokument, Text) akzeptiert und in einem einzigen Inferenzaufruf über sie hinweg schlussfolgert; unterscheidet sich von einer Pipeline aneinandergereihter Einzelmodalitäts-Modelle.
Dokumentmodalität: Die multimodale Fähigkeit, PDFs mit gemischtem Layout zu verarbeiten, die Text + Tabellen + Bilder kombinieren — Rechnungen, Frachtbriefe, Prüfungsnachweise; die für SAP-Kreditorenbuchhaltung und Supply-Chain-Automatisierung folgenreichste Modalität.
Straight-through-processing (STP): Der Anteil eingehender Dokumente, den ein Automatisierungsprogramm durchgängig ohne menschliches Eingreifen verarbeitet; multimodale Modelle heben die STP-Quote von 60-70 % (klassische OCR + Regelwerk) auf 90-95 % bei Rechnungen mit gemischtem Layout.
Joule Studio 2.0 document primitives: Native Extraktions-Primitiven, ausgeliefert in Joule Studio 2.0 (Juni 2026), die Claude für den Dokumentpfad umhüllen; machen eine separate OCR-plus-Regelwerk-Pipeline in SAP-Kreditorenbuchhaltungs- und Supply-Chain-Wareneingangs-Agenten überflüssig.
Agentische Browser-Workload: Eine KI-Agentenaufgabe, die das Lesen und Navigieren gerenderter UI-Bildschirme (Screenshots) statt strukturierter Daten oder Dokumente erfordert; GPT-o4 Vision ist 2026 das führende Modell für diese Klasse von Workload.
Konfidenzwert pro Feld: Die selbst eingeschätzte Wahrscheinlichkeit des Modells, dass ein extrahierter Feldwert korrekt ist; für Governance erforderlich — Felder unterhalb eines Konfidenz-Schwellenwerts werden zur menschlichen Prüfung statt zur automatisierten Verarbeitung geroutet.
Long-Context-Dokument-Chunking: Das Aufteilen eines Dokuments, das länger ist als das native Context Window des Modells (z. B. >100 Seiten bei Claude), in überlappende Blöcke mit Retrieval-Augmented-Wiederzusammensetzung; erforderlich für mehrhundertseitige Prüfberichte und behördliche Einreichungen.
Vision-Token-Kosten: Multimodale Modelle berechnen für Bild-/PDF-Eingaben zusätzliche Tokens über die Text-Tokens hinaus; Claude berechnet ca. 1.600 Tokens pro PDF-Seite; GPT-o4 berechnet ca. 170 Tokens pro 512×512-Kachel; relevant für die Kostenmodellierung im großen Maßstab.

Quellen

Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.

In der App öffnen →