LLMs auf Unternehmensdaten
Stand 2026-09-03
Der Einsatz von Enterprise-LLMs auf SAP-Daten ist ein Grounding-Problem, kein Modellwahl-Problem: Joules SAC-Antworten sind nur so gut wie die Metadaten der semantischen Schicht, und eine individuelle RAG-Pipeline auf Datasphere- oder BW/4HANA-Daten scheitert in dem Moment, in dem das Retrieval nur dicht (dense-only) erfolgt oder die Ausgabe unvalidiert bleibt. Die entscheidende Frage in Woche eins ist, wo man zuerst investiert — Anreicherung der semantischen Schicht (günstig, behebt die meisten Qualitätsbeschwerden zu Joule) oder eine individuelle Hybrid-Retrieval-Pipeline (nötig, sobald Fragen über SAP-native Bildschirme hinausgehen). Die Vector Engine von HANA Cloud kann als Retrieval-Speicher ohne externe Vektordatenbank dienen, aber ihre reine Exact-Search-Architektur begrenzt saubere Performance auf etwa 10 Millionen Vektoren — darüber hinaus muss ein externer, aus Datasphere synchronisierter Speicher eingeplant werden. Architekten, die einen Kunden von einer beeindruckenden Joule-Demo zu einer governten, halluzinationskontrollierten Produktivumgebung führen können, sind so rar, dass diese Projekte in EMEA routinemäßig mit 1.200-1.600 €/Tag kalkuliert werden.
Was Sie lernen
- Eine produktionsreife RAG-Pipeline für SAP-Unternehmensdaten konzipieren — einschließlich Chunking-Strategie für BW/4HANA-InfoProvider und Datasphere-Views, Auswahl domänenangepasster Embedding-Modelle über SAP AI Core und hybridem Dense-plus-Sparse-Retrieval mit der nativen Vector Engine von HANA Cloud.
- Diagnostizieren, warum SAP-Joule-Antworten in metadatenarmen Umgebungen an Qualität verlieren, und das Anreicherungsprogramm für die semantische Schicht umsetzen — Feldbeschreibungen, Kennzahlendokumentation, Dimensionsbeschriftung —, das Joules Retrieval-Kontext in geschäftlicher Bedeutung verankert.
- Kontrollen zur Validierung von LLM-Ausgaben für SAP-Analytics-Anwendungsfälle entwerfen: SQL-Ausführungsvalidierung für Anwendungen von natürlicher Sprache zu BW-MDX, Faktenprüfung gegen abgerufene Daten für die Narrativgenerierung sowie Guard Rails auf Prompt-Ebene, die Anti-Halluzinations-Einschränkungen durchsetzen.
- Enterprise-Governance auf LLM-Einsätze für SAP-Daten anwenden: Prompt-Audit-Logs, Retrieval-Herkunftsnachweise, DSGVO-konforme Spiegelung der Zugriffskontrollen vom zugrunde liegenden SAP-System auf das RAG-Retrieval-Korpus sowie Output-Kennzeichnungsmechanismen entwerfen, die den Anforderungen regulierter Branchen genügen.
Das Grounding-Problem: Warum Enterprise-LLMs ohne Architektur scheitern
Der Einsatz eines Large Language Models auf Unternehmensdaten ist keine Produktentscheidung — es ist eine Architekturentscheidung mit erheblichen nachgelagerten Konsequenzen für Genauigkeit, Kosten, Governance und Sicherheit. Das Standard-Fehlerbild ist anschaulich und gut dokumentiert: Ein LLM, das zu den SAP-BW-Daten eines Unternehmens befragt wird, antwortet selbstbewusst und falsch, indem es sein Trainingswissen mit halluzinierten Details zum Datenmodell des Kunden vermischt. Die Antwort klingt autoritativ. Sie ist falsch.
Der Lösungsraum lautet nicht „Haftungsausschluss hinzufügen“. Er besteht aus einer Retrieval-Augmented-Generation-(RAG-)Architektur mit explizitem Grounding, kombiniert mit Governance-Kontrollen, die LLM-Ausgaben als Datenprodukt behandeln, das denselben Qualitätsstandards unterliegt wie ein SAC-Dashboard. Dieses Modul vermittelt die Mechanik dieser Architektur, angewandt auf SAP-Unternehmensdatenumgebungen.
SAP Joule — SAPs generativer KI-Copilot, eingebettet in S/4HANA, SuccessFactors, Ariba und SAP Analytics Cloud — ist das sichtbarste Beispiel eines Enterprise-LLM-Einsatzes auf SAP-Daten. Zu verstehen, was Joule architektonisch tatsächlich leistet, wo es erfolgreich ist, wo es scheitert und was drumherum aufgebaut werden muss, um es produktionsreif zu machen, ist der Ausgangspunkt für den Praktiker.
Voraussetzungen
- Fortgeschrittene praktische Erfahrung in SAP-Analytics-Projekten
- Zunächst die Kernkonzepte durcharbeiten: C035, C027, C087
Lernergebnisse
- Erklären, warum die Antwortqualität von Joule durch die Metadatenqualität der semantischen Schicht begrenzt wird, nicht durch die Modellwahl, und die Metadatenanreicherung vor Pipeline-Investitionen priorisieren.
- Eine hybride Dense-plus-Sparse-Retrieval-Pipeline auf HANA Cloud entwerfen oder, sobald deren Exact-Search-Obergrenze überschritten ist, auf einem externen Vector Store — die Wahl richtet sich nach Korpusgröße und den Governance-Anforderungen der Zugriffskontrolle.
- Ein Execute-and-Validate-Gate für LLM-generiertes SQL/MDX sowie ein Fact-Check-Gate für narrative Ausgaben spezifizieren, bevor eines von beiden in eine Geschäftsentscheidung einfließt.
- Dieses Grounding-und-Governance-Muster auf einen laufenden Joule- oder individuellen RAG-Piloten anwenden und ein Go/No-Go-Memo erstellen, das gegenüber einem Risk-/Control-Stakeholder verteidigt werden kann.
Vollständiges Modul für Mitglieder. Das vollständige Modul ergänzt: den Entscheidungsrahmen · das durchgehende Szenario · die KPI-Scorecard · die Anti-Muster · die Codeblöcke · die Wissenskontrolle · die Schemata.