Databricks-in-BDC-Lakehouse-Muster

Worum es geht

Business Data Cloud, SAPs offene, verwaltete Datenplattform, baut zu einem großen Teil auf einer strategischen Partnerschaft mit Databricks auf — einem 2024 angekündigten Engagement über zweihundertfünfzig Millionen US-Dollar, mit Zero-Copy-, bidirektionaler Datenfreigabe als zentralem technischen Versprechen. In der Praxis bedeutet das, dass SAP-Anwendungen wie S/4HANA, SuccessFactors, Ariba und BW/4HANA ihre Daten über Delta Sharing für das Databricks-Lakehouse freigeben — das offene Protokoll zum Teilen von Delta-Lake-Tabellen, ohne die zugrunde liegenden Daten physisch zu bewegen oder zu duplizieren —, während Databricks-Workloads angereicherte oder abgeleitete Datensätze über dasselbe Protokoll in den SAP-nativen Speicher zurückschreiben können. Für einen SAP-Analytics-Architekten ist dies das Muster, zu dem man greift, wenn ein Engagement Python-lastige Data-Science-Workloads, große Rohdaten-Ingestion-Volumina oder eine bestehende Databricks-Investition mit dem Bedarf an gesteuerten SAP-Geschäftsdaten kombiniert — und es ist das falsche Muster, das unnötige Plattformkomplexität hinzufügt, wenn das Engagement SAP-verankerte Fachanwender-Modellierung ohne Data-Engineering-Team ist.

Warum es zählt

• BDC Connect registriert Databricks-Tabellen im BDC-Katalog mit zeilenbasierter Sicherheit, die direkt von SAPs eigenen Data Access Controls vererbt wird — keine doppelte Governance-Ebene zu pflegen.
• Das Muster löst explizit die „Datengravitationsfalle“: vertrauenswürdige SAP-Daten eingeschlossen in SAPs Compute-Grenze, während ML-Pipelines in Databricks leben — zuvor nur durch ETL und Schema-Mapping überbrückt.
• Das Eignungskriterium für das Engagement wird direkt benannt — dies ist kein universelles Muster, es ist an die bestehende Data-Science-Basis des Kunden gebunden.

Kernpunkte

• BDC = SAPs offene Datenplattform, verankert in einer 250-Mio.-$-Databricks-Partnerschaft; Kernprotokoll = Delta Sharing (Zero-Copy, bidirektional).
• BDC Connect registriert Databricks (sowie Snowflake, S3/Iceberg, BigQuery) im BDC-Datenkatalog — keine individuellen Connectors, nutzt den Delta-Sharing-Endpunkt des Unity Catalog.
• Die Regeln der zeilenbasierten Sicherheit von Unity Catalog und der SAP-DAC müssen aufeinander abgestimmt sein — bei Fehlabstimmung kann ein Databricks-Notebook Zeilen sehen, die ein SAP-Nutzer in derselben Rolle nicht sieht.
• Einsetzen, wenn: bestehende Databricks-Investition + Python-natives Datenteam + ML im Spark-Maßstab (>500 Mio. Zeilen) + Nicht-SAP-Daten in Delta Lake.
• Nicht einsetzen, wenn: reiner SAP-Bestand + Fachanwender-Modellierung + keine Databricks-Skills + erforderliche Latenz <500 ms.
• Write-back-Muster: Databricks-ML-Ausgaben (Scores, Prognosen) → Delta-Tabelle in Unity Catalog → Delta Sharing → Datasphere-Remote-Table → SAC-KPI oder Joule-Grounding.
• Dremio, von SAP übernommen (angekündigt 4. Mai 2026, abgeschlossen 6. Juli 2026), soll eine Query-Time-Föderations- und universelle Katalogebene neben Datasphere und Databricks ergänzen — Integration läuft, zum Zeitpunkt dieser Durchsicht keine datierte GA für Dremio-spezifische Fähigkeiten; es ersetzt das Databricks-in-BDC-Muster nicht.

Begriffe auf dieser Seite

Delta Sharing

Offenes, unter der Apache-Lizenz stehendes Protokoll von Databricks zum Teilen von Delta-Lake-Tabellen ohne Kopieren der Daten — Reader greifen über signierte URLs auf Parquet-Dateien am Speicherort der Quelle zu.

Unity Catalog

Databricks' einheitliche Governance-Schicht für Daten- und KI-Assets über alle Databricks-Workspaces hinweg — setzt zeilenbasierte Sicherheit, Spaltenmaskierung und Audit-Logging durch.

BDC Connect

SAPs Föderationskomponente zur Katalogzeit in Business Data Cloud — registriert externe Quellen (Databricks, Snowflake, S3/Iceberg, BigQuery) im BDC-Datenkatalog ohne Datenbewegung.

Delta Lake

Open-Source-ACID-konforme Speicherschicht von Databricks, die Zuverlässigkeit in Data Lakes bringt — Tabellen gespeichert als Parquet + Transaktionslog (Delta Log).

Data Access Control (DAC)

SAP Dataspheres Framework für zeilenbasierte Sicherheit — filtert Daten zur Abfragezeit basierend auf der Berechtigung des anfragenden Nutzers, durchgesetzt auf Analytic Models und Remote Tables.

Zero-copy integration

Architektur der Datenfreigabe, bei der keine physische Datenkopie erzeugt wird — der Konsument liest über Metadaten und signierte URLs vom Speicherort des Erzeugers, wodurch ETL-Pipelines und Speicherduplizierung entfallen.

Quellen

1. SAP Datasphere — BDC Connect documentation (Help Portal)
2. Delta Sharing — open protocol documentation (delta.io)
3. Apache Arrow Flight specification (used by Dremio query federation)
4. SAP to Acquire Dremio — official SAP News
5. Databricks Docs — Lakehouse architecture
6. Databricks Docs — Unity Catalog data governance
7. SAP Sapphire Orlando 2025: SAP and Databricks open a bold new era of data and AI - BDC2767 — SAP Community (Technology Blog Posts by SAP)
8. The Open Catalog of SAP Data Intelligence — SAP Community (Technology Blog Posts by SAP)
9. GitHub delta-io/delta-sharing — Python client library and open protocol
10. PyPI — delta-sharing Python client package
11. Databricks Docs — MLflow on Databricks
12. Databricks — Unity Catalog product page
13. SAP Help Portal — Sharing Data Products from SAP Databricks to SAP Business Data Cloud (SAP's official procedure for the Databricks-to-BDC return path)
14. SAP Help Portal — Creating and Working with Derived Data Products in SAP Databricks (publishing ML outputs as custom data products)
15. SAP Learning — Sharing data back to SAP Business Data Cloud (training unit on the bidirectional sharing loop)