Great Expectations & Datenqualität
Stand 2026-09-03
Great Expectations macht aus generischem Datenqualitäts-Tooling SAP-domänenspezifische Gates: Expectation Suites, die MANDT-Kontamination, verwaiste BSEG-Positionen und Währungsschlüssel-Fehlpaarungen erkennen, bevor sie die GuV erreichen — nicht nur Null-Prüfungen. Das kommerziell relevante Muster ist ein dreistufiges Gate (Schema/Schlüssel bei jedem Batch, Geschäftsregeln bei jedem Batch, statistische Anomalieprüfungen an der Periodengrenze), das als synchroner, blockierender Checkpoint in dbt oder Databricks verdrahtet ist — nie als nachträgliche Benachrichtigung. Engineers, die für GL- und Vertriebsdaten ein dokumentiertes GX-plus-Databricks-plus-Datasphere-Gate vorweisen können, befinden sich in der Senior-/Lead-Data-Engineer-Gehaltsklasse und rechnen in EMEA (2025-2026) 700-900 €/Tag ab.
Was Sie lernen
- Great-Expectations-Expectation-Suites schreiben, die die tatsächlichen Fehlermodi SAP-basierter Daten validieren: Schlüsselintegrität, Geschäftsjahresperioden-Bereiche, Währungskonsistenz und Kardinalität
- Great-Expectations-Checkpoints in dbt-, Databricks- oder Datasphere-Pipeline-Läufe integrieren, damit Datenqualitäts-Gates fehlerhafte Daten blockieren, bevor sie BI-Konsumenten erreichen
- Eine Datenqualitäts-Teststrategie entwerfen, die für SAP-Analytics-Pipelines zwischen Schemavalidierung, Geschäftsregel-Validierung und statistischer Anomalieerkennung unterscheidet
- Die häufigsten SAP-Datenqualitätsfehler diagnostizieren und beheben: lautlose Replikationslücken, MANDT-Kontamination, verwaiste Positionszeilen und Währungsschlüssel-Fehlpaarungen
Die eigentlichen Datenqualitätsprobleme in SAP-Analytics-Pipelines
SAP-Datenqualitätsfehler sind nicht zufällig. Sie folgen vorhersehbaren Mustern, die an die Architektur von SAP gebunden sind: lautlose Replikationslücken, wenn der Change-Capture-Wasserstand Stornierungen übersieht, MANDT-Kontamination, wenn Multi-Mandanten-Systeme ohne Mandantenfilter repliziert werden, verwaiste Positionszeilen, wenn Kopf- und Positionstabellen mit unterschiedlicher Geschwindigkeit replizieren, sowie Währungsschlüssel-Fehlpaarungen, wenn WAERS vor der Aggregation nicht verknüpft wird. Ein universelles Datenqualitäts-Tool, das ohne Kenntnis dieser Muster eingesetzt wird, übersieht die tatsächlich relevanten Fehler, während es Rauschen markiert.
Great Expectations (GX) ist das am weitesten verbreitete Open-Source-Datenqualitäts-Framework im modernen Datenstack und lässt sich natürlich mit dbt, Spark/Databricks und Python-basierter Orchestrierung integrieren. Dieses Modul zeigt, wie man GX-Expectation-Suites konfiguriert, die SAP-Domänenwissen kodieren, statt nur generische Schemaprüfungen.
Great-Expectations-Konzepte, übertragen auf SAP-Pipelines
Expectation Suite — eine benannte Sammlung von Erwartungen (Assertions) über einen Datensatz. Für eine SAP-Pipeline hat man typischerweise eine Suite pro Staging-Modell: stg bseg.suite, stg vbap.suite, fct gl actuals.suite. Die Suite wird als JSON-Artefakt in einem GX-Verzeichnis expectations/ gespeichert (oder in Object Storage bei Cloud-Deployments).
Checkpoint — das Laufzeitobjekt, das eine Suite mit einem Datenbatch und einer Reihe von Aktionen verknüpft (bei Fehlschlag Slack-Alarm senden, Data Docs aktualisieren, Pipeline fehlschlagen lassen). Ein Checkpoint ist das, was in den dbt-Post-Hook oder die Databricks-Notebook-Zelle eingebunden wird.
Voraussetzungen
- Fortgeschrittene praktische Erfahrung mit SAP-Analytics-Projekten
- Zunächst die Kernkonzepte wiederholen: C041, C087, C083
Lernergebnisse
- Ein realistisches Szenario durcharbeiten: Ein europäischer Stückgüter-Fertigungskonzern migriert GL- und Vertriebsreporting auf Databricks und repliziert BSEG sowie VBAP/VBAK über SAP Datasphere.
- Das Anti-Pattern erkennen und vermeiden: GX nur als Schema-Linter behandeln — Es laufen nur not_null- und Bereichsprüfungen.
- Die zentrale Entscheidung des Moduls anwenden: Wo das Gate durchgesetzt wird: dbt-Test vs. Databricks-Checkpoint-Hook — einen Databricks-Pre-/Post-Hook-Checkpoint wählen, wenn fehlerhafte Daten niemals den Gold-Layer erreichen dürfen.
- Die Beherrschung anhand des KPI verfolgen: Bestehensrate der Gates Stufe 1-2 (Ziel: >= 99 % der Batches bestehen ohne manuelles Overriding; Warnsignal: wiederkehrende manuelle Overrides, um einen blockierten Batch durchzudrücken — das Gate wird umgangen).
Vollständiges Modul für Mitglieder. Das vollständige Modul ergänzt: den Entscheidungsrahmen · das durchgehende Szenario · die KPI-Scorecard · die Anti-Muster · die Codeblöcke · die Wissenskontrolle · die Schemata.