Data-Quality-Frameworks
Stand
Was ist Data-Quality-Frameworks?
Data-Quality-Frameworks reichen von einfachen Null-Prüfungen bis zur statistischen Drift-Erkennung auf Produktionspipelines – die Disziplin aus Regeln, Kennzahlen und Behebung, die Daten vertrauenswürdig hält.
Was es ist
Ein Data-Quality-Framework ist die Gesamtheit der Regeln, Messungen und Behebungsworkflows, die entscheiden, ob eine Zahl einen Entscheidungsträger erreichen darf. Es reicht vom Trivialen (eine Not-Null-Bedingung auf einem Schlüssel) bis zum Statistischen (Drift-Erkennung auf einer Produktionspipeline), und sein eigentliches Thema ist nicht Korrektheit, sondern Verantwortlichkeit: Wer wird informiert, wenn ein Wert falsch ist, und was passiert als Nächstes.
Warum es wichtig ist
Bei einem SAP-Analytics-Engagement ist Qualität die Disziplin, die entscheidet, ob eine semantische Schicht den Kontakt mit dem Business übersteht. Ein Dashboard, das zu 3 % falsch ist, ist nicht zu 97 % nützlich — es ist unbrauchbar, weil niemand sagen kann, welche 3 % das sind. Das Framework ist das, was „die Daten sehen komisch aus“ von einer Behauptung in ein Ticket mit einem Verantwortlichen verwandelt.
Es ist zunehmend auch eine Compliance-Fläche und keine bloße Ingenieurspräferenz. Für KI-Systeme im Anwendungsbereich verlangt der EU AI Act angemessene Grade an Genauigkeit und Robustheit sowie die Dokumentation von Data-Governance-Praktiken (EUR-Lex — Verordnung (EU) 2024/1689). Ein Modell, das auf einer Pipeline ohne Qualitätskontrollen trainiert wurde, ist nicht nur riskant — es ist schwer zu deklarieren.
Wie es funktioniert
Die kanonische Zerlegung — Vollständigkeit, Eindeutigkeit, Aktualität, Gültigkeit, Genauigkeit, Konsistenz — stammt aus dem Body of Knowledge des Datenmanagements und lohnt sich zu verwenden, weil Kunden sie wiedererkennen (DAMA — DMBOK). Jede Dimension wird zu einer messbaren Regel, jede Regel erhält einen Schwellenwert, und jeder Schwellenwert erhält einen Verantwortlichen, der alarmiert wird, wenn er verletzt wird.
Warum es zählt
- Eine Drift-Erkennungsschicht erfasst Qualitätserosion, die eine einmalige Null-Prüfung nie erfassen wird — beide gehören an entgegengesetzte Enden derselben Reifekurve, nicht als Alternativen.
- Behebungsworkflows, nicht nur Erkennungsregeln, sind das, was aus einem Qualitätsalarm ein korrigiertes Dataset macht — Erkennung ohne Behebungspfad ist ein Dashboard, auf das niemand reagiert.
- Dies ist Tiefenwissen, das Berater nutzen, um Honorarverhandlungen zu verankern — ein Kunde, der den Daten vertraut, vertraut dem Berater, der sie garantiert.
Kernpunkte
- Die Menge an Regeln, Kennzahlen und Behebungs-Workflows, die Daten vertrauenswürdig halten — nicht nur Korrektheit, sondern Verantwortlichkeit dafür, wer informiert wird, wenn ein Wert falsch ist.
- Reicht von einfachen Null- und Referenzintegritätsprüfungen bis zur statistischen Drift-Erkennung auf Produktionspipelines.
- Die DAMA-DMBOK-Dimensionen — Vollständigkeit, Eindeutigkeit, Aktualität, Gültigkeit, Genauigkeit, Konsistenz — geben Kunden ein wiedererkennbares Vokabular für jede Regel.
- Eine Regel ohne definierten Behebungsweg (blockieren / in Quarantäne / warnen) ist eine Kennzahl, kein Steuerungsmechanismus — sie wird zu einem roten Quadrat, das alle irgendwann ignorieren.
- Strukturelle Prüfungen (Null, Referenzintegrität, Typkonsistenz) vor statistischer Drift-Erkennung sequenzieren — Drift-Alarme auf einer instabilen strukturellen Schicht erzeugen Fehlsignale.
- Datenverträge binden Qualitätsgarantien an eine benannte Produzenten-/Konsumenten-Beziehung und machen Qualität so von nachträglicher Kontrolle zu einer Vereinbarung vor dem Bau.
- In einer KI-Pipeline lässt schlechte vorgelagerte Datenqualität das LLM nicht laut scheitern — es lässt es flüssig auf Basis eines schlechten Groundings antworten, was schwerer zu erkennen ist.
- Tabellarische Foundation-Modelle mit In-Context-Learning (SAP-RPT-1.6, TabPFN-3.5-Plus) haben keinen Trainingsschritt, um schlechte Daten auszugleichen — eine fehlerhafte Eingabetabelle verschlechtert sofort die Vorhersagen dieses Aufrufs.
Begriffe auf dieser Seite
- Dateneigentümer
- Der Business-Stakeholder, der für die Korrektheit einer Datendomäne verantwortlich ist (nicht das IT-Team).
- Datenverwalter
- Die operative Rolle, die die Stammdatenqualität im Tagesgeschäft pflegt.
- Wiederverwendbares IP
- Ein Artefakt, eine Checkliste oder ein Modell, das über Kunden hinweg wiederverwendet werden kann, ohne kundenspezifische Daten zu kopieren.
Quellen
- DAMA-DMBOK — data management body of knowledge
- EUR-Lex — Regulation (EU) 2024/1689 (AI Act), Article 10 data governance (2024-07-12)
- SAP Help Portal — SAP Master Data Governance overview
- SAP Help Portal — SAP Datasphere Data Access Control and quality-relevant validation rules
- SAP Community — orchestration service data masking and content filtering (grounding pipeline)
- ISO — ISO 8000-61:2016, data quality management: process reference model
- Harvard Business Review — Redman, "Bad Data Costs the U.S. $3 Trillion Per Year" (22 Sept 2016; headline estimate of the economic cost of poor data quality, an estimate not a measurement)
- PMC (Wang et al., 2023) — Overview of Data Quality: Examining the Dimensions, Antecedents, and Impacts of Data Quality (reviews Wang & Strong's four-category dimension framework)
- Bitol / Linux Foundation — Open Data Contract Standard (YAML standard for schema, quality, SLA and ownership of a data contract)
- Future of Life Institute AI Act Explorer — Article 10: Data and data governance (high-risk AI datasets: relevant, representative, free of errors and complete; unofficial text, check EUR-Lex)
- European Commission — AI Omnibus enters into force (27 July 2026; Annex III high-risk rules apply from 2 Dec 2027, Annex I from 2 Aug 2028)
- Great Expectations docs — GX Core overview (open-source framework for expressing data tests and validating data against them; vendor docs)
- Prior Labs — TabPFN-3.5 Technical Report (in-context tabular prediction; vendor research)
Vollständige Karte für Mitglieder. Was die vollständige Karte ergänzt: den vollständigen Entscheidungsrahmen · den Vergleich SAP · Snowflake · Databricks · Fabric · die häufigen Fallstricke und ihre Behebung · die Kurzreferenz · die Architekturschemata · die Codeblöcke · die zitierfähigen Kennzahlen.
Offene SAP-Projekte
Aktuelle SAP-Analytics-Projekte und Stellen im DACH-Raum: SAP-Analytics-Projekte im DACH-Raum.