Frameworks de qualité de données

Ce que c'est

Un cadre de qualité de données est l'ensemble des règles, mesures et procédures de remédiation qui décident si un chiffre a le droit d'atteindre un décideur. Il va du trivial (une contrainte non-nulle sur une clé) au statistique (détection de dérive sur un pipeline de production), et son vrai sujet n'est pas l'exactitude mais la responsabilité : qui est prévenu quand une valeur est fausse, et ce qui se passe ensuite.

Pourquoi c'est important

Sur une mission SAP analytics, la qualité est la discipline qui décide si une couche sémantique survit au contact du métier. Un tableau de bord faux à 3 % n'est pas utile à 97 % : il est inutilisable, parce que personne ne sait lesquels des 3 %. Le cadre est ce qui fait passer « la donnée a l'air bizarre » du statut d'argument à celui de ticket avec un propriétaire.

C'est aussi de plus en plus une surface de conformité et non une préférence d'ingénierie. Pour les systèmes d'IA concernés, le règlement européen sur l'IA exige un niveau approprié d'exactitude et de robustesse, et que les pratiques de gouvernance des données soient documentées (EUR-Lex — Règlement (UE) 2024/1689). Un modèle entraîné sur un pipeline sans contrôle n'est pas seulement risqué : il est difficile à déclarer.

Pourquoi c'est important, en pratique

• Une couche de détection de drift attrape une érosion de qualité qu'une vérification de null ponctuelle ne verra jamais — les deux se situent aux extrémités opposées d'une même courbe de maturité, pas en alternative.
• Ce sont les workflows de remédiation, pas seulement les règles de détection, qui transforment une alerte qualité en dataset corrigé — détecter sans chemin de remédiation, c'est un dashboard que personne ne traite.
• C'est une connaissance de profondeur que les consultants utilisent pour ancrer les négociations tarifaires — un client qui fait confiance à la donnée fait confiance au consultant qui la garantit.

Points clés

• L'ensemble des règles, métriques et workflows de remédiation qui maintiennent la donnée fiable — pas seulement l'exactitude, mais la responsabilité de qui est informé quand une valeur est fausse.
• S'étend des simples contrôles de nullité et d'intégrité référentielle à la détection de dérive statistique sur des pipelines de production.
• Les dimensions DAMA-DMBOK — complétude, unicité, actualité, validité, exactitude, cohérence — donnent aux clients un vocabulaire reconnaissable pour chaque règle.
• Une règle sans chemin de remédiation défini (bloquer / mettre en quarantaine / avertir) est une métrique, pas un contrôle — elle devient un carré rouge que tout le monde apprend à ignorer.
• Séquencer les contrôles structurels (nullité, intégrité référentielle, cohérence de type) avant la détection de dérive statistique — des alertes de dérive sur une couche structurelle instable produisent de faux signaux.
• Les contrats de données rattachent les garanties de qualité à une relation producteur/consommateur nommée, transformant la qualité d'une police après coup en un accord pré-build.
• Dans un pipeline IA, une mauvaise qualité de donnée en amont ne fait pas échouer le LLM bruyamment — elle le fait répondre avec fluidité à partir d'un mauvais grounding, ce qui est plus difficile à détecter.
• Les modèles de fondation tabulaires à apprentissage en contexte (SAP-RPT-1.6, TabPFN-3.5-Plus) n'ont aucune étape d'entraînement pour lisser une mauvaise donnée — une table d'entrée mal formée dégrade immédiatement les prédictions de cet appel.

Termes employés sur cette page

Data owner (propriétaire de la donnée)

Le sponsor métier responsable de l'exactitude d'un domaine de donnée (pas l'équipe IT).

Data steward (intendant de la donnée)

Le rôle opérationnel qui maintient la qualité des données de référence au quotidien.

Contrat de données

Un accord nommé entre un producteur et un consommateur, énonçant les dimensions de qualité garanties et le chemin de notification en cas de manquement.

Détection de dérive

Surveillance statistique d'un déplacement de la distribution des valeurs par rapport à sa référence historique — un contrôle de maturité, pas un contrôle de départ.

Contrôle d'intégrité référentielle

Une règle structurelle vérifiant qu'une valeur de clé étrangère dans une table existe bien dans la table qu'elle référence.

Mise en quarantaine (pattern de remédiation)

Isoler les lignes qui échouent à une règle pour que le reste du chargement se poursuive, plutôt que de bloquer tout le chargement pour un défaut minoritaire.

Apprentissage en contexte

Le mode de prédiction d'un modèle de fondation tabulaire (SAP-RPT-1.6, TabPFN-3.5-Plus) qui lit une table étiquetée au moment de l'inférence sans étape d'entraînement séparée — rendant la qualité de donnée par appel une dépendance en direct.

Suite d'évaluation

Un jeu de tests structuré qui note la sortie d'un modèle ou d'un agent par rapport à un comportement attendu — fonctionnellement, un framework de qualité de donnée appliqué aux sorties IA.

Sources

1. DAMA-DMBOK — data management body of knowledge
2. EUR-Lex — Regulation (EU) 2024/1689 (AI Act), Article 10 data governance (2024-07-12)
3. SAP Help Portal — SAP Master Data Governance overview
4. SAP Help Portal — SAP Datasphere Data Access Control and quality-relevant validation rules
5. SAP Community — orchestration service data masking and content filtering (grounding pipeline)
6. ISO — ISO 8000-61:2016, data quality management: process reference model
7. Harvard Business Review — Redman, "Bad Data Costs the U.S. $3 Trillion Per Year" (22 Sept 2016; headline estimate of the economic cost of poor data quality, an estimate not a measurement)
8. PMC (Wang et al., 2023) — Overview of Data Quality: Examining the Dimensions, Antecedents, and Impacts of Data Quality (reviews Wang & Strong's four-category dimension framework)
9. Bitol / Linux Foundation — Open Data Contract Standard (YAML standard for schema, quality, SLA and ownership of a data contract)
10. Future of Life Institute AI Act Explorer — Article 10: Data and data governance (high-risk AI datasets: relevant, representative, free of errors and complete; unofficial text, check EUR-Lex)
11. European Commission — AI Omnibus enters into force (27 July 2026; Annex III high-risk rules apply from 2 Dec 2027, Annex I from 2 Aug 2028)
12. Great Expectations docs — GX Core overview (open-source framework for expressing data tests and validating data against them; vendor docs)
13. Prior Labs — TabPFN-3.5 Technical Report (in-context tabular prediction; vendor research)