Flux de données et transformations

Ce que sont les Data Flows, et leur place dans la boîte à outils Datasphere

Les Data Flows sont les pipelines de transformation visuels et graphiques de Datasphere : un canevas où le modélisateur glisse des nœuds source, des nœuds de jointure, des nœuds d'agrégation, des nœuds de script Python optionnels, et une table cible sur un graphe orienté acyclique, puis active le flux pour qu'il matérialise un jeu de résultats dans une table locale Datasphere. Ils coexistent avec deux autres façons de déplacer et de transformer des données dans Datasphere — les Replication Flows, qui gèrent l'ingestion simple de type copie-avec-cast d'une source vers une cible, et les vues SQL ou graphiques, qui retravaillent les données à la volée dans le moteur ensembliste de HANA sans rien persister. Les Data Flows sont délibérément les plus étroits des trois : depuis que les Replication Flows ont pris le rôle d'ingestion par défaut, un Data Flow ne justifie sa complexité que lorsque la tâche exige réellement quelque chose que les deux autres ne peuvent pas faire.

L'anatomie d'un flux

Pourquoi c'est important

• Utiliser un Data Flow là où un Replication Flow ou une vue SQL suffirait ajoute du surcoût de matérialisation et de maintenance pour rien.
• Les nœuds Python tournent sandboxés, sans accès internet et avec une whitelist de librairies restreinte — concevoir l'enrichissement autour de cette contrainte, pas d'un environnement Python complet.
• La consommation CU par flow est visible dans le Tenant Monitor — une transformation Python lourde est un coût réel et traçable, pas gratuit.

Points clés

• Anatomie en cinq étapes : source · join · transform · aggregate · target.
• Trois cas d'usage légitimes : enrichissement Python · jointure cross-source · agrégat matérialisé lourd.
• Replication Flow est le défaut pour l'ingestion (fiche compagnon C005) ; Data Flow reste la niche.
• Les nœuds Python sont 5-10× plus lents que le SQL ; ils sont sandboxés (pas d'egress, librairies curatées).
• Idempotence : TRUNCATE de la cible en premier ou sémantique UPSERT.
• Planification + monitoring + alerting obligatoires ; l'échec silencieux est le piège n°1.
• Consommation CU : 1-3 CU de base + montée en charge selon le volume de lignes.
• Création assistée par Joule : preview Q3 2026, GA H1 2027.
• Data Flows & Transformations n'est maîtrisé que lorsqu'il change une décision d'acheteur nommée.
• Commencer par le contrat sémantique et le modèle de contrôle avant de démontrer l'outil.

Termes employés sur cette page

Data Flow

Pipeline de transformation Datasphere — DAG visuel de nœuds source · jointure · transformation · agrégation · cible.

Python node

Étape de transformation Python 3.x en bac à sable (pandas, numpy, scikit-learn allégé). Aucune sortie vers Internet.

DAG (Directed Acyclic Graph)

Structure de pipeline où les nœuds s'enchaînent vers l'avant sans cycles. Chaque Data Flow est un DAG.

Idempotency

Propriété selon laquelle réexécuter le flux produit des résultats identiques. Nécessite une sémantique TRUNCATE-cible ou UPSERT.

Activation

Déclencheur qui exécute le flux. À la demande ou planifié (façon cron).

Replication Flow vs Data Flow

Replication Flow = ingestion par défaut (copie). Data Flow = transformation de niche (Python · multi-source · agrégation lourde).

Joule-assisted authoring

Rédaction de Data Flow en langage naturel. Preview au T3 2026, GA visée au S1 2027.

Tenant Monitor

Tableau de bord BDC faisant remonter la consommation de CU par flux, l'historique des exécutions et les alertes d'échec.

Sources

1. SAP Datasphere — Data Flows docs
2. TechEd 2025 — Joule-assisted authoring preview
3. DSAG Investitionsreport 2026
4. Eursap Data Flow vs Replication Flow patterns
5. SAP Note — Python sandbox library list
6. SAP News Center — Accelerate the Autonomous Enterprise with SAP Business Data Cloud
7. SAP News Center — SAP Unveils the Autonomous Enterprise
8. SAP Datasphere — Help Portal
9. SAP Datasphere — official product page
10. SAP Analytics Cloud — Help Portal
11. SAP Analytics Cloud — official product page
12. SAP BW/4HANA — Help Portal
13. SAP S/4HANA — Help Portal
14. SAP News Center
15. SAP Community
16. SAP — industries overview
17. Gartner — research & analyst site
18. BARC — BI & Analytics research
19. TDWI — data & analytics research
20. DSAG — German-speaking SAP user group
21. ASUG — Americas' SAP User Group
22. Databricks — official site
23. Databricks-in-BDC integration architecture
24. EU AI Act — Regulation (EU) 2024/1689, Art. 14 (Human Oversight)
25. SAP Business Data Cloud - Create a custom Data Product based on a replication Flow — SAP Community (Data and Analytics Blog Posts)
26. SAP Datasphere & Python : One click to export data of multiple views in Excel/CSV — SAP Community (Technology Blog Posts by Members)
27. Optimizing Data Movement in SAP Datasphere: Replication Flow or Remote Table Replication? — SAP Community (Technology Blog Posts by SAP)
28. SAP Datasphere Automation : Creating Database user in SAP Datasphere using Datasphere CLI & Python — SAP Community (Technology Blog Posts by Members)
29. Difference between Replication flow vs Remote Table replication flow in Datasphere — SAP Community (Technology Blog Posts by Members)
30. Implementing Data Flows in SAP Datasphere: Concepts and Examples — SAP Community (Technology Blog Posts by Members)
31. SAP Datasphere Replication Flow Logs: Monitoring & Insights — SAP Community (Technology Blog Posts by Members)
32. SAP Datasphere CLI & Python Automation : ADD 1000+ Users in Datasphere space in few seconds — SAP Community (Technology Blog Posts by Members)
33. Designing a Lightweight Sales Forecasting Prototype in SAP Datasphere with ChatGPT and Python — SAP Community (Technology Blog Posts by Members)
34. Integrating Open SQL Schema Tables with SAP Datasphere Space using Dataflow — SAP Community (Technology Blog Posts by Members)
35. SAP Datasphere CLI & Python: Exporting Modeling Objects to CSV Files for Each Artifact — SAP Community (Technology Blog Posts by Members)
36. SAP Datasphere - Data flow scripts and generic OData - Unpacking nested values — SAP Community (Technology Blog Posts by Members)
37. Loop control using SQLScript view, Data Flow script operator & Open SQL procedure in SAP Datasphere — SAP Community (Technology Blog Posts by Members)
38. Beginner's guide to Data Flows in SAP Datasphere: A step by step approach — SAP Community (Technology Blog Posts by Members)
39. Steps to Create a Replication Flow in SAP Datasphere for an Existing CDS View in S/4HANA — SAP Community (Technology Blog Posts by SAP)
40. Replication Flows Blog Series Part 8 – Confluent as a Replication Source — SAP Community (Technology Blog Posts by SAP)
41. CDS view with Change Data Capture(CDC) for Replication Flow – Part 1 — SAP Community (Technology Blog Posts by Members)
42. SAP Datasphere - Replication Flow (Delta Functionality) — SAP Community (Technology Blog Posts by Members)
43. Replication Flow Blog Series Part 7 – Performance — SAP Community (Technology Blog Posts by SAP)
44. SAP Data Sphere - Replication Flow — SAP Community (Technology Blog Posts by Members)
45. Exporting Tables from Datasphere to Hana Datalake File System using Replication Flow — SAP Community (Technology Blog Posts by Members)
46. Understanding Replication Flow Results in Azure (ADLS Gen2) — SAP Community (Technology Blog Posts by Members)
47. Connect SAP Sales Cloud V2 to SAP Datasphere — SAP Community (Technology Blog Posts by Members)
48. Set up connection between SAP C4C (Sales Cloud) and SAP Datasphere — SAP Community (Technology Blog Posts by Members)
49. datasphere exception - 2112401: Hostname 'www.googleapis.com;location' contains invalid characters. — SAP Community (Technology Blog Posts by SAP)