Microsoft Fabric
ETL vs ELT vs CDC vs Streaming : les patterns d’intégration de données et leur implémentation dans Microsoft Fabric
Comparez ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring et shortcuts avec des implémentations pratiques dans Microsoft Fabric.
Dans cet article
ETL et ELT sont souvent présentés comme deux architectures concurrentes, mais les plateformes de données modernes utilisent un paysage de patterns d’intégration bien plus large, ainsi que des patterns de data engineering réutilisables.
Une plateforme réelle peut utiliser :
- ETL pour des flux réglementés ou sensibles qui doivent être nettoyés avant le landing ;
- ELT pour un Lakehouse ou un Warehouse où les données brutes arrivent d’abord et sont transformées ensuite ;
- ETLT lorsque certaines transformations doivent se faire avant le chargement et d’autres après ;
- CDC pour déplacer uniquement les lignes modifiées depuis les systèmes opérationnels ;
- streaming pour les événements qui doivent arriver en continu ;
- reverse ETL pour renvoyer les données analytiques vers des systèmes opérationnels ;
- mirroring pour répliquer en continu les données opérationnelles dans la plateforme analytique ;
- shortcuts ou accès zero-copy lorsque la meilleure option est de ne pas copier les données.
La vraie question n’est pas « Quel pattern est le meilleur ? »
C’est :
Quel pattern correspond aux exigences de latence, gouvernance, transformation, coût et exploitation de ce flux de données ?
Microsoft Fabric prend en charge plusieurs de ces approches dans une même plateforme.
Comparaison rapide
| Pattern | Où la transformation a lieu | Usage typique | Latence |
|---|---|---|---|
| ETL | Avant la destination | Schémas stricts, landing gouverné, DW historique | Batch |
| ELT | Après le chargement | Lakehouse/Warehouse, Medallion | Batch / quasi temps réel |
| ETLT | Avant et après | Gouvernance + analytique aval | Batch |
| CDC | Seules les lignes modifiées sont déplacées | Réplication de bases opérationnelles | Quasi temps réel |
| Streaming | Les événements circulent en continu | Télémétrie, clickstream, IoT, logs | Secondes ou moins |
| Reverse ETL | De l’analytics vers l’opérationnel | CRM, marketing, activation | Planifié / quasi temps réel |
| Mirroring | Réplication continue | Analytics sur données opérationnelles | Quasi temps réel |
| Shortcut / zero-copy | Les données sont référencées, pas copiées | Données partagées ou externes | Dépend de la source |
Ces patterns ne sont pas exclusifs.
Une architecture de production peut en utiliser plusieurs à la fois.
ETL : Extract, Transform, Load
ETL signifie :
- Source
- ExtractMoteur de transformationTransform avant le chargement
- LoadDestinationWarehouse / Lakehouse / application
L’idée centrale est que la transformation se produit avant que la destination finale reçoive les données.
Quand ETL est pertinent
ETL est utile lorsque :
- les colonnes sensibles doivent être supprimées avant l’arrivée dans la plateforme analytique ;
- la destination exige un schéma strict ;
- les données doivent être fortement normalisées avant utilisation ;
- la gouvernance impose une forme contrôlée au landing ;
- un data warehouse historique attend des données déjà préparées.
Exemple ETL dans Microsoft Fabric
Un flux Fabric ETL peut utiliser Dataflow Gen2 pour se connecter à une source, transformer les données et les publier dans un Lakehouse ou un Warehouse.
- SQL / CSV / API
- Dataflow Gen2
- filtrer
- renommer
- caster
- supprimer les PII
- Lakehouse / Warehouse
Dataflow Gen2 est conçu pour la préparation de données cloud : connexion, transformation et publication du résultat.
Une pipeline peut ensuite orchestrer le dataflow et les activités aval.
Exemple
Un export RH contient :
employee_id
employee_name
salary
ssn
department
Si la plateforme analytique ne doit jamais stocker les numéros de sécurité sociale, ETL permet de supprimer le champ avant le chargement final.
ELT : Extract, Load, Transform
ELT inverse les deux dernières étapes :
- Source
- Extract + load des données brutesLakehouse / Warehouse
- Transformation dans la plateforme
- Tables curées
Les données brutes ou légèrement préparées arrivent d’abord.
Les transformations utilisent les moteurs de calcul proches du stockage analytique.
Pourquoi ELT est devenu si fréquent
Les plateformes cloud modernes proposent un stockage important et des moteurs SQL/Spark à proximité des données.
Cela rend naturel le maintien d’une copie brute et la création de plusieurs représentations aval.
ELT correspond très bien à l’architecture Medallion :
- Source
- Bronze
- Silver
- Gold
Microsoft recommande les couches Bronze, Silver et Gold comme pattern courant dans Fabric et OneLake.
Exemple ELT dans Microsoft Fabric
- Source
- Fabric Pipeline / Copy activity
- Lakehouse Files/raw ou tables Bronze Delta
- Notebook / Spark SQL / Dataflow Gen2
- Tables Silver
- Notebook / SQL
- Tables Gold
Exemple PySpark
from pyspark.sql import functions as F
bronze_orders = spark.table("bronze_orders")
silver_orders = (
bronze_orders
.dropDuplicates(["order_id"])
.withColumn("country", F.upper(F.trim("country")))
.withColumn("order_date", F.to_date("order_timestamp"))
)
(
silver_orders.write
.format("delta")
.mode("overwrite")
.saveAsTable("silver_orders")
)
Le chargement a déjà eu lieu.
La transformation se fait dans Fabric.
C’est ELT.
ETLT : Extract, Transform, Load, Transform
ETLT est un hybride utile.
Certaines transformations ont lieu avant le landing, puis d’autres transformations métier ont lieu après.
- Source
- Transformation légère
- Lakehouse
- Transformation métier
- Gold / serving
Pourquoi utiliser ETLT ?
Parce que « tout transformer avant le load » et « tout charger brut » sont parfois trop rigides.
Vous pouvez devoir :
- retirer des secrets ou PII ;
- déchiffrer/décoder un payload ;
- rejeter des enregistrements clairement corrompus ;
- normaliser le format de transport ;
puis effectuer dans la plateforme :
- Medallion ;
- jointures métier ;
- enrichissement ;
- agrégations ;
- modélisation dimensionnelle.
Exemple Fabric
- Réponse API
- Pipeline / Dataflow
- retirer les secrets
- normaliser l’enveloppe
- Bronze
- Notebook
- dédupliquer
- valider
- enrichir
- Silver
- Gold
CDC : Change Data Capture
Un full load demande :
Que contient la source maintenant ?
CDC demande :
Qu’est-ce qui a changé depuis le dernier point ?
Mouvement CDC
- Base opérationnelle
- Changements INSERT / UPDATE / DELETE
- CDC / réplication
- Copie analytique
CDC vs watermark
Un watermark ressemble souvent à :
SELECT *
FROM orders
WHERE modified_at > @last_watermark;Cela peut capturer inserts et updates si le timestamp est fiable.
Les deletes sont plus difficiles à gérer sans mécanisme spécifique.
Un CDC réel s’appuie généralement sur un mécanisme de changement ou le journal de transactions.
Options Microsoft Fabric
Fabric peut participer aux chargements incrémentaux avec :
- Mirroring sur les sources prises en charge ;
- pipelines incrémentales ;
- patterns CDC propres à la source ;
- notebooks avec watermark lorsque CDC complet n’est pas disponible.
Le mirroring Fabric réplique en continu les données d’une base opérationnelle prise en charge vers OneLake.
Streaming : données en mouvement continu
Le batch attend un ensemble de données.
Le streaming traite les événements à leur arrivée.
- Événements
- Kafka / Event Hubs / source
- Traitement de stream
- Stockage temps réel / actions / analytics
Le streaming est adapté à :
- télémétrie ;
- clickstream ;
- IoT ;
- fraude ;
- logs ;
- alertes ;
- événements clients temps réel.
Implémentation Microsoft Fabric
Fabric Real-Time Intelligence est conçu pour les scénarios event-driven, streaming et logs.
Un flux simple :
- Kafka / Event Hubs / événements
- Eventstream
- Eventhouse
- KQL / Real-Time Dashboard
- Activator / Power BI / action
Eventstream ingère et peut transformer les événements, tandis qu’Eventhouse stocke et analyse les données de streaming.
Reverse ETL : de l’analytics vers l’opérationnel
L’ETL traditionnel déplace les données vers la plateforme analytique.
Reverse ETL déplace les résultats analytiques vers l’extérieur.
- Lakehouse / Warehouse
- Segments clients Gold
- CRM / marketing / support / produit
Exemple
Une table Gold contient :
customer_id
lifetime_value
churn_risk
customer_segment
L’équipe CRM ne souhaite pas forcément interroger directement le Lakehouse.
On peut pousser :
customer_segment = "High Value"
dans le CRM.
Implémentation Fabric
Fabric peut être la source analytique, avec livraison via :
- pipeline Fabric ;
- appel API ;
- Azure Functions ;
- Logic Apps ;
- code personnalisé ;
- solution spécialisée de reverse ETL.
Mirroring : répliquer au lieu de maintenir un pipeline de copie
Mirroring change le choix ETL/ELT.
Au lieu de :
- Source DB
- Pipeline de copie
- Bronze
on peut parfois utiliser :
- Base opérationnelle
- réplication continueDonnées mirrored dans Fabric
Pour les systèmes pris en charge, Fabric Mirroring réplique continuellement les données dans OneLake.
Cela réduit le code d’ingestion à maintenir.
Mais cela ne supprime pas le besoin de transformation :
- Données opérationnelles mirrored
- Silver
- Gold
OneLake Shortcuts : parfois, ne déplacez pas les données
Un shortcut représente un autre pattern important :
Référencer les données là où elles existent déjà.
Un OneLake Shortcut peut pointer vers des données Fabric ou du stockage externe pris en charge sans créer une nouvelle copie physique.
- Données externes / partagées
- référenceOneLake Shortcut
- Accès Lakehouse / KQL
Cela peut réduire :
- stockage dupliqué ;
- latence de copie ;
- pipelines d’ingestion ;
- problèmes de synchronisation.
Mais le zero-copy demande toujours des décisions sur :
- disponibilité ;
- sécurité ;
- performances ;
- réseau ;
- ownership ;
- évolution de schéma ;
- gouvernance.
Batch vs CDC vs streaming
La différence clé est la fréquence et la sélectivité.
Batch
- Tous les jours à 2h
- Traiter toute la veille
Incrémental / CDC
- Toutes les quelques minutes
- Traiter seulement les changements
Streaming
- Chaque événement
- Traiter en continu
N’utilisez pas le streaming simplement parce qu’il semble plus moderne.
Si le besoin est « les données d’hier à 7h », un batch fiable peut être meilleur.
Mapping des patterns vers Microsoft Fabric
| Besoin | Approche Fabric |
|---|---|
| Transformer avant landing | Dataflow Gen2 / transformation pipeline |
| Charger brut puis transformer | Pipeline + Lakehouse + Notebook/Spark SQL |
| Medallion | Lakehouse/Warehouse Bronze → Silver → Gold |
| Medallion déclaratif | Materialized lake views |
| Mouvement incrémental DB | Mirroring / pipelines incrémentales |
| Streaming | Eventstream + Eventhouse / Real-Time Intelligence |
| Données partagées sans copie | OneLake Shortcut |
| Analytics vers système opérationnel | Pipeline / API / intégration Azure |
| Préparation low-code | Dataflow Gen2 |
| Transformation complexe code-first | Notebook / PySpark |
Fabric prend également en charge les materialized lake views pour des transformations déclaratives Bronze → Silver → Gold. Pour choisir la cible, comparez les compromis entre Lakehouse et Warehouse dans Fabric. La mise en œuvre Bronze, Silver et Gold est approfondie dans le guide sur l’architecture Medallion.
Les mêmes patterns dans d’autres technologies
Le pattern architectural doit être choisi avant le produit.
Azure Data Factory
ADF est souvent utilisé pour :
- orchestration ;
- ETL/ELT batch ;
- Copy activity ;
- chargements incrémentaux ;
- connectivité hybride.
Databricks
Databricks convient très bien à ELT et au streaming, notamment pour les transformations Spark ou Delta.
Snowflake
Les architectures Snowflake sont souvent ELT : ingestion dans des tables raw, puis transformation SQL.
dbt
dbt est surtout une plateforme de transformation. Il correspond particulièrement au « T » d’ELT mais ne remplace pas l’ingestion.
Kafka et Azure Event Hubs
Ce sont des backbones événementiels qui alimentent des architectures de streaming.
Fivetran et Airbyte
Cette catégorie d’outils se concentre sur l’ingestion et la réplication depuis des systèmes opérationnels/SaaS vers des plateformes analytiques.
Un scénario métier, plusieurs patterns
Imaginez un retailer en ligne avec :
- commandes SQL ;
- clients CRM SaaS ;
- clickstream web ;
- CSV fournisseurs ;
- plateforme marketing.
Il n’y a aucune raison d’utiliser le même pattern partout.
Base de commandes
CDC ou Mirroring.
CSV fournisseurs
Batch ELT.
Événements web
Streaming.
Master client
ETL ou ETLT si les PII doivent être filtrées.
Activation marketing
Reverse ETL.
Le pattern se choisit par flux de données, pas une fois pour toute l’entreprise.
Matrice de décision
| Exigence | Candidat fort |
|---|---|
| Reporting nocturne | ETL ou ELT |
| Conserver le raw | ELT |
| Supprimer les données sensibles avant landing | ETL / ETLT |
| Transformer avec Spark/SQL dans un Lakehouse | ELT |
| Grande DB opérationnelle avec changements fréquents | CDC / Mirroring |
| Analytics en quelques secondes | Streaming |
| Envoyer des scores au CRM | Reverse ETL |
| Données déjà disponibles dans un lake | Shortcut / zero-copy |
| Transformation très low-code | Dataflow Gen2 |
| Logique d’ingénierie complexe | Notebook / PySpark |
| Bronze/Silver/Gold déclaratif dans Fabric | Materialized lake views |
Erreurs fréquentes
« ELT est toujours meilleur qu’ETL »
Non.
« CDC signifie incremental load »
Pas forcément.
« Streaming = batch très fréquent »
Pas exactement.
« Mirroring élimine la transformation »
Non.
« Shortcut signifie absence d’architecture »
Non plus.
Une architecture Fabric réaliste
- Sources
- Azure SQL
- CSV fournisseur
- Événements web
- Atterrissage
- MirroringDonnées opérationnelles mirrored
- PipelineBronze Lakehouse
- EventstreamEventhouse
- Curé
- Silver Lakehouse
- Gold Warehouse
- Consommation
- Power BI
- Reverse ETLCRM
Les shortcuts OneLake peuvent ajouter des données externes sans copie supplémentaire.
Comment choisir le bon pattern
Posez ces questions dans l’ordre.
- Quelle latence est nécessaire ?
- Faut-il conserver le raw ?
- Les données sensibles peuvent-elles arriver telles quelles ?
- Quelle est la taille de la source ?
- Les deletes doivent-ils être capturés ?
- Les données existent-elles déjà dans un stockage accessible ?
- Où se trouve le meilleur compute ?
- Qui exploitera la pipeline ?
Conclusion
ETL et ELT sont fondamentaux, mais ils ne suffisent plus à décrire l’intégration moderne.
La boîte à outils comprend :
ETL
ELT
ETLT
CDC
Streaming
Reverse ETL
Mirroring
Shortcuts / zero-copy
Microsoft Fabric peut implémenter ou participer à chacun de ces patterns via Data Factory pipelines, Dataflow Gen2, Lakehouse, Warehouse, notebooks, Mirroring, Real-Time Intelligence, Eventstream, Eventhouse et OneLake shortcuts.
La règle la plus importante :
Choisissez le pattern d’intégration par flux de données selon la latence, la gouvernance, la transformation et les besoins opérationnels.
Ne choisissez pas d’abord la technologie pour ensuite forcer toutes les sources dans le même pattern.
Références officielles
- Microsoft Fabric Medallion architecture: https://learn.microsoft.com/en-us/fabric/onelake/onelake-medallion-lakehouse-architecture
- Microsoft Fabric Lakehouse end-to-end scenario: https://learn.microsoft.com/en-us/fabric/data-engineering/tutorial-lakehouse-introduction
- Microsoft Fabric Dataflow Gen2: https://learn.microsoft.com/en-us/fabric/data-factory/create-first-dataflow-gen2
- Microsoft Fabric Mirroring overview: https://learn.microsoft.com/en-us/fabric/database/sql/mirroring-overview
- Microsoft Fabric Real-Time Intelligence: https://learn.microsoft.com/en-us/fabric/real-time-intelligence/
- Microsoft Fabric Eventhouse: https://learn.microsoft.com/en-us/fabric/real-time-intelligence/eventhouse
- OneLake shortcuts: https://learn.microsoft.com/en-us/fabric/onelake/onelake-shortcuts
- Materialized lake views: https://learn.microsoft.com/en-us/fabric/data-engineering/materialized-lake-views/tutorial
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoireArchitecture Medallion dans FabricConcevoir une architecture Bronze, Silver et Gold pragmatique dans Microsoft Fabric, avec des contrats de données clairs, la possibilité de rejouer les chargements, un traitement incrémental, des contrôles qualité et des responsabilités de restitution bien définies.Ouvrir l’aide-mémoire
- Feuille de routeProduction Data EngineeringComparez ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring et shortcuts avec des implémentations pratiques dans Microsoft Fabric.Voir la feuille de route
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.