Microsoft Fabric

ETL vs ELT vs CDC vs Streaming : les patterns d’intégration de données et leur implémentation dans Microsoft Fabric

Comparez ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring et shortcuts avec des implémentations pratiques dans Microsoft Fabric.

Par JaviPublié 13 min de lectureIntermédiaire

Dans cet article

ETL et ELT sont souvent présentés comme deux architectures concurrentes, mais les plateformes de données modernes utilisent un paysage de patterns d’intégration bien plus large, ainsi que des patterns de data engineering réutilisables.

Une plateforme réelle peut utiliser :

  • ETL pour des flux réglementés ou sensibles qui doivent être nettoyés avant le landing ;
  • ELT pour un Lakehouse ou un Warehouse où les données brutes arrivent d’abord et sont transformées ensuite ;
  • ETLT lorsque certaines transformations doivent se faire avant le chargement et d’autres après ;
  • CDC pour déplacer uniquement les lignes modifiées depuis les systèmes opérationnels ;
  • streaming pour les événements qui doivent arriver en continu ;
  • reverse ETL pour renvoyer les données analytiques vers des systèmes opérationnels ;
  • mirroring pour répliquer en continu les données opérationnelles dans la plateforme analytique ;
  • shortcuts ou accès zero-copy lorsque la meilleure option est de ne pas copier les données.

La vraie question n’est pas « Quel pattern est le meilleur ? »

C’est :

Quel pattern correspond aux exigences de latence, gouvernance, transformation, coût et exploitation de ce flux de données ?

Microsoft Fabric prend en charge plusieurs de ces approches dans une même plateforme.

Comparaison rapide

Pattern Où la transformation a lieu Usage typique Latence
ETL Avant la destination Schémas stricts, landing gouverné, DW historique Batch
ELT Après le chargement Lakehouse/Warehouse, Medallion Batch / quasi temps réel
ETLT Avant et après Gouvernance + analytique aval Batch
CDC Seules les lignes modifiées sont déplacées Réplication de bases opérationnelles Quasi temps réel
Streaming Les événements circulent en continu Télémétrie, clickstream, IoT, logs Secondes ou moins
Reverse ETL De l’analytics vers l’opérationnel CRM, marketing, activation Planifié / quasi temps réel
Mirroring Réplication continue Analytics sur données opérationnelles Quasi temps réel
Shortcut / zero-copy Les données sont référencées, pas copiées Données partagées ou externes Dépend de la source

Ces patterns ne sont pas exclusifs.

Une architecture de production peut en utiliser plusieurs à la fois.

ETL : Extract, Transform, Load

ETL signifie :

  1. Source
  2. Extract
    Moteur de transformationTransform avant le chargement
  3. Load
    DestinationWarehouse / Lakehouse / application
ETL

L’idée centrale est que la transformation se produit avant que la destination finale reçoive les données.

Quand ETL est pertinent

ETL est utile lorsque :

  • les colonnes sensibles doivent être supprimées avant l’arrivée dans la plateforme analytique ;
  • la destination exige un schéma strict ;
  • les données doivent être fortement normalisées avant utilisation ;
  • la gouvernance impose une forme contrôlée au landing ;
  • un data warehouse historique attend des données déjà préparées.

Exemple ETL dans Microsoft Fabric

Un flux Fabric ETL peut utiliser Dataflow Gen2 pour se connecter à une source, transformer les données et les publier dans un Lakehouse ou un Warehouse.

  1. SQL / CSV / API
  2. Dataflow Gen2
    • filtrer
    • renommer
    • caster
    • supprimer les PII
  3. Lakehouse / Warehouse
ETL avec Dataflow Gen2

Dataflow Gen2 est conçu pour la préparation de données cloud : connexion, transformation et publication du résultat.

Une pipeline peut ensuite orchestrer le dataflow et les activités aval.

Exemple

Un export RH contient :

employee_id
employee_name
salary
ssn
department

Si la plateforme analytique ne doit jamais stocker les numéros de sécurité sociale, ETL permet de supprimer le champ avant le chargement final.

ELT : Extract, Load, Transform

ELT inverse les deux dernières étapes :

  1. Source
  2. Extract + load des données brutes
    Lakehouse / Warehouse
  3. Transformation dans la plateforme
  4. Tables curées
ELT

Les données brutes ou légèrement préparées arrivent d’abord.

Les transformations utilisent les moteurs de calcul proches du stockage analytique.

Pourquoi ELT est devenu si fréquent

Les plateformes cloud modernes proposent un stockage important et des moteurs SQL/Spark à proximité des données.

Cela rend naturel le maintien d’une copie brute et la création de plusieurs représentations aval.

ELT correspond très bien à l’architecture Medallion :

  1. Source
  2. Bronze
  3. Silver
  4. Gold
ELT avec les couches Medallion

Microsoft recommande les couches Bronze, Silver et Gold comme pattern courant dans Fabric et OneLake.

Exemple ELT dans Microsoft Fabric

  1. Source
  2. Fabric Pipeline / Copy activity
  3. Lakehouse Files/raw ou tables Bronze Delta
  4. Notebook / Spark SQL / Dataflow Gen2
  5. Tables Silver
  6. Notebook / SQL
  7. Tables Gold
ELT dans Microsoft Fabric

Exemple PySpark

from pyspark.sql import functions as F

bronze_orders = spark.table("bronze_orders")

silver_orders = (
    bronze_orders
    .dropDuplicates(["order_id"])
    .withColumn("country", F.upper(F.trim("country")))
    .withColumn("order_date", F.to_date("order_timestamp"))
)

(
    silver_orders.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("silver_orders")
)

Le chargement a déjà eu lieu.

La transformation se fait dans Fabric.

C’est ELT.

ETLT : Extract, Transform, Load, Transform

ETLT est un hybride utile.

Certaines transformations ont lieu avant le landing, puis d’autres transformations métier ont lieu après.

  1. Source
  2. Transformation légère
  3. Lakehouse
  4. Transformation métier
  5. Gold / serving
ETLT

Pourquoi utiliser ETLT ?

Parce que « tout transformer avant le load » et « tout charger brut » sont parfois trop rigides.

Vous pouvez devoir :

  • retirer des secrets ou PII ;
  • déchiffrer/décoder un payload ;
  • rejeter des enregistrements clairement corrompus ;
  • normaliser le format de transport ;

puis effectuer dans la plateforme :

  • Medallion ;
  • jointures métier ;
  • enrichissement ;
  • agrégations ;
  • modélisation dimensionnelle.

Exemple Fabric

  1. Réponse API
  2. Pipeline / Dataflow
    • retirer les secrets
    • normaliser l’enveloppe
  3. Bronze
  4. Notebook
    • dédupliquer
    • valider
    • enrichir
  5. Silver
  6. Gold
ETLT dans Microsoft Fabric

CDC : Change Data Capture

Un full load demande :

Que contient la source maintenant ?

CDC demande :

Qu’est-ce qui a changé depuis le dernier point ?

Mouvement CDC

  1. Base opérationnelle
  2. Changements INSERT / UPDATE / DELETE
  3. CDC / réplication
  4. Copie analytique
Mouvement CDC

CDC vs watermark

Un watermark ressemble souvent à :

Requête SQL: CDC vs watermarkT-SQL
SELECT *
FROM orders
WHERE modified_at > @last_watermark;
T-SQL3 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Cela peut capturer inserts et updates si le timestamp est fiable.

Les deletes sont plus difficiles à gérer sans mécanisme spécifique.

Un CDC réel s’appuie généralement sur un mécanisme de changement ou le journal de transactions.

Options Microsoft Fabric

Fabric peut participer aux chargements incrémentaux avec :

  • Mirroring sur les sources prises en charge ;
  • pipelines incrémentales ;
  • patterns CDC propres à la source ;
  • notebooks avec watermark lorsque CDC complet n’est pas disponible.

Le mirroring Fabric réplique en continu les données d’une base opérationnelle prise en charge vers OneLake.

Streaming : données en mouvement continu

Le batch attend un ensemble de données.

Le streaming traite les événements à leur arrivée.

  1. Événements
  2. Kafka / Event Hubs / source
  3. Traitement de stream
  4. Stockage temps réel / actions / analytics
Streaming

Le streaming est adapté à :

  • télémétrie ;
  • clickstream ;
  • IoT ;
  • fraude ;
  • logs ;
  • alertes ;
  • événements clients temps réel.

Implémentation Microsoft Fabric

Fabric Real-Time Intelligence est conçu pour les scénarios event-driven, streaming et logs.

Un flux simple :

  1. Kafka / Event Hubs / événements
  2. Eventstream
  3. Eventhouse
  4. KQL / Real-Time Dashboard
  5. Activator / Power BI / action
Streaming dans Microsoft Fabric

Eventstream ingère et peut transformer les événements, tandis qu’Eventhouse stocke et analyse les données de streaming.

Reverse ETL : de l’analytics vers l’opérationnel

L’ETL traditionnel déplace les données vers la plateforme analytique.

Reverse ETL déplace les résultats analytiques vers l’extérieur.

  1. Lakehouse / Warehouse
  2. Segments clients Gold
  3. CRM / marketing / support / produit
Reverse ETL

Exemple

Une table Gold contient :

customer_id
lifetime_value
churn_risk
customer_segment

L’équipe CRM ne souhaite pas forcément interroger directement le Lakehouse.

On peut pousser :

customer_segment = "High Value"

dans le CRM.

Implémentation Fabric

Fabric peut être la source analytique, avec livraison via :

  • pipeline Fabric ;
  • appel API ;
  • Azure Functions ;
  • Logic Apps ;
  • code personnalisé ;
  • solution spécialisée de reverse ETL.

Mirroring : répliquer au lieu de maintenir un pipeline de copie

Mirroring change le choix ETL/ELT.

Au lieu de :

  1. Source DB
  2. Pipeline de copie
  3. Bronze
Un pipeline de copie

on peut parfois utiliser :

  1. Base opérationnelle
  2. réplication continue
    Données mirrored dans Fabric
Mirroring

Pour les systèmes pris en charge, Fabric Mirroring réplique continuellement les données dans OneLake.

Cela réduit le code d’ingestion à maintenir.

Mais cela ne supprime pas le besoin de transformation :

  1. Données opérationnelles mirrored
  2. Silver
  3. Gold
Transformation après le Mirroring

OneLake Shortcuts : parfois, ne déplacez pas les données

Un shortcut représente un autre pattern important :

Référencer les données là où elles existent déjà.

Un OneLake Shortcut peut pointer vers des données Fabric ou du stockage externe pris en charge sans créer une nouvelle copie physique.

  1. Données externes / partagées
  2. référence
    OneLake Shortcut
  3. Accès Lakehouse / KQL
OneLake Shortcut

Cela peut réduire :

  • stockage dupliqué ;
  • latence de copie ;
  • pipelines d’ingestion ;
  • problèmes de synchronisation.

Mais le zero-copy demande toujours des décisions sur :

  • disponibilité ;
  • sécurité ;
  • performances ;
  • réseau ;
  • ownership ;
  • évolution de schéma ;
  • gouvernance.

Batch vs CDC vs streaming

La différence clé est la fréquence et la sélectivité.

Batch

  1. Tous les jours à 2h
  2. Traiter toute la veille
Batch

Incrémental / CDC

  1. Toutes les quelques minutes
  2. Traiter seulement les changements
Incrémental / CDC

Streaming

  1. Chaque événement
  2. Traiter en continu
Streaming

N’utilisez pas le streaming simplement parce qu’il semble plus moderne.

Si le besoin est « les données d’hier à 7h », un batch fiable peut être meilleur.

Mapping des patterns vers Microsoft Fabric

Besoin Approche Fabric
Transformer avant landing Dataflow Gen2 / transformation pipeline
Charger brut puis transformer Pipeline + Lakehouse + Notebook/Spark SQL
Medallion Lakehouse/Warehouse Bronze → Silver → Gold
Medallion déclaratif Materialized lake views
Mouvement incrémental DB Mirroring / pipelines incrémentales
Streaming Eventstream + Eventhouse / Real-Time Intelligence
Données partagées sans copie OneLake Shortcut
Analytics vers système opérationnel Pipeline / API / intégration Azure
Préparation low-code Dataflow Gen2
Transformation complexe code-first Notebook / PySpark

Fabric prend également en charge les materialized lake views pour des transformations déclaratives Bronze → Silver → Gold. Pour choisir la cible, comparez les compromis entre Lakehouse et Warehouse dans Fabric. La mise en œuvre Bronze, Silver et Gold est approfondie dans le guide sur l’architecture Medallion.

Les mêmes patterns dans d’autres technologies

Le pattern architectural doit être choisi avant le produit.

Azure Data Factory

ADF est souvent utilisé pour :

  • orchestration ;
  • ETL/ELT batch ;
  • Copy activity ;
  • chargements incrémentaux ;
  • connectivité hybride.

Databricks

Databricks convient très bien à ELT et au streaming, notamment pour les transformations Spark ou Delta.

Snowflake

Les architectures Snowflake sont souvent ELT : ingestion dans des tables raw, puis transformation SQL.

dbt

dbt est surtout une plateforme de transformation. Il correspond particulièrement au « T » d’ELT mais ne remplace pas l’ingestion.

Kafka et Azure Event Hubs

Ce sont des backbones événementiels qui alimentent des architectures de streaming.

Fivetran et Airbyte

Cette catégorie d’outils se concentre sur l’ingestion et la réplication depuis des systèmes opérationnels/SaaS vers des plateformes analytiques.

Un scénario métier, plusieurs patterns

Imaginez un retailer en ligne avec :

  • commandes SQL ;
  • clients CRM SaaS ;
  • clickstream web ;
  • CSV fournisseurs ;
  • plateforme marketing.

Il n’y a aucune raison d’utiliser le même pattern partout.

Base de commandes

CDC ou Mirroring.

CSV fournisseurs

Batch ELT.

Événements web

Streaming.

Master client

ETL ou ETLT si les PII doivent être filtrées.

Activation marketing

Reverse ETL.

Le pattern se choisit par flux de données, pas une fois pour toute l’entreprise.

Matrice de décision

Exigence Candidat fort
Reporting nocturne ETL ou ELT
Conserver le raw ELT
Supprimer les données sensibles avant landing ETL / ETLT
Transformer avec Spark/SQL dans un Lakehouse ELT
Grande DB opérationnelle avec changements fréquents CDC / Mirroring
Analytics en quelques secondes Streaming
Envoyer des scores au CRM Reverse ETL
Données déjà disponibles dans un lake Shortcut / zero-copy
Transformation très low-code Dataflow Gen2
Logique d’ingénierie complexe Notebook / PySpark
Bronze/Silver/Gold déclaratif dans Fabric Materialized lake views

Erreurs fréquentes

« ELT est toujours meilleur qu’ETL »

Non.

« CDC signifie incremental load »

Pas forcément.

« Streaming = batch très fréquent »

Pas exactement.

« Mirroring élimine la transformation »

Non.

« Shortcut signifie absence d’architecture »

Non plus.

Une architecture Fabric réaliste

  1. Sources
    • Azure SQL
    • CSV fournisseur
    • Événements web
  2. Atterrissage
    • MirroringDonnées opérationnelles mirrored
    • PipelineBronze Lakehouse
    • EventstreamEventhouse
  3. Curé
    • Silver Lakehouse
    • Gold Warehouse
  4. Consommation
    • Power BI
    • Reverse ETLCRM
Une architecture Fabric réaliste. Chaque source arrive par son propre pattern. Les données mirrored et Bronze alimentent Silver ; Eventhouse sert directement les requêtes temps réel.

Les shortcuts OneLake peuvent ajouter des données externes sans copie supplémentaire.

Comment choisir le bon pattern

Posez ces questions dans l’ordre.

  1. Quelle latence est nécessaire ?
  2. Faut-il conserver le raw ?
  3. Les données sensibles peuvent-elles arriver telles quelles ?
  4. Quelle est la taille de la source ?
  5. Les deletes doivent-ils être capturés ?
  6. Les données existent-elles déjà dans un stockage accessible ?
  7. Où se trouve le meilleur compute ?
  8. Qui exploitera la pipeline ?

Conclusion

ETL et ELT sont fondamentaux, mais ils ne suffisent plus à décrire l’intégration moderne.

La boîte à outils comprend :

ETL
ELT
ETLT
CDC
Streaming
Reverse ETL
Mirroring
Shortcuts / zero-copy

Microsoft Fabric peut implémenter ou participer à chacun de ces patterns via Data Factory pipelines, Dataflow Gen2, Lakehouse, Warehouse, notebooks, Mirroring, Real-Time Intelligence, Eventstream, Eventhouse et OneLake shortcuts.

La règle la plus importante :

Choisissez le pattern d’intégration par flux de données selon la latence, la gouvernance, la transformation et les besoins opérationnels.

Ne choisissez pas d’abord la technologie pour ensuite forcer toutes les sources dans le même pattern.

Références officielles

Étiquettes

  • Microsoft Fabric
  • Ingestion de données
  • Pipelines de données
  • Chargements incrémentiels
  • Architecture de données
  • Design patterns