Microsoft Fabric
Patterns d’intégration de données : guide pratique pour les plateformes modernes
Guide pratique des patterns modernes d’intégration : batch, ETL, ELT, CDC, streaming, réplication, API, fédération, reverse ETL et zero-copy.
Dans cet article
L’intégration de données n’est pas un seul pattern. Une plateforme moderne peut charger des fichiers chaque nuit, répliquer des changements de base de données toutes les quelques secondes, consommer des événements en continu, appeler des API à la demande, exposer des données externes sans les copier et renvoyer des résultats analytiques vers des applications opérationnelles.
La vraie question n’est pas Quel outil utiliser ?, mais :
Quel pattern d’intégration correspond le mieux à la latence, à l’échelle, au comportement de la source, à la gouvernance, à l’ownership et aux besoins du consommateur ?
Pour une comparaison ciblée des quatre choix les plus courants et des implémentations concrètes dans Fabric, consultez ETL vs ELT vs CDC vs Streaming.
Comparaison rapide
| Pattern | Meilleur usage | Latence typique | Idée principale |
|---|---|---|---|
| Batch | Traitements planifiés | Heures / jours | Traiter par fenêtres |
| Full load | Petits datasets | Planifié | Recharger tout |
| ETL | Préparation gouvernée | Batch | Transformer avant le load |
| ELT | Lakehouse/Warehouse | Batch / quasi temps réel | Charger puis transformer |
| ETLT | Gouvernance + analytics | Batch | Transformer avant et après |
| Incrémental | Sources volumineuses | Minutes / heures | Déplacer seulement les changements |
| CDC | Changements DB | Secondes / minutes | Capturer insert/update/delete |
| Réplication / Mirroring | Copie analytique opérationnelle | Quasi temps réel | Maintenir une copie synchronisée |
| Streaming | Événements | Secondes ou moins | Traiter en continu |
| Event-driven | Réactions découplées | Quasi temps réel | Un événement déclenche une action |
| API | Accès à la demande | Temps de requête | Demander les données quand nécessaire |
| Fichiers | Échanges batch/partenaires | Batch | Échanger des fichiers |
| Messaging | Travail asynchrone | Secondes / minutes | Distribuer des messages |
| Fédération | Requêtes multi-systèmes | Temps de requête | Interroger sans centraliser |
| Zero-copy | Données externes partagées | Temps de requête | Référencer au lieu de copier |
| Reverse ETL | Analytics vers opérations | Planifié / quasi temps réel | Activer les données curées |
| Synchronisation | Garder des systèmes alignés | Continu / planifié | Propager l’état |
1. Batch
Le batch traite les données selon un horaire.
- Source
- Toutes les heures / jours / semaines
- Pipeline batch
- Destination
C’est idéal pour le reporting nocturne, les CSV quotidiens, les flux partenaires et les API planifiées.
2. Full load
Le full load copie tout le dataset.
- Table source
- Lire toutes les lignes
- Remplacer la cible
Pour une petite table de référence, c’est parfois plus fiable qu’un mécanisme CDC complexe.
3. ETL
ETL signifie Extract → Transform → Load.
- Source
- ExtractionTransformation
- Chargement
- Destination
Exemple :
- Source RH
- Transformation
- Supprimer le SSN
- Normaliser le service
- Valider le salaire
- Warehouse
Utilisez ETL lorsque des PII doivent être supprimées avant landing, lorsqu’un schéma strict est requis ou lorsque la gouvernance doit être appliquée avant stockage.
4. ELT
ELT signifie Extract → Load → Transform.
- Source
- Zone brute
- Lakehouse / Warehouse
- Transformation
Un pattern courant est :
- Bronze
- Silver
- Gold
Dans Microsoft Fabric :
- Source
- Fabric Pipeline
- Lakehouse Bronze
- Notebook / Spark SQL
- Silver
- Gold
5. ETLT
ETLT combine transformation avant et après le landing.
- Payload API
- Filtrer les secrets / normaliser
- Bronze
- Dédupliquer / enrichir / règles métier
- Silver / Gold
6. Chargement incrémental
Un chargement incrémental déplace uniquement les données modifiées.
SELECT *
FROM orders
WHERE modified_at > @last_watermark;Il réduit le volume traité mais doit gérer les données tardives, les timestamps peu fiables et les suppressions.
7. CDC
CDC capture les inserts, updates et deletes.
- Base opérationnelle
- Change / transaction log
- Consommateur CDC
- Cible analytique
Un watermark n’est pas équivalent à un vrai CDC.
8. Réplication et Mirroring
La réplication maintient une copie synchronisée.
- Base opérationnelle
- Réplication continue
- Copie analytique
Dans Fabric, Mirroring peut remplacer une partie de la logique d’ingestion pour les sources prises en charge.
9. Streaming
Le streaming traite les événements en continu.
- Producteur
- Event stream
- Stream processor
- Store temps réel / action
Dans Fabric :
- Event Hubs / Kafka
- Eventstream
- Eventhouse
- KQL / Dashboard / Activator
10. Event-driven
Un événement déclenche des actions downstream.
- OrderCreated
- Event bus
- Service d’inventaire
- Service de notification
- Consommateur analytique
Le but principal est le découplage entre systèmes.
11. Intégration API
Les API conviennent aux lookups à la demande, à la metadata et aux flux opérationnels de faible volume. Elles sont souvent moins adaptées à l’extraction massive à cause des rate limits, de la pagination et du throttling.
12. Intégration par fichiers
Formats typiques : CSV, JSON, Parquet, Avro et XML.
- Producteur
- Dépôt de fichier
- Storage / SFTP
- Pipeline
Un bon design gère les doublons, les fichiers partiels, le schema drift et le replay.
13. Messaging
Les queues distribuent du travail de manière asynchrone. Exemples : Azure Service Bus, RabbitMQ et queues cloud.
14. Fédération / virtualisation
La fédération permet d’interroger plusieurs systèmes sans centraliser toutes les données.
- Moteur de requête
- Source A
- Source B
- Source C
Elle réduit la duplication mais dépend des performances et de la disponibilité des sources.
15. Zero-copy et Shortcuts
- Stockage externe
- Reference / Shortcut
- Plateforme analytique
OneLake Shortcuts est un exemple de ce pattern.
16. Reverse ETL
Reverse ETL renvoie les résultats analytiques vers l’opérationnel.
- Lakehouse / Warehouse
- Segment / score client
- CRM / marketing / support
17. Synchronisation
System A
↕
System B
Le bidirectionnel nécessite un système autoritaire, une stratégie de conflits et une gestion claire des deletes.
18. Orchestration vs intégration
L’intégration déplace ou expose les données. L’orchestration coordonne les étapes.
- 1Copier les données
- 2Exécuter le notebook
- 3Valider
- 4Publier
- 5Notifier
19. Push vs pull
Pull : le consommateur lit la source.
Push : le producteur envoie les données.
Push réduit souvent la latence. Pull est souvent plus simple à contrôler et à rejouer.
20. Synchrone vs asynchrone
Le synchrone attend une réponse. L’asynchrone découple les systèmes via queue, event ou fichier.
Mapping Microsoft Fabric
| Besoin | Capacité Fabric |
|---|---|
| Batch planifié | Data Pipeline |
| Full / incrémental | Copy activity |
| Transformation low-code | Dataflow Gen2 |
| Transformation code-first | Notebook / PySpark |
| ELT / Medallion | Lakehouse + Delta |
| SQL | Warehouse / SQL endpoint |
| Réplication opérationnelle | Mirroring |
| Streaming | Eventstream |
| Event analytics | Eventhouse / Real-Time Intelligence |
| Zero-copy | OneLake Shortcuts |
| Orchestration | Data Pipeline |
| Reverse delivery | Pipeline / API / intégration Azure |
Mapping vers d’autres technologies
| Pattern | Technologies courantes |
|---|---|
| Batch | Fabric Pipelines, ADF, Airbyte, Fivetran |
| ELT | Fabric, Snowflake, Databricks, dbt |
| CDC | Logs DB, Debezium, Mirroring |
| Streaming | Kafka, Event Hubs, Fabric Eventstream |
| Transformation | Spark, SQL, dbt, Dataflow Gen2 |
| Reverse ETL | API, pipelines, outils spécialisés |
| Fédération | Virtualisation, external tables |
| Zero-copy | OneLake Shortcuts, références externes |
| Orchestration | Fabric Pipelines, ADF, Airflow, Dagster |
Matrice de décision
| Besoin | Pattern recommandé |
|---|---|
| Reporting nocturne | Batch |
| Petite table de référence | Full load |
| Garder le raw | ELT |
| Nettoyer avant landing | ETL / ETLT |
| Grande DB très changeante | CDC / réplication |
| Analytics en secondes | Streaming |
| Workflow déclenché par événement | Event-driven |
| Lookup à la demande | API |
| Échange partenaire | Fichiers |
| Travail asynchrone fiable | Messaging |
| Éviter de copier des données externes | Shortcut / zero-copy |
| Interroger plusieurs systèmes | Fédération |
| Envoyer des scores au CRM | Reverse ETL |
| Garder deux systèmes alignés | Synchronisation |
Une architecture réaliste mélange plusieurs patterns
- Orders DB
- CDC / MirroringPlateforme analytique
- CSV fournisseur
- BatchBronze
- Événements du site web
- StreamingEvent store
- CRM
- ETLTModèle client
- Données produit externes
- Shortcut / fédérationLakehouse
- Segments clients Gold
- Reverse ETLPlateforme marketing
Erreurs fréquentes
- Utiliser streaming lorsque batch suffit.
- Appeler CDC n’importe quel chargement incrémental.
- Copier des données qui pourraient être référencées.
- Utiliser des API pour du bulk massif.
- Ignorer les deletes.
- Construire du bidirectionnel sans système autoritaire.
- Mélanger inutilement orchestration et transformation.
Comment choisir le bon pattern
- Définir la latence.
- Comprendre ce que la source peut fournir.
- Définir replay et récupération.
- Définir la gouvernance.
- Évaluer le volume et l’impact sur la source.
- Définir ce que le consommateur a réellement besoin de recevoir.
- Choisir la technologie en dernier.
Conclusion
L’intégration moderne dépasse largement ETL vs ELT.
Batch
Full load
ETL
ELT
ETLT
Incremental load
CDC
Replication
Streaming
Event-driven
API-based
File-based
Messaging
Federation
Zero-copy
Reverse ETL
Synchronization
La bonne architecture ne force pas toutes les sources à utiliser le même pattern. Elle standardise la manière dont l’équipe choisit le bon pattern.
Choisissez d’abord le pattern à partir des exigences du flux, puis la technologie qui l’implémente.
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoireArchitecture Medallion dans FabricConcevoir une architecture Bronze, Silver et Gold pragmatique dans Microsoft Fabric, avec des contrats de données clairs, la possibilité de rejouer les chargements, un traitement incrémental, des contrôles qualité et des responsabilités de restitution bien définies.Ouvrir l’aide-mémoire
- Feuille de routeProduction Data EngineeringGuide pratique des patterns modernes d’intégration : batch, ETL, ELT, CDC, streaming, réplication, API, fédération, reverse ETL et zero-copy.Voir la feuille de route
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.