Microsoft Fabric

Patterns d’intégration de données : guide pratique pour les plateformes modernes

Guide pratique des patterns modernes d’intégration : batch, ETL, ELT, CDC, streaming, réplication, API, fédération, reverse ETL et zero-copy.

Par JaviPublié 6 min de lectureIntermédiaire

L’intégration de données n’est pas un seul pattern. Une plateforme moderne peut charger des fichiers chaque nuit, répliquer des changements de base de données toutes les quelques secondes, consommer des événements en continu, appeler des API à la demande, exposer des données externes sans les copier et renvoyer des résultats analytiques vers des applications opérationnelles.

La vraie question n’est pas Quel outil utiliser ?, mais :

Quel pattern d’intégration correspond le mieux à la latence, à l’échelle, au comportement de la source, à la gouvernance, à l’ownership et aux besoins du consommateur ?

Pour une comparaison ciblée des quatre choix les plus courants et des implémentations concrètes dans Fabric, consultez ETL vs ELT vs CDC vs Streaming.

Comparaison rapide

Pattern Meilleur usage Latence typique Idée principale
Batch Traitements planifiés Heures / jours Traiter par fenêtres
Full load Petits datasets Planifié Recharger tout
ETL Préparation gouvernée Batch Transformer avant le load
ELT Lakehouse/Warehouse Batch / quasi temps réel Charger puis transformer
ETLT Gouvernance + analytics Batch Transformer avant et après
Incrémental Sources volumineuses Minutes / heures Déplacer seulement les changements
CDC Changements DB Secondes / minutes Capturer insert/update/delete
Réplication / Mirroring Copie analytique opérationnelle Quasi temps réel Maintenir une copie synchronisée
Streaming Événements Secondes ou moins Traiter en continu
Event-driven Réactions découplées Quasi temps réel Un événement déclenche une action
API Accès à la demande Temps de requête Demander les données quand nécessaire
Fichiers Échanges batch/partenaires Batch Échanger des fichiers
Messaging Travail asynchrone Secondes / minutes Distribuer des messages
Fédération Requêtes multi-systèmes Temps de requête Interroger sans centraliser
Zero-copy Données externes partagées Temps de requête Référencer au lieu de copier
Reverse ETL Analytics vers opérations Planifié / quasi temps réel Activer les données curées
Synchronisation Garder des systèmes alignés Continu / planifié Propager l’état

1. Batch

Le batch traite les données selon un horaire.

  1. Source
  2. Toutes les heures / jours / semaines
  3. Pipeline batch
  4. Destination
Intégration batch

C’est idéal pour le reporting nocturne, les CSV quotidiens, les flux partenaires et les API planifiées.

2. Full load

Le full load copie tout le dataset.

  1. Table source
  2. Lire toutes les lignes
  3. Remplacer la cible
Chargement complet

Pour une petite table de référence, c’est parfois plus fiable qu’un mécanisme CDC complexe.

3. ETL

ETL signifie Extract → Transform → Load.

  1. Source
  2. Extraction
    Transformation
  3. Chargement
  4. Destination
ETL

Exemple :

  1. Source RH
  2. Transformation
    • Supprimer le SSN
    • Normaliser le service
    • Valider le salaire
  3. Warehouse
ETL pour des données RH

Utilisez ETL lorsque des PII doivent être supprimées avant landing, lorsqu’un schéma strict est requis ou lorsque la gouvernance doit être appliquée avant stockage.

4. ELT

ELT signifie Extract → Load → Transform.

  1. Source
  2. Zone brute
  3. Lakehouse / Warehouse
  4. Transformation
ELT

Un pattern courant est :

  1. Bronze
  2. Silver
  3. Gold
Architecture Medallion

Dans Microsoft Fabric :

  1. Source
  2. Fabric Pipeline
  3. Lakehouse Bronze
  4. Notebook / Spark SQL
  5. Silver
  6. Gold
ELT dans Microsoft Fabric

5. ETLT

ETLT combine transformation avant et après le landing.

  1. Payload API
  2. Filtrer les secrets / normaliser
  3. Bronze
  4. Dédupliquer / enrichir / règles métier
  5. Silver / Gold
ETLT

6. Chargement incrémental

Un chargement incrémental déplace uniquement les données modifiées.

Requête SQL: 6. Chargement incrémentalT-SQL
SELECT *
FROM orders
WHERE modified_at > @last_watermark;
T-SQL3 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Il réduit le volume traité mais doit gérer les données tardives, les timestamps peu fiables et les suppressions.

7. CDC

CDC capture les inserts, updates et deletes.

  1. Base opérationnelle
  2. Change / transaction log
  3. Consommateur CDC
  4. Cible analytique
Change Data Capture

Un watermark n’est pas équivalent à un vrai CDC.

8. Réplication et Mirroring

La réplication maintient une copie synchronisée.

  1. Base opérationnelle
  2. Réplication continue
  3. Copie analytique
Réplication

Dans Fabric, Mirroring peut remplacer une partie de la logique d’ingestion pour les sources prises en charge.

9. Streaming

Le streaming traite les événements en continu.

  1. Producteur
  2. Event stream
  3. Stream processor
  4. Store temps réel / action
Streaming

Dans Fabric :

  1. Event Hubs / Kafka
  2. Eventstream
  3. Eventhouse
  4. KQL / Dashboard / Activator
Streaming dans Microsoft Fabric

10. Event-driven

Un événement déclenche des actions downstream.

  1. OrderCreated
  2. Event bus
    • Service d’inventaire
    • Service de notification
    • Consommateur analytique
Intégration event-driven

Le but principal est le découplage entre systèmes.

11. Intégration API

Les API conviennent aux lookups à la demande, à la metadata et aux flux opérationnels de faible volume. Elles sont souvent moins adaptées à l’extraction massive à cause des rate limits, de la pagination et du throttling.

12. Intégration par fichiers

Formats typiques : CSV, JSON, Parquet, Avro et XML.

  1. Producteur
  2. Dépôt de fichier
  3. Storage / SFTP
  4. Pipeline
Intégration par fichiers

Un bon design gère les doublons, les fichiers partiels, le schema drift et le replay.

13. Messaging

Les queues distribuent du travail de manière asynchrone. Exemples : Azure Service Bus, RabbitMQ et queues cloud.

14. Fédération / virtualisation

La fédération permet d’interroger plusieurs systèmes sans centraliser toutes les données.

  1. Moteur de requête
    • Source A
    • Source B
    • Source C
Fédération

Elle réduit la duplication mais dépend des performances et de la disponibilité des sources.

15. Zero-copy et Shortcuts

  1. Stockage externe
  2. Reference / Shortcut
  3. Plateforme analytique
Accès zero-copy

OneLake Shortcuts est un exemple de ce pattern.

16. Reverse ETL

Reverse ETL renvoie les résultats analytiques vers l’opérationnel.

  1. Lakehouse / Warehouse
  2. Segment / score client
  3. CRM / marketing / support
Reverse ETL

17. Synchronisation

System A
  ↕
System B

Le bidirectionnel nécessite un système autoritaire, une stratégie de conflits et une gestion claire des deletes.

18. Orchestration vs intégration

L’intégration déplace ou expose les données. L’orchestration coordonne les étapes.

  1. 1Copier les données
  2. 2Exécuter le notebook
  3. 3Valider
  4. 4Publier
  5. 5Notifier
Orchestration

19. Push vs pull

Pull : le consommateur lit la source.

Push : le producteur envoie les données.

Push réduit souvent la latence. Pull est souvent plus simple à contrôler et à rejouer.

20. Synchrone vs asynchrone

Le synchrone attend une réponse. L’asynchrone découple les systèmes via queue, event ou fichier.

Mapping Microsoft Fabric

Besoin Capacité Fabric
Batch planifié Data Pipeline
Full / incrémental Copy activity
Transformation low-code Dataflow Gen2
Transformation code-first Notebook / PySpark
ELT / Medallion Lakehouse + Delta
SQL Warehouse / SQL endpoint
Réplication opérationnelle Mirroring
Streaming Eventstream
Event analytics Eventhouse / Real-Time Intelligence
Zero-copy OneLake Shortcuts
Orchestration Data Pipeline
Reverse delivery Pipeline / API / intégration Azure

Mapping vers d’autres technologies

Pattern Technologies courantes
Batch Fabric Pipelines, ADF, Airbyte, Fivetran
ELT Fabric, Snowflake, Databricks, dbt
CDC Logs DB, Debezium, Mirroring
Streaming Kafka, Event Hubs, Fabric Eventstream
Transformation Spark, SQL, dbt, Dataflow Gen2
Reverse ETL API, pipelines, outils spécialisés
Fédération Virtualisation, external tables
Zero-copy OneLake Shortcuts, références externes
Orchestration Fabric Pipelines, ADF, Airflow, Dagster

Matrice de décision

Besoin Pattern recommandé
Reporting nocturne Batch
Petite table de référence Full load
Garder le raw ELT
Nettoyer avant landing ETL / ETLT
Grande DB très changeante CDC / réplication
Analytics en secondes Streaming
Workflow déclenché par événement Event-driven
Lookup à la demande API
Échange partenaire Fichiers
Travail asynchrone fiable Messaging
Éviter de copier des données externes Shortcut / zero-copy
Interroger plusieurs systèmes Fédération
Envoyer des scores au CRM Reverse ETL
Garder deux systèmes alignés Synchronisation

Une architecture réaliste mélange plusieurs patterns

    1. Orders DB
    2. CDC / Mirroring
      Plateforme analytique
    1. CSV fournisseur
    2. Batch
      Bronze
    1. Événements du site web
    2. Streaming
      Event store
    1. CRM
    2. ETLT
      Modèle client
    1. Données produit externes
    2. Shortcut / fédération
      Lakehouse
    1. Segments clients Gold
    2. Reverse ETL
      Plateforme marketing
Un retailer, six patterns d’intégration

Erreurs fréquentes

  • Utiliser streaming lorsque batch suffit.
  • Appeler CDC n’importe quel chargement incrémental.
  • Copier des données qui pourraient être référencées.
  • Utiliser des API pour du bulk massif.
  • Ignorer les deletes.
  • Construire du bidirectionnel sans système autoritaire.
  • Mélanger inutilement orchestration et transformation.

Comment choisir le bon pattern

  1. Définir la latence.
  2. Comprendre ce que la source peut fournir.
  3. Définir replay et récupération.
  4. Définir la gouvernance.
  5. Évaluer le volume et l’impact sur la source.
  6. Définir ce que le consommateur a réellement besoin de recevoir.
  7. Choisir la technologie en dernier.

Conclusion

L’intégration moderne dépasse largement ETL vs ELT.

Batch
Full load
ETL
ELT
ETLT
Incremental load
CDC
Replication
Streaming
Event-driven
API-based
File-based
Messaging
Federation
Zero-copy
Reverse ETL
Synchronization

La bonne architecture ne force pas toutes les sources à utiliser le même pattern. Elle standardise la manière dont l’équipe choisit le bon pattern.

Choisissez d’abord le pattern à partir des exigences du flux, puis la technologie qui l’implémente.

Étiquettes

  • Microsoft Fabric
  • Ingestion de données
  • Pipelines de données
  • Chargements incrémentiels
  • Architecture de données
  • Design patterns