Microsoft Fabric

Répliquer des tables Azure SQL dans Microsoft Fabric et les interroger depuis un notebook

Répliquez une table Azure SQL Database dans OneLake avec Microsoft Fabric Mirroring, vérifiez les prérequis réseau et d’identité, puis interrogez les données depuis un notebook avec Spark SQL et PySpark.

Par JaviPublié 9 min de lectureIntermédiaire

Dans cet article

Microsoft Fabric Mirroring permet de rendre les données opérationnelles d’Azure SQL disponibles dans OneLake sans avoir à créer et planifier un pipeline de copie classique.

Dans ce tutoriel, nous allons répliquer une petite table dbo.tenant d’Azure SQL Database dans Microsoft Fabric, vérifier que les modifications sont répliquées, puis interroger directement la table répliquée depuis un Fabric Notebook.

L’architecture est simple :

  1. Azure SQL Database
  2. Fabric Mirroring
    Fabric Mirrored Database
  3. OneLake
  4. Fabric Notebook
D’Azure SQL à un notebook Fabric avec le Mirroring

Le point essentiel est qu’Azure SQL reste le système opérationnel de référence. Fabric reçoit une copie synchronisée, orientée lecture, utilisable pour l’analytique, les notebooks, le reporting et les traitements de données en aval.

Toutes les captures de cet article portent un filigrane Javi Builds et ont été nettoyées afin d’en retirer les informations personnelles propres à l’environnement.


Pourquoi utiliser Fabric Mirroring ?

Un modèle d’intégration courant consiste à copier périodiquement des tables opérationnelles vers une plateforme analytique au moyen d’un pipeline.

C’est une solution qui fonctionne, mais lorsque les données doivent rester synchronisées avec Azure SQL, Fabric Mirroring permet de réduire considérablement la plomberie nécessaire.

Au lieu de ceci :

  1. Azure SQL
  2. Pipeline planifié
    Fichiers de dépôt
  3. Lakehouse
Un pipeline de copie planifié

vous pouvez utiliser :

  1. Azure SQL
  2. Réplication continue
    OneLake
Fabric Mirroring

Cette approche présente plusieurs avantages :

  • Pas de logique personnalisée de copie incrémentielle pour les tables prises en charge.
  • Pas de pipeline d’interrogation à lancer toutes les quelques minutes.
  • Les insertions, mises à jour et suppressions peuvent être répliquées automatiquement.
  • Les données répliquées sont accessibles dans Fabric et OneLake.
  • Les notebooks Fabric peuvent interroger directement la base répliquée.
  • La base Azure SQL continue de servir la charge applicative.

Pour des données applicatives opérationnelles qui doivent également être accessibles dans Fabric, c’est un modèle très intéressant.


1. Créer une table source dans Azure SQL

Pour cette preuve de concept, nous avons utilisé une simple table de tenants.

Requête SQL: 1. Créer une table source dans Azure SQLT-SQL (Azure SQL Database)
CREATE TABLE dbo.tenant
(
    tenant_id INT NOT NULL PRIMARY KEY,
    tenant_name NVARCHAR(100) NOT NULL,
    status INT NOT NULL,
    created_date DATETIME2 NOT NULL,
    ended_date DATETIME2 NULL
);
T-SQL (Azure SQL Database)8 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Vous pouvez insérer une ligne d’exemple avec :

Requête SQL: Créer une table source dans Azure SQLT-SQL (Azure SQL Database)
INSERT INTO dbo.tenant
(
    tenant_id,
    tenant_name,
    status,
    created_date,
    ended_date
)
VALUES
(
    1,
    N'tenant_test',
    1,
    SYSUTCDATETIME(),
    NULL
);
T-SQL (Azure SQL Database)16 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Pour une architecture de production, je définirais normalement une contrainte par défaut pour created_date et documenterais la signification de chaque valeur de status, ou la décrirais dans une table de référence.


2. Créer la base Azure SQL répliquée dans Fabric

Dans Microsoft Fabric :

  1. Ouvrez l’espace de travail cible.
  2. Choisissez New item.
  3. Sélectionnez Mirrored Azure SQL Database.
  4. Saisissez le serveur et la base Azure SQL.
  5. Configurez la connexion.
  6. Sélectionnez les tables à répliquer.
  7. Créez la base de données répliquée.

Dans cet exemple, seule la table suivante est nécessaire :

dbo.tenant

Fabric propose également une option semblable à :

Automatically mirror future tables

Activez-la uniquement si vous souhaitez réellement que les nouvelles tables éligibles créées dans la base source soient ajoutées automatiquement. Dans un environnement de production soumis à une gouvernance stricte, je préfère généralement sélectionner explicitement les tables qui doivent faire partie du jeu de données répliqué.

Sélection de la table Azure SQL à répliquer dans Microsoft Fabric

Sélection de la table Azure SQL que Fabric va répliquer dans OneLake.


3. Prérequis Azure SQL susceptibles de vous bloquer

L’assistant de configuration de Mirroring peut révéler plusieurs prérequis côté Azure, faciles à manquer.

Pendant cette preuve de concept, les points importants concernaient l’identité, l’authentification et l’accès réseau.

Accès réseau

Fabric doit pouvoir joindre le serveur logique Azure SQL.

Si le pare-feu SQL bloque la connexion, vous pouvez recevoir une erreur semblable à :

Client with IP address 'x.x.x.x' is not allowed to access the server.

Pour une preuve de concept rapide, vous pouvez ajouter l’adresse IP requise au pare-feu du serveur Azure SQL.

En production, étudiez un modèle réseau plus contrôlé, comme une connectivité fondée sur un VNet ou une connexion privée, plutôt que d’ouvrir largement l’accès au serveur SQL.

Pare-feu Azure SQL bloquant la connexion de Fabric

Azure SQL rejette la connexion tant que l’accès réseau requis n’est pas configuré.


4. Configurer l’authentification Microsoft Entra

Dans les environnements soumis à des contrôles Azure Policy plus stricts, vous devrez peut-être configurer l’authentification Microsoft Entra avant d’activer l’identité managée requise par Mirroring.

Au niveau du serveur logique Azure SQL :

SQL logical server
    ↓
Microsoft Entra ID

Vérifiez qu’un administrateur Microsoft Entra est configuré.

Selon les règles de votre organisation, vous devrez peut-être également activer :

Support only Microsoft Entra authentication for this server

Soyez prudent avec ce paramètre.

Lorsque l’authentification Microsoft Entra uniquement est activée, l’authentification SQL par nom d’utilisateur et mot de passe est désactivée pour le serveur. Avant de modifier ce paramètre sur un serveur de production, validez les connexions applicatives et administratives existantes.

Paramètres d’authentification Microsoft Entra pour Azure SQL

Paramètres d’authentification Microsoft Entra sur le serveur logique Azure SQL.


5. Activer l’identité managée du serveur SQL

Fabric Mirroring exige également que le serveur logique Azure SQL dispose d’une identité managée.

Accédez à :

SQL logical server
    ↓
Security
    ↓
Identity

Activez :

System assigned managed identity = On

L’identité managée attribuée par le système doit également être configurée comme identité principale appropriée du serveur SQL.

Si Azure Policy vous empêche de l’activer, examinez attentivement le message d’erreur de la stratégie. Dans certaines organisations, une stratégie exige d’abord l’authentification Microsoft Entra uniquement.

Il est utile de documenter cette dépendance : elle n’est pas évidente lors de la première création de la base répliquée.

Activation de l’identité managée attribuée par le système pour Azure SQL

Activation de l’identité managée attribuée par le système, requise pour la configuration de Mirroring.


6. Créer la base de données répliquée

Une fois les prérequis réseau et d’identité satisfaits, retournez dans Fabric et poursuivez l’assistant.

Fabric crée un nouvel élément de base de données répliquée.

L’initialisation suit approximativement ces étapes :

  1. 1Valider la source
  2. 2Créer la base répliquée
  3. 3Initialiser la réplication
  4. 4Instantané initial
  5. 5Réplication continue
Initialisation de la base répliquée

Pendant l’initialisation, vous pouvez voir :

Status: Starting

et :

No data has landed

C’est normal pendant la préparation de la synchronisation initiale.

Démarrage de la réplication de la base Azure SQL dans Fabric

Fabric initialise la réplication et attend l’arrivée des premières données dans OneLake.


7. Comprendre les objets créés dans Fabric

Après la création de la base répliquée, Fabric expose plusieurs éléments associés dans l’espace de travail.

Vous verrez généralement :

Mirrored database
SQL analytics endpoint

Le SQL analytics endpoint fournit une interface SQL pour interroger les données répliquées.

La base de données répliquée expose les tables copiées dans OneLake.

Ce point est important : dans certaines parties de l’interface Fabric, l’élément répliqué peut ressembler à un Lakehouse, mais il ne s’agit pas simplement d’un Lakehouse créé manuellement par un utilisateur.


8. Ajouter la base répliquée à un notebook

Créez ou ouvrez un Fabric Notebook.

Dans le volet Data items :

Add data items
    ↓
OneLake catalog
    ↓
Select the mirrored database

Après l’ajout, vous devriez voir une structure semblable à celle-ci :

OneLake
  └─ mirrored_database
      └─ Schemas
          └─ dbo
              └─ Tables
                  └─ tenant

Vous pouvez développer la table et examiner ses colonnes directement dans l’explorateur du notebook.

Table Azure SQL répliquée disponible dans un Fabric Notebook

La table dbo.tenant répliquée est directement accessible dans l’explorateur du notebook.


9. Interroger la table répliquée avec Spark SQL

Un détail est particulièrement important.

Si aucun Lakehouse par défaut n’est associé au notebook, un nom en trois parties comme celui-ci :

Requête SQL: 9. Interroger la table répliquée avec Spark SQLT-SQL (Azure SQL Database)
SELECT *
FROM mirrored_database.dbo.tenant;
T-SQL (Azure SQL Database)2 lignesAffichage en lecture seule. Aucune connexion à une base de données.

peut échouer avec une erreur semblable à :

No default context found, please attach a lakehouse before running spark sql queries with partial namespaces.

Vous n’avez pas nécessairement besoin d’associer un autre Lakehouse.

Utilisez le nom complet en quatre parties :

workspace.database.schema.table

Par exemple :

%%sql

SELECT *
FROM demo_workspace.demo_mirror.dbo.tenant;
Spark SQL4 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Le notebook peut ainsi résoudre la table répliquée sans dépendre du contexte d’un Lakehouse par défaut.


10. Interroger la même table avec PySpark

Vous pouvez interroger le même objet avec spark.sql() :

PySpark
df = spark.sql("""
    SELECT *
    FROM demo_workspace.demo_mirror.dbo.tenant
""")

display(df)
PySpark6 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Vous obtenez ainsi un Spark DataFrame que vous pouvez utiliser dans la suite de votre travail d’ingénierie Fabric.

Par exemple :

PySpark
active_tenants = spark.sql("""
    SELECT
        tenant_id,
        tenant_name,
        created_date
    FROM demo_workspace.demo_mirror.dbo.tenant
    WHERE status = 1
""")

display(active_tenants)
PySpark10 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Vous pouvez ensuite joindre les données opérationnelles répliquées à d’autres données provenant d’un Lakehouse ou d’un Warehouse.


11. Valider la réplication continue

Voir la ligne initiale confirme que l’instantané a été chargé.

Le test le plus intéressant consiste à vérifier que les modifications ultérieures sont répliquées automatiquement.

Insérez une autre ligne dans Azure SQL :

Requête SQL: Valider la réplication continueT-SQL (Azure SQL Database)
INSERT INTO dbo.tenant
(
    tenant_id,
    tenant_name,
    status,
    created_date,
    ended_date
)
VALUES
(
    2,
    N'second_test',
    2,
    SYSUTCDATETIME(),
    NULL
);
T-SQL (Azure SQL Database)16 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Relancez ensuite la requête du notebook Fabric :

%%sql

SELECT *
FROM demo_workspace.demo_mirror.dbo.tenant
ORDER BY tenant_id;
Spark SQL5 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Lorsque la deuxième ligne apparaît, vous avez validé l’ensemble du parcours :

  1. INSERT Azure SQL
  2. Fabric Mirroring
  3. OneLake
  4. Spark SQL / PySpark
Le chemin validé

Aucun pipeline de copie n’a été lancé.

Aucun notebook n’a effectué l’ingestion.

La modification de la source a été répliquée par le service Mirroring.

Nouvelle ligne insérée dans la table source Azure SQL

Ajout d’une deuxième ligne dans la table source Azure SQL pour valider la réplication continue.

Lignes Azure SQL répliquées visibles dans Microsoft Fabric

La nouvelle ligne Azure SQL apparaît dans Fabric sans exécuter de pipeline de copie.


Que s’est-il passé exactement ?

L’architecture finale est simple :

  1. Application / API
  2. Lecture / écriture
    Azure SQL DatabaseSource de vérité opérationnelle
    • dbo.tenant
  3. Fabric Mirroring
    Fabric Mirrored DatabaseCopie synchronisée dans OneLake
    • NotebooksSpark
    • SQL Analytics Endpoint
Architecture finale

L’application doit continuer à considérer Azure SQL comme le système transactionnel.

Fabric doit traiter les données répliquées comme une représentation analytique, orientée lecture, des données opérationnelles.

Cette séparation est importante.

Ne faites pas de la copie répliquée le point d’écriture de la configuration des tenants de votre application vers Azure SQL.

Le flux doit rester :

  1. Application
  2. Azure SQL
  3. Mirroring
  4. Fabric
Le bon sens de circulation

et non :

  1. Application
  2. Réplique Fabric
  3. Azure SQL
Anti-pattern : écrire à travers la réplique

Dans quels cas ce modèle devient-il utile ?

Une petite table tenant ne semble peut-être pas très impressionnante, mais ce modèle devient particulièrement utile lorsqu’on combine des métadonnées opérationnelles avec de grands jeux de données analytiques.

Imaginez qu’Azure SQL contienne :

tenant
merchant
application_configuration
report_configuration
feature_flags

et que Fabric contienne :

sales
registrations
commissions
clickstream
reporting aggregates

Mirroring permet à vos traitements Fabric de référencer des tables opérationnelles relativement petites sans créer un pipeline d’ingestion distinct pour chacune.

Un notebook pourrait alors exécuter une requête de ce type :

Requête SQL: Dans quels cas ce modèle devient-il utile ?T-SQL (Azure SQL Database)
SELECT
    s.tenant_id,
    t.tenant_name,
    SUM(s.amount) AS total_sales
FROM analytics.sales s
JOIN demo_workspace.demo_mirror.dbo.tenant t
    ON s.tenant_id = t.tenant_id
GROUP BY
    s.tenant_id,
    t.tenant_name;
T-SQL (Azure SQL Database)10 lignesAffichage en lecture seule. Aucune connexion à une base de données.

C’est dans une architecture multi-tenant que ce modèle devient particulièrement intéressant.


Points à prendre en compte en production

Mirroring est puissant, mais avant de l’adopter largement en production, j’examinerais plusieurs aspects.

Éligibilité des tables

Toutes les fonctionnalités SQL Server et tous les types de données ne sont pas nécessairement éligibles à la réplication. Validez le schéma des tables que vous souhaitez répliquer.

Réseau

Ne considérez pas une règle de pare-feu temporaire utilisée pour une preuve de concept comme l’architecture définitive.

En production, évaluez le modèle de connectivité privée ou fondée sur un VNet adapté à votre environnement.

Authentification

Comprenez les conséquences de l’activation de l’authentification Microsoft Entra uniquement avant de l’appliquer à un serveur SQL existant.

Identité

Documentez l’identité managée attribuée par le système du serveur logique SQL et les stratégies de l’organisation qui la régissent.

Sélection des tables

Déterminez si vous souhaitez vraiment que les futures tables soient répliquées automatiquement.

Dans les déploiements de production soumis à une gouvernance, la sélection explicite des tables est souvent plus facile à contrôler.

Responsabilités de lecture et d’écriture

Définissez clairement les responsabilités :

Azure SQL = opérations, lecture et écriture
Base répliquée Fabric = lecture analytique

Latence de réplication

Considérez Mirroring comme une réplication quasi temps réel ; ne supposez pas que le comportement est synchrone avec les transactions entre Azure SQL et Fabric.


Liste de contrôle de déploiement

Voici la liste que je conserverais avec l’implémentation :

Azure SQL
[ ] Base source créée
[ ] Schémas des tables sources pris en charge
[ ] Administrateur Microsoft Entra configuré
[ ] Authentification Microsoft Entra uniquement examinée/configurée si nécessaire
[ ] Identité managée attribuée par le système activée
[ ] Identité principale requise configurée
[ ] Accès réseau depuis Fabric validé

Microsoft Fabric
[ ] Base de données Azure SQL répliquée créée
[ ] Connexion à la source correcte sélectionnée
[ ] Tables requises sélectionnées
[ ] Décision relative à "Automatically mirror future tables" documentée
[ ] État de réplication sain
[ ] Données initiales arrivées dans OneLake

Validation
[ ] Base répliquée ajoutée à un Fabric Notebook
[ ] Nom d’objet Spark en quatre parties vérifié
[ ] Instantané initial interrogé avec succès
[ ] Nouvelle insertion source répliquée avec succès
[ ] Réplication d’une mise à jour testée
[ ] Réplication d’une suppression testée

Conclusion

Ce que j’apprécie dans ce modèle, c’est qu’il nécessite très peu de code d’ingestion personnalisé.

Pour cette preuve de concept, le parcours final se résumait à ceci :

  1. 1Créer une table Azure SQL
  2. 2Configurer le réseau SQL et l’identité
  3. 3Créer la base Fabric répliquée
  4. 4Sélectionner la table
  5. 5Attendre la synchronisation initiale
  6. 6Ajouter la base répliquée au notebook
  7. 7Interroger avec Spark
  8. 8Modifier les données sources
  9. 9Les voir apparaître dans Fabric
Le workflow de bout en bout

Il n’y avait ni logique de watermark incrémentiel, ni activité de copie à planifier, ni processus CDC personnalisé à maintenir.

Dans une architecture où Azure SQL gère l’état opérationnel et Microsoft Fabric l’analytique, Fabric Mirroring offre une passerelle très simple entre les deux.

Vue complète du notebook Fabric affichant les résultats Azure SQL répliqués

Vue complète du notebook montrant la table répliquée interrogée avec Spark SQL et PySpark.

Étiquettes

  • Microsoft Fabric
  • Azure
  • Ingestion de données
  • Fabric Notebook
  • Spark SQL