Microsoft Fabric

Microsoft Fabric Lakehouse ou Warehouse : lequel choisir ?

Un guide de décision pratique pour choisir entre Lakehouse ou Warehouse dans Fabric : chemins d’écriture, accès Spark et T-SQL, point de terminaison d’analytique SQL, transactions, gouvernance et quand combiner les deux.

Par JaviPublié 12 min de lectureIntermédiaire

La question Lakehouse ou Warehouse revient dans presque tous les projets Microsoft Fabric, et elle prête à confusion pour une bonne raison : les deux items stockent leurs tables au format Delta Lake dans OneLake, et les deux peuvent être interrogés en T-SQL via le même moteur SQL. Si le format de stockage et le moteur de requête sont partagés, qu’est-ce qui diffère réellement ?

La réponse courte : qui écrit les données, et avec quel moteur. Un Lakehouse est écrit par Spark. Un Warehouse est écrit en T-SQL. Presque toutes les autres différences (transactions, maintenance, surfaces de sécurité, organisation du travail de l’équipe) découlent de ce seul fait. Ce guide explique les différences qui comptent en production et vous propose une matrice de décision à appliquer jeu de données par jeu de données.

Ce qu’est un Lakehouse Fabric

Un Lakehouse est un item Fabric destiné à l’ingénierie des données avec Apache Spark. Il comporte deux zones :

  • Files, pour n’importe quel fichier : CSV, JSON, Parquet, images, extractions brutes, dossiers de dépôt.
  • Tables, pour les tables Delta managées que Spark crée dans le dossier Tables.

Vous écrivez dans un Lakehouse avec Spark : notebooks, définitions de travaux Spark, ou pipelines et Dataflows qui y déposent des données. Spark vous offre Python, Scala, R et Spark SQL, tout l’écosystème Python et un contrôle fin de l’organisation des fichiers. Chaque table Delta dispose de ses propres garanties ACID, de l’application du schéma et du time travel. Les raccourcis OneLake permettent à un Lakehouse de référencer des données situées dans d’autres Lakehouses, dans des Warehouses ou dans un stockage externe sans les copier.

Le prix de cette flexibilité, c’est la responsabilité. Dans un Lakehouse, c’est vous qui êtes responsable de la santé des tables : taille des fichiers, OPTIMIZE, VACUUM, partitionnement ou clustering, et les problèmes de petits fichiers qu’engendrent les écritures fréquentes.

Ce qu’est un Warehouse Fabric

Un Warehouse est un item Fabric dédié à l’entreposage de données relationnel, développé principalement en T-SQL. Vous créez des schémas, des tables, des vues, des fonctions et des procédures stockées, et vous chargez et transformez les données avec INSERT, UPDATE, DELETE, MERGE, CREATE TABLE AS SELECT, COPY INTO, des pipelines ou des Dataflows.

Ses données sont elles aussi stockées sous forme de tables Delta dans OneLake. Le Warehouse publie des journaux Delta Lake pour ses tables, de sorte que d’autres moteurs, y compris Spark, peuvent les lire. Les écritures doivent passer par le moteur du Warehouse : T-SQL, les chemins d’ingestion mentionnés ci-dessus, ou le connecteur Spark pour Fabric Data Warehouse, qui écrit via le Warehouse et non directement dans ses fichiers.

Ce que le Warehouse apporte, c’est une expérience relationnelle managée :

  • Des transactions ACID multitables. BEGIN TRAN … COMMIT peut couvrir plusieurs tables, et le DDL pris en charge peut lui aussi s’exécuter dans une transaction.
  • Une santé des tables gérée par le service. Le compactage, les points de contrôle et le nettoyage des fichiers obsolètes sont pris en charge par le service. Il n’y a pas de planification d’OPTIMIZE à gérer.
  • Une surface T-SQL familière pour les développeurs SQL et les analystes, avec statistiques automatiques, colonnes d’identité, tables temporaires et MERGE.

Certaines habitudes de SQL Server ne se transposent pas. Les clés primaires, les clés uniques et les clés étrangères ne peuvent être déclarées qu’avec NOT ENFORCED : elles informent l’optimiseur et les outils de modélisation, mais le moteur ne rejette pas les doublons. ALTER TABLE ne prend en charge qu’un sous-ensemble d’opérations. Si votre modèle de chargement suppose que la base de données garantira l’unicité, vous devez la garantir dans le chargement lui-même.

Le point de terminaison d’analytique SQL n’est pas un Warehouse

Chaque Lakehouse dispose automatiquement d’un point de terminaison d’analytique SQL (SQL analytics endpoint). Il s’exécute sur le même moteur que le Warehouse et, depuis un éditeur de requêtes, il lui ressemble beaucoup : c’est là que commence la plupart des confusions.

Le point de terminaison est une surface T-SQL en lecture seule sur les tables Delta du Lakehouse :

  • Vous pouvez faire un SELECT sur n’importe quelle table Delta située sous Tables, y compris les tables exposées par des raccourcis.
  • Vous pouvez créer des vues, des fonctions table inline et des procédures stockées qui sont conservées dans le point de terminaison.
  • Vous pouvez appliquer la sécurité SQL : autorisations au niveau des objets, des colonnes et des lignes.
  • Vous ne pouvez pas faire d’INSERT, d’UPDATE ni de DELETE. Pour modifier les données, il faut repasser par Spark.

Trois détails comptent en pratique :

  1. Synchronisation des métadonnées. Lorsque Spark crée ou modifie une table, le point de terminaison détecte le changement et met à jour automatiquement ses métadonnées SQL. Le délai est généralement court, mais un pipeline qui écrit avec Spark puis lit immédiatement via le point de terminaison doit en tenir compte.
  2. Seule la zone Tables est exposée. Les fichiers Delta situés sous Files, ainsi que les tables Delta externes créées avec Spark en dehors de Tables, ne sont pas visibles par le point de terminaison. Utilisez plutôt des raccourcis dans Tables.
  3. La sécurité SQL ne s’applique qu’à l’accès SQL. Les autorisations définies sur le point de terminaison protègent les lectures effectuées via le point de terminaison. Elles ne s’appliquent pas lorsque les mêmes données sont lues via Spark ou OneLake. Ce sont toujours les rôles de l’espace de travail et la sécurité OneLake qui déterminent qui peut lire les fichiers.

Un Lakehouse et son point de terminaison vous offrent donc « Spark écrit, SQL lit ». Un Warehouse vous offre « SQL lit et écrit, avec des transactions ». Ils répondent à des problèmes différents.

Les chemins d’écriture déterminent l’essentiel de la conception

Quand je commence une conception, je me demande comment chaque jeu de données sera écrit, et non comment il sera interrogé. Dans Fabric, les lectures sont flexibles ; les écritures ne le sont pas.

Modèle d’écriture Emplacement naturel Pourquoi
Fichiers bruts provenant des sources, JSON semi-structuré, zones de dépôt Lakehouse Nécessite la zone Files et l’analyse avec Spark
Transformations volumineuses en Python ou PySpark, features de ML Lakehouse Spark est le moteur dont vous avez besoin
Upserts avec une logique Python complexe, données de changement issues de nombreuses sources Lakehouse MERGE Delta dans Spark, contrôle total de l’organisation des données
Chargements dimensionnels écrits par des développeurs SQL dans des procédures stockées Warehouse Procédures T-SQL, transactions, maintenance managée
Plusieurs tables qui doivent changer ensemble ou pas du tout Warehouse Transactions multitables
Tables de restitution gérées par les analystes, data marts organisés Warehouse T-SQL est le langage de l’équipe

Deux jeux de données d’une même plateforme peuvent se retrouver sur des lignes différentes de ce tableau. C’est normal, et c’est la raison pour laquelle les architectures mixtes sont courantes.

Lectures : Spark, T-SQL et Power BI

Comme les deux items reposent sur Delta dans OneLake, les lectures passent facilement d’un moteur à l’autre :

  • Spark lit nativement les tables du Lakehouse et peut lire les tables du Warehouse via leurs journaux Delta publiés ou via le connecteur Spark.
  • T-SQL lit les tables du Lakehouse via le point de terminaison d’analytique SQL et les tables du Warehouse directement. Les requêtes inter-bases de données peuvent joindre un Warehouse et le point de terminaison d’un Lakehouse du même espace de travail sans copier de données.
  • Les modèles sémantiques Power BI peuvent utiliser Direct Lake sur l’un ou l’autre item, ou se connecter via le point de terminaison SQL.

Conséquence pratique : ne copiez pas une table dans un Warehouse uniquement pour que les analystes puissent l’interroger en T-SQL. Le point de terminaison le leur permet déjà, en lecture seule. Copiez-la lorsque le Warehouse sera responsable de la transformation suivante.

Charges de travail : ingénierie des données ou BI et reporting

Les charges de travail d’ingénierie des données ont tendance à relever d’un Lakehouse. Elles impliquent de nombreux formats d’entrée, des dérives de schéma, des transformations lourdes, de la déduplication et des retraitements répétés. Les ingénieurs veulent des notebooks, du Python versionné, des fonctions testables unitairement et le contrôle des fichiers et des partitions. L’architecture Medallion place généralement Bronze et Silver à cet endroit.

Les charges de travail de BI et de reporting relèvent souvent d’un Warehouse. Elles sont relationnelles, modélisées en faits et dimensions, maintenues par des personnes à l’aise avec T-SQL, et consommées par des rapports qui ont besoin de tables stables et gouvernées. Les procédures stockées, les vues et les autorisations SQL conviennent à ce travail. Une couche Gold modélisée en schéma en étoile est un usage courant du Warehouse.

Cette répartition est une tendance, pas une règle. Une petite équipe d’ingénieurs Spark peut parfaitement alimenter des rapports à partir d’un Lakehouse via son point de terminaison d’analytique SQL. Une équipe SQL peut exécuter toutes ses transformations dans un Warehouse si les sources sont déjà tabulaires.

Schéma, gouvernance et sécurité

Les deux items appliquent un schéma à leurs tables, mais le font évoluer différemment :

  • Dans un Lakehouse, les modifications de schéma se font dans Spark. L’évolution de schéma Delta peut ajouter des colonnes lors d’une écriture, ce qui est pratique mais aussi un moyen de laisser les dérives des sources atteindre silencieusement les consommateurs en aval. Décidez explicitement quelles écritures ont le droit de faire évoluer un schéma.
  • Dans un Warehouse, les modifications de schéma sont du DDL T-SQL. Elles sont explicites, révisables et peuvent être développées comme un projet de base de données dans Git, ce qui convient aux environnements soumis à un contrôle des changements.

Pour la sécurité, pensez à tous les chemins d’accès aux données. Un Warehouse est principalement accessible en T-SQL, si bien que les autorisations SQL couvrent la plupart des lectures. Un Lakehouse est accessible via Spark, OneLake et le point de terminaison ; les autorisations SQL sur le seul point de terminaison ne le protègent pas. Si des règles au niveau des lignes ou des colonnes sont obligatoires, servez ces données via un Warehouse ou un chemin exclusivement SQL, ou utilisez la sécurité OneLake pour que les règles s’appliquent au-delà de SQL.

Considérations de performance

Aucun des deux items n’est « plus rapide ». Chacun vous rend responsable d’un travail de performance différent.

Les performances d’un Lakehouse dépendent de l’organisation des tables. De nombreux petits fichiers ralentissent tous les lecteurs, y compris le point de terminaison d’analytique SQL et Direct Lake. Planifiez le compactage avec OPTIMIZE, supprimez les anciens fichiers avec VACUUM, choisissez délibérément le clustering ou le partitionnement, et écrivez par lots de taille raisonnable. La vitesse des notebooks est un sujet à part entière, traité dans Comment accélérer les notebooks Microsoft Fabric, et les tables soumises à de nombreux upserts nécessitent les modèles décrits dans Performance de MERGE dans Delta Lake : modèles pour les grandes tables.

Les performances d’un Warehouse dépendent davantage de la conception SQL : statistiques, types de données appropriés, éviter les colonnes de chaînes très larges, regrouper le DML en lots plutôt que d’insérer ligne par ligne au compte-gouttes, et garder des transactions courtes. Le service gère le compactage, mais il ne peut pas corriger une conception qui met à jour une ligne à la fois des milliers de fois par heure.

Les lectures via le point de terminaison héritent de l’organisation du Lakehouse. Une requête lente via le point de terminaison d’analytique SQL est souvent un problème d’organisation des fichiers côté Spark, et non un problème SQL.

Quand combiner les deux

De nombreuses plateformes en production utilisent les deux items, chacun avec un rôle clair :

  1. Le Lakehouse pour le dépôt et l’ingénierie. Les fichiers bruts arrivent dans Files. Des notebooks Spark les analysent, les valident, les dédupliquent et les conforment en tables Delta.
  2. Le Warehouse pour la restitution. Un Warehouse lit les tables conformées du Lakehouse via des requêtes inter-bases de données et construit des modèles dimensionnels en T-SQL, gérés par l’équipe BI ou analytique.
  3. Power BI sur la couche de restitution, avec Direct Lake ou des connexions SQL.

La frontière entre les deux est un contrat : l’équipe Lakehouse garantit des tables conformées avec un schéma documenté ; l’équipe Warehouse est responsable du modèle construit par-dessus. Les raccourcis et les requêtes inter-bases de données permettent au Warehouse de lire les tables du Lakehouse sans étape de copie, de sorte que la frontière n’a pas à coûter un déplacement complet des données. L’organisation plus large des espaces de travail et des items est traitée dans Concevoir une architecture Microsoft Fabric évolutive.

Un modèle similaire s’applique aux bases de données opérationnelles : répliquer Azure SQL dans Fabric avec le mirroring vous donne une copie en lecture seule, répliquée en continu, avec son propre point de terminaison d’analytique SQL, qu’un Lakehouse ou un Warehouse peut ensuite utiliser comme source.

Anti-patterns

  • Traiter le point de terminaison d’analytique SQL comme un Warehouse. Des équipes créent des procédures stockées dans le point de terminaison en s’attendant à écrire des données, puis découvrent qu’il est en lecture seule.
  • Copier toutes les tables du Lakehouse dans un Warehouse « pour que les utilisateurs SQL puissent les voir ». Le point de terminaison et les requêtes inter-bases de données donnent déjà un accès en lecture.
  • Conserver la même table dans les deux items avec deux pipelines qui l’écrivent. Cela double le coût et garantit que les copies divergeront.
  • Compter sur les clés primaires déclarées pour garantir l’unicité dans un Warehouse. Elles sont NOT ENFORCED ; les doublons sont acceptés.
  • Négliger la maintenance du Lakehouse, puis accuser le moteur SQL de la lenteur des requêtes du point de terminaison sur des milliers de petits fichiers.
  • Choisir par plateforme plutôt que par jeu de données. « Nous sommes une équipe Lakehouse » oblige les développeurs SQL à passer aux notebooks, et l’inverse oblige les ingénieurs Spark à écrire des procédures stockées.
  • Supposer que les autorisations du point de terminaison protègent les fichiers. Elles ne couvrent pas l’accès via Spark ou OneLake.

Matrice de décision

Répondez à ces questions pour un jeu de données ou une couche à la fois.

Question Si oui, privilégiez Remarques
Spark est-il nécessaire pour écrire ou transformer les données ? Lakehouse Bibliothèques Python, ML, analyse complexe
T-SQL est-il l’interface principale pour les écrire ? Warehouse Procédures stockées, développeurs SQL
Plusieurs tables doivent-elles changer dans une même transaction ? Warehouse Transactions ACID multitables
Les analystes sont-ils les principaux consommateurs, avec des requêtes SQL ? L’un ou l’autre Point de terminaison du Lakehouse pour les lectures ; Warehouse s’ils sont aussi responsables des écritures
L’équipe travaille-t-elle avec des fichiers bruts ou des données semi-structurées ? Lakehouse Zone Files et lecteurs Spark
La modélisation dimensionnelle est-elle au cœur de la couche ? Warehouse Faits, dimensions, tables de restitution gouvernées
Voulez-vous que le service gère le compactage ? Warehouse La maintenance du Lakehouse vous incombe
Avez-vous besoin d’un contrôle fin de l’organisation des fichiers, du partitionnement ou du clustering ? Lakehouse Spark offre ce contrôle
Les différentes couches ont-elles des responsables et des langages différents ? Les deux Lakehouse pour l’ingénierie, Warehouse pour la restitution

Si vos réponses se répartissent entre les colonnes, vous êtes probablement face à une architecture mixte, et c’est très bien ainsi. Le Lakehouse vs Warehouse decision guide imprimable condense ces questions en une checklist d’une page.

Checklist de production

Avant de vous engager sur un choix pour un jeu de données :

  • Testez avec un volume représentatif et des modèles de requêtes réels ; les petits échantillons induisent en erreur dans les deux sens.
  • Notez le responsable de chaque table et le langage qu’il utilisera pour la modifier.
  • Décidez qui est responsable de la maintenance des tables du Lakehouse et à quelle fréquence elle s’exécute.
  • Associez chaque chemin de lecture (Spark, T-SQL, OneLake, Power BI) au contrôle de sécurité qui le protège.
  • Vérifiez comment les modifications de schéma seront révisées et déployées, et que l’item prend en charge votre approche de déploiement.

Recommandation

Choisissez en fonction du chemin d’écriture et de la responsabilité, et non de vos préférences de requêtage. Utilisez un Lakehouse là où des ingénieurs Spark écrivent et remodèlent les données, en particulier les entrées brutes et semi-structurées. Utilisez un Warehouse là où des développeurs SQL sont responsables de modèles relationnels, ont besoin de transactions multitables et préfèrent une maintenance managée. Utilisez le point de terminaison d’analytique SQL du Lakehouse pour un accès T-SQL en lecture seule aux tables écrites par Spark, mais jamais comme substitut à un Warehouse.

En cas de doute, commencez par l’option la plus simple que votre équipe sait bien exploiter, maintenez un contrat clair entre les couches, et ajoutez l’autre item lorsqu’un besoin réel (transactions, traitement Spark, responsable différent) apparaît.

Étiquettes

  • Microsoft Fabric
  • Fabric Lakehouse
  • Fabric Warehouse
  • SQL Endpoint
  • Architecture de données