Microsoft Fabric
Materialized Lake Views dans Microsoft Fabric : guide pratique
Découvrez les Materialized Lake Views dans Microsoft Fabric : persistance Delta, rafraîchissement selon les dépendances, architecture Medallion et compromis.
Dans cet article
Les Materialized Lake Views, ou MLV, permettent de définir des transformations Lakehouse réutilisables de façon déclarative avec Spark SQL. Fabric persiste leurs résultats sous forme de données Delta gérées et suit les dépendances nécessaires pour rafraîchir une lignée dans le bon ordre.
Une MLV n’est donc ni une vue classique qui réexécute sa requête pour chaque lecteur, ni seulement une table Delta dont vous devez construire le chargement et l’orchestration. Ce guide utilise un exemple bronze-silver-gold pour expliquer leur fonctionnement, le rafraîchissement et les cas où un notebook ou un pipeline reste préférable.
Qu’est-ce qu’une Materialized Lake View ?
Une vue SQL ou Spark classique stocke une définition de requête, mais pas son résultat. Une MLV stocke la définition et un résultat persistant dans le Lakehouse.
- Tables sources
- Requête de transformation
- Materialized Lake View
- Résultat Delta persistant
Les consommateurs interrogent le résultat matérialisé sans répéter toute la transformation. Fabric comprend aussi les dépendances entre tables sources et MLV. Cette approche complète le modèle plus large d’architecture Medallion.
Pourquoi est-ce important ?
Sans MLV, une transformation SQL récurrente devient souvent une chaîne de notebooks avec une orchestration séparée :
- Tables bronze
- Notebook A
- Tables silver
- Notebook B
- Tables gold
Avec les MLV, vous déclarez les relations et Fabric déduit l’ordre d’exécution :
- bronze.orders
- bronze.products
- silver.cleaned_orders
- gold.product_sales_summary
Prérequis et périmètre
Les MLV sont créées et administrées dans un Lakehouse Fabric avec les schémas activés, sur une capacité et un runtime compatibles. La fonctionnalité évoluant, vérifiez dans Microsoft Learn les prérequis actuels de runtime, région et capacité avant un déploiement en production.
L’exemple utilise deux tables sources, bronze.orders et bronze.products, puis un résultat silver nettoyé et une agrégation gold réutilisable.
Construire l’exemple
Créez et alimentez les tables sources avec votre processus d’ingestion habituel :
CREATE TABLE bronze.orders (
order_id BIGINT, product_id BIGINT, quantity INT,
unit_price DECIMAL(12,2), order_date DATE
);
CREATE TABLE bronze.products (
product_id BIGINT, product_name STRING, category STRING
);
INSERT INTO bronze.orders VALUES
(1, 101, 2, 25.00, DATE '2026-10-01'),
(2, 102, 1, 80.00, DATE '2026-10-01'),
(3, 101, 3, 25.00, DATE '2026-10-02'),
(4, 103, 0, 50.00, DATE '2026-10-02');
INSERT INTO bronze.products VALUES
(101, 'Keyboard', 'Accessories'),
(102, 'Monitor', 'Displays'),
(103, 'Mouse', 'Accessories');La MLV silver retire les quantités invalides et calcule un montant réutilisable :
CREATE MATERIALIZED LAKE VIEW silver.cleaned_orders AS
SELECT order_id, product_id, quantity, unit_price,
quantity * unit_price AS sales_amount, order_date
FROM bronze.orders
WHERE quantity > 0 AND unit_price > 0;La MLV gold joint la dimension produit et agrège les commandes nettoyées :
CREATE MATERIALIZED LAKE VIEW gold.product_sales_summary AS
SELECT p.product_id, p.product_name, p.category,
SUM(o.quantity) AS units_sold,
SUM(o.sales_amount) AS total_sales
FROM silver.cleaned_orders o
JOIN bronze.products p ON o.product_id = p.product_id
GROUP BY p.product_id, p.product_name, p.category;Fabric voit maintenant que le résultat gold dépend de silver.cleaned_orders et de bronze.products.
MLV, vue classique ou table Delta
| Capacité | Vue classique | Materialized Lake View | Table Delta |
|---|---|---|---|
| Stocke la définition | Oui | Oui | Non |
| Persiste le résultat | Non | Oui | Oui |
| Recalcule à chaque requête | Oui | Non | Non |
| Rafraîchissement géré par Fabric | Non | Oui | Non |
| Orchestration selon les dépendances | Non | Oui | Non |
| Usage principal | Logique légère réutilisable | Transformations déclaratives répétées | Traitements et écritures personnalisés |
Une table Delta fournit le stockage physique, mais votre code doit la créer, la mettre à jour et la superviser. Une MLV associe données persistées, logique déclarative et rafraîchissement géré.
Rafraîchissement, performance et qualité
Fabric évalue si les sources ont changé et si un rafraîchissement incrémental est possible. Il peut ignorer le travail inchangé, traiter les changements ou reconstruire complètement le résultat.
- La source a changé ?
- NonIgnorer
- Oui, incrémental possibleRafraîchissement incrémental
- Oui, sinonRafraîchissement complet
Le traitement incrémental dépend de Delta Change Data Feed sur les tables sources :
ALTER TABLE bronze.orders
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);Incrémental ne signifie pas automatiquement plus rapide. Une reconstruction peut coûter moins cher si la majorité des lignes change, et les résultats persistés consomment stockage et capacité. Mesurez ensemble durée du refresh, volume modifié, latence des requêtes et consommation.
Les MLV peuvent aussi exprimer des règles de qualité déclaratives :
CREATE MATERIALIZED LAKE VIEW silver.valid_orders (
CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
) AS
SELECT order_id, product_id, quantity, unit_price, order_date
FROM bronze.orders;Selon l’action choisie, les lignes invalides sont supprimées ou font échouer le refresh. La règle reste visible dans la définition plutôt que cachée dans un notebook.
Planification et monitoring
Fabric peut planifier une lignée en respectant les dépendances :
- 1Rafraîchir silver.cleaned_orders
- 2Attendre la réussite
- 3Rafraîchir gold.product_sales_summary
En production, examinez historique et statut, lineage, résultats de qualité, logs Spark, durée, capacité et comportement en cas d’échec. L’orchestration gérée réduit le plumbing, mais ne supprime pas l’observabilité.
Quand utiliser une MLV
Utilisez une MLV si la transformation est principalement en Spark SQL, si son résultat est réutilisé, si elle s’exécute régulièrement et si le refresh selon les dépendances apporte de la valeur. Les agrégations fréquentes, grandes jointures répétées, datasets de reporting et étapes Medallion déclaratives sont de bons candidats.
Préférez un notebook pour Python ou PySpark, les bibliothèques personnalisées, les API, le machine learning ou une logique procédurale. Préférez un pipeline lorsque le flux traverse plusieurs systèmes ou demande copie, branchements et activités hors du Lakehouse. Ces outils sont complémentaires ; le guide des patterns d’intégration de données aide à répartir leurs responsabilités.
Le comparatif Lakehouse ou Warehouse aide aussi à positionner les consommateurs et les charges d’écriture en aval.
Compromis de conception
Ne convertissez pas toutes les tables en MLV. Demandez-vous si la transformation produit un résultat persistant, réutilisable et rafraîchi régulièrement. Une préparation ponctuelle peut rester un notebook ou une table ; un workflow inter-systèmes peut être plus clair dans un pipeline.
Évitez aussi les chaînes de dépendances très longues sans frontières opérationnelles. Elles compliquent les fenêtres de refresh, la reprise sur erreur et la capacité. Gardez chaque MLV ciblée, nommez les couches de façon cohérente, testez les chemins complets et incrémentaux, et documentez le contrat de fraîcheur.
Le gain dépasse la seule vitesse de requête : Fabric peut gérer persistance, dépendances, stratégie de refresh, planification, lineage et monitoring d’une transformation Lakehouse déclarative. Il vaut donc la peine d’évaluer les MLV avant d’ajouter automatiquement un notebook et une étape d’orchestration.
Références
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.