Microsoft Fabric

Materialized Lake Views dans Microsoft Fabric : guide pratique

Découvrez les Materialized Lake Views dans Microsoft Fabric : persistance Delta, rafraîchissement selon les dépendances, architecture Medallion et compromis.

Par JaviPublié 5 min de lectureIntermédiaire

Les Materialized Lake Views, ou MLV, permettent de définir des transformations Lakehouse réutilisables de façon déclarative avec Spark SQL. Fabric persiste leurs résultats sous forme de données Delta gérées et suit les dépendances nécessaires pour rafraîchir une lignée dans le bon ordre.

Une MLV n’est donc ni une vue classique qui réexécute sa requête pour chaque lecteur, ni seulement une table Delta dont vous devez construire le chargement et l’orchestration. Ce guide utilise un exemple bronze-silver-gold pour expliquer leur fonctionnement, le rafraîchissement et les cas où un notebook ou un pipeline reste préférable.

Qu’est-ce qu’une Materialized Lake View ?

Une vue SQL ou Spark classique stocke une définition de requête, mais pas son résultat. Une MLV stocke la définition et un résultat persistant dans le Lakehouse.

  1. Tables sources
  2. Requête de transformation
  3. Materialized Lake View
  4. Résultat Delta persistant
Une Materialized Lake View persiste le résultat d’une transformation

Les consommateurs interrogent le résultat matérialisé sans répéter toute la transformation. Fabric comprend aussi les dépendances entre tables sources et MLV. Cette approche complète le modèle plus large d’architecture Medallion.

Pourquoi est-ce important ?

Sans MLV, une transformation SQL récurrente devient souvent une chaîne de notebooks avec une orchestration séparée :

  1. Tables bronze
  2. Notebook A
  3. Tables silver
  4. Notebook B
  5. Tables gold
Un flux Medallion orchestré par des notebooks

Avec les MLV, vous déclarez les relations et Fabric déduit l’ordre d’exécution :

    • bronze.orders
    • bronze.products
  1. silver.cleaned_orders
  2. gold.product_sales_summary
Fabric déduit les dépendances entre tables sources et Materialized Lake Views

Prérequis et périmètre

Les MLV sont créées et administrées dans un Lakehouse Fabric avec les schémas activés, sur une capacité et un runtime compatibles. La fonctionnalité évoluant, vérifiez dans Microsoft Learn les prérequis actuels de runtime, région et capacité avant un déploiement en production.

L’exemple utilise deux tables sources, bronze.orders et bronze.products, puis un résultat silver nettoyé et une agrégation gold réutilisable.

Construire l’exemple

Créez et alimentez les tables sources avec votre processus d’ingestion habituel :

Requête SQL: Construire l’exempleSpark SQL
CREATE TABLE bronze.orders (
    order_id BIGINT, product_id BIGINT, quantity INT,
    unit_price DECIMAL(12,2), order_date DATE
);

CREATE TABLE bronze.products (
    product_id BIGINT, product_name STRING, category STRING
);

INSERT INTO bronze.orders VALUES
(1, 101, 2, 25.00, DATE '2026-10-01'),
(2, 102, 1, 80.00, DATE '2026-10-01'),
(3, 101, 3, 25.00, DATE '2026-10-02'),
(4, 103, 0, 50.00, DATE '2026-10-02');

INSERT INTO bronze.products VALUES
(101, 'Keyboard', 'Accessories'),
(102, 'Monitor', 'Displays'),
(103, 'Mouse', 'Accessories');
Spark SQL19 lignesAffichage en lecture seule. Aucune connexion à une base de données.

La MLV silver retire les quantités invalides et calcule un montant réutilisable :

Requête SQL: Construire l’exempleSpark SQL
CREATE MATERIALIZED LAKE VIEW silver.cleaned_orders AS
SELECT order_id, product_id, quantity, unit_price,
       quantity * unit_price AS sales_amount, order_date
FROM bronze.orders
WHERE quantity > 0 AND unit_price > 0;
Spark SQL5 lignesAffichage en lecture seule. Aucune connexion à une base de données.

La MLV gold joint la dimension produit et agrège les commandes nettoyées :

Requête SQL: Construire l’exemple (2)Spark SQL
CREATE MATERIALIZED LAKE VIEW gold.product_sales_summary AS
SELECT p.product_id, p.product_name, p.category,
       SUM(o.quantity) AS units_sold,
       SUM(o.sales_amount) AS total_sales
FROM silver.cleaned_orders o
JOIN bronze.products p ON o.product_id = p.product_id
GROUP BY p.product_id, p.product_name, p.category;
Spark SQL7 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Fabric voit maintenant que le résultat gold dépend de silver.cleaned_orders et de bronze.products.

MLV, vue classique ou table Delta

Capacité Vue classique Materialized Lake View Table Delta
Stocke la définition Oui Oui Non
Persiste le résultat Non Oui Oui
Recalcule à chaque requête Oui Non Non
Rafraîchissement géré par Fabric Non Oui Non
Orchestration selon les dépendances Non Oui Non
Usage principal Logique légère réutilisable Transformations déclaratives répétées Traitements et écritures personnalisés

Une table Delta fournit le stockage physique, mais votre code doit la créer, la mettre à jour et la superviser. Une MLV associe données persistées, logique déclarative et rafraîchissement géré.

Rafraîchissement, performance et qualité

Fabric évalue si les sources ont changé et si un rafraîchissement incrémental est possible. Il peut ignorer le travail inchangé, traiter les changements ou reconstruire complètement le résultat.

  1. La source a changé ?
    • Non
      Ignorer
    • Oui, incrémental possible
      Rafraîchissement incrémental
    • Oui, sinon
      Rafraîchissement complet
Fabric choisit la stratégie de rafraîchissement appropriée

Le traitement incrémental dépend de Delta Change Data Feed sur les tables sources :

Requête SQL: Rafraîchissement, performance et qualitéSpark SQL
ALTER TABLE bronze.orders
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
Spark SQL2 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Incrémental ne signifie pas automatiquement plus rapide. Une reconstruction peut coûter moins cher si la majorité des lignes change, et les résultats persistés consomment stockage et capacité. Mesurez ensemble durée du refresh, volume modifié, latence des requêtes et consommation.

Les MLV peuvent aussi exprimer des règles de qualité déclaratives :

Requête SQL: Rafraîchissement, performance et qualité (2)Spark SQL
CREATE MATERIALIZED LAKE VIEW silver.valid_orders (
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
) AS
SELECT order_id, product_id, quantity, unit_price, order_date
FROM bronze.orders;
Spark SQL5 lignesAffichage en lecture seule. Aucune connexion à une base de données.

Selon l’action choisie, les lignes invalides sont supprimées ou font échouer le refresh. La règle reste visible dans la définition plutôt que cachée dans un notebook.

Planification et monitoring

Fabric peut planifier une lignée en respectant les dépendances :

  1. 1Rafraîchir silver.cleaned_orders
  2. 2Attendre la réussite
  3. 3Rafraîchir gold.product_sales_summary
Ordre de rafraîchissement selon les dépendances

En production, examinez historique et statut, lineage, résultats de qualité, logs Spark, durée, capacité et comportement en cas d’échec. L’orchestration gérée réduit le plumbing, mais ne supprime pas l’observabilité.

Quand utiliser une MLV

Utilisez une MLV si la transformation est principalement en Spark SQL, si son résultat est réutilisé, si elle s’exécute régulièrement et si le refresh selon les dépendances apporte de la valeur. Les agrégations fréquentes, grandes jointures répétées, datasets de reporting et étapes Medallion déclaratives sont de bons candidats.

Préférez un notebook pour Python ou PySpark, les bibliothèques personnalisées, les API, le machine learning ou une logique procédurale. Préférez un pipeline lorsque le flux traverse plusieurs systèmes ou demande copie, branchements et activités hors du Lakehouse. Ces outils sont complémentaires ; le guide des patterns d’intégration de données aide à répartir leurs responsabilités.

Le comparatif Lakehouse ou Warehouse aide aussi à positionner les consommateurs et les charges d’écriture en aval.

Compromis de conception

Ne convertissez pas toutes les tables en MLV. Demandez-vous si la transformation produit un résultat persistant, réutilisable et rafraîchi régulièrement. Une préparation ponctuelle peut rester un notebook ou une table ; un workflow inter-systèmes peut être plus clair dans un pipeline.

Évitez aussi les chaînes de dépendances très longues sans frontières opérationnelles. Elles compliquent les fenêtres de refresh, la reprise sur erreur et la capacité. Gardez chaque MLV ciblée, nommez les couches de façon cohérente, testez les chemins complets et incrémentaux, et documentez le contrat de fraîcheur.

Le gain dépasse la seule vitesse de requête : Fabric peut gérer persistance, dépendances, stratégie de refresh, planification, lineage et monitoring d’une transformation Lakehouse déclarative. Il vaut donc la peine d’évaluer les MLV avant d’ajouter automatiquement un notebook et une étape d’orchestration.

Références

Étiquettes

  • Microsoft Fabric
  • Fabric Lakehouse
  • Spark SQL
  • Architecture médaillon
  • Delta Lake
  • Performance