Microsoft Fabric

Materialized Lake Views en Microsoft Fabric: guía práctica

Aprende cómo funcionan las Materialized Lake Views en Microsoft Fabric: persistencia Delta, refresh según dependencias, diseño medallion y decisiones prácticas.

Por JaviPublicado 5 min de lecturaIntermedio

Las Materialized Lake Views, o MLV, permiten definir transformaciones reutilizables de Lakehouse de forma declarativa con Spark SQL. Fabric persiste sus resultados como datos Delta administrados y registra las dependencias necesarias para actualizar un linaje en el orden correcto.

Por tanto, una MLV no es una vista normal que repite su consulta para cada lector ni solo una tabla Delta cuyo proceso de carga y orquestación debes construir. Esta guía usa un ejemplo bronze-silver-gold para explicar cómo funcionan, cómo se actualizan y cuándo sigue siendo mejor un notebook o un pipeline.

¿Qué es una Materialized Lake View?

Una vista SQL o Spark normal almacena una definición de consulta, pero no su resultado. Una MLV almacena la definición y un resultado persistido en el Lakehouse.

  1. Tablas de origen
  2. Consulta de transformación
  3. Materialized Lake View
  4. Resultado Delta persistido
Una Materialized Lake View persiste el resultado de una transformación

Los consumidores consultan el resultado materializado sin repetir toda la transformación. Fabric también entiende las dependencias entre tablas de origen y MLV. Este enfoque complementa el patrón general de arquitectura medallion.

¿Por qué es importante?

Sin MLV, una transformación SQL recurrente suele convertirse en una cadena de notebooks con orquestación separada:

  1. Tablas bronze
  2. Notebook A
  3. Tablas silver
  4. Notebook B
  5. Tablas gold
Un flujo medallion orquestado con notebooks

Con las MLV declaras las relaciones y Fabric deduce el orden de ejecución:

    • bronze.orders
    • bronze.products
  1. silver.cleaned_orders
  2. gold.product_sales_summary
Fabric deduce las dependencias entre tablas de origen y Materialized Lake Views

Requisitos y alcance

Las MLV se crean y administran en un Lakehouse de Fabric con schemas habilitados, sobre una capacidad y un runtime compatibles. Como la funcionalidad evoluciona, confirma en Microsoft Learn los requisitos actuales de runtime, región y capacidad antes de adoptarla en producción.

El ejemplo usa dos tablas de origen, bronze.orders y bronze.products, seguidas por un resultado silver limpio y una agregación gold reutilizable.

Construir el ejemplo

Crea y carga las tablas de origen con tu proceso normal de ingesta:

Consulta SQL: Construir el ejemploSpark SQL
CREATE TABLE bronze.orders (
    order_id BIGINT, product_id BIGINT, quantity INT,
    unit_price DECIMAL(12,2), order_date DATE
);

CREATE TABLE bronze.products (
    product_id BIGINT, product_name STRING, category STRING
);

INSERT INTO bronze.orders VALUES
(1, 101, 2, 25.00, DATE '2026-10-01'),
(2, 102, 1, 80.00, DATE '2026-10-01'),
(3, 101, 3, 25.00, DATE '2026-10-02'),
(4, 103, 0, 50.00, DATE '2026-10-02');

INSERT INTO bronze.products VALUES
(101, 'Keyboard', 'Accessories'),
(102, 'Monitor', 'Displays'),
(103, 'Mouse', 'Accessories');
Spark SQL19 líneasVista de solo lectura. No está conectada a ninguna base de datos.

La MLV silver elimina cantidades no válidas y calcula un importe reutilizable:

Consulta SQL: Construir el ejemploSpark SQL
CREATE MATERIALIZED LAKE VIEW silver.cleaned_orders AS
SELECT order_id, product_id, quantity, unit_price,
       quantity * unit_price AS sales_amount, order_date
FROM bronze.orders
WHERE quantity > 0 AND unit_price > 0;
Spark SQL5 líneasVista de solo lectura. No está conectada a ninguna base de datos.

La MLV gold une la dimensión de productos y agrega los pedidos limpios:

Consulta SQL: Construir el ejemplo (2)Spark SQL
CREATE MATERIALIZED LAKE VIEW gold.product_sales_summary AS
SELECT p.product_id, p.product_name, p.category,
       SUM(o.quantity) AS units_sold,
       SUM(o.sales_amount) AS total_sales
FROM silver.cleaned_orders o
JOIN bronze.products p ON o.product_id = p.product_id
GROUP BY p.product_id, p.product_name, p.category;
Spark SQL7 líneasVista de solo lectura. No está conectada a ninguna base de datos.

Fabric ahora ve que el resultado gold depende de silver.cleaned_orders y bronze.products.

MLV, vista normal o tabla Delta

Capacidad Vista normal Materialized Lake View Tabla Delta
Almacena la definición Sí Sí No
Persiste el resultado No Sí Sí
Recalcula en cada consulta Sí No No
Refresh administrado por Fabric No Sí No
Orquestación según dependencias No Sí No
Uso principal Lógica ligera reutilizable Transformaciones declarativas repetidas Procesamiento y escrituras personalizados

Una tabla Delta proporciona almacenamiento físico, pero tu código debe crearla, actualizarla y monitorearla. Una MLV combina datos persistidos, lógica declarativa y refresh administrado.

Refresh, rendimiento y calidad

Fabric evalúa si cambiaron las fuentes y si es posible un refresh incremental. Puede omitir trabajo sin cambios, procesar cambios incrementalmente o reconstruir el resultado completo.

  1. ¿Cambió la fuente?
    • No
      Omitir
    • Sí, incremental posible
      Refresh incremental
    • Sí, de lo contrario
      Refresh completo
Fabric elige una estrategia según los cambios y la elegibilidad incremental

El procesamiento incremental depende de Delta Change Data Feed en las tablas de origen:

Consulta SQL: Refresh, rendimiento y calidadSpark SQL
ALTER TABLE bronze.orders
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
Spark SQL2 líneasVista de solo lectura. No está conectada a ninguna base de datos.

Incremental no significa automáticamente más rápido. Una reconstrucción completa puede ser más barata si cambia la mayoría de las filas, y los resultados persistidos consumen almacenamiento y capacidad. Mide juntos duración del refresh, volumen modificado, latencia de consultas y consumo.

Las MLV también pueden expresar reglas declarativas de calidad:

Consulta SQL: Refresh, rendimiento y calidad (2)Spark SQL
CREATE MATERIALIZED LAKE VIEW silver.valid_orders (
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
) AS
SELECT order_id, product_id, quantity, unit_price, order_date
FROM bronze.orders;
Spark SQL5 líneasVista de solo lectura. No está conectada a ninguna base de datos.

Según la acción elegida, las filas no válidas pueden descartarse o hacer fallar el refresh. La regla queda visible en la definición en lugar de ocultarse dentro de un notebook.

Programación y monitoreo

Fabric puede programar un linaje respetando sus dependencias:

  1. 1Actualizar silver.cleaned_orders
  2. 2Esperar al éxito
  3. 3Actualizar gold.product_sales_summary
Orden de refresh basado en dependencias

En producción, revisa historial y estado, lineage, resultados de calidad, logs de Spark, duración, capacidad y comportamiento ante fallos. La orquestación administrada reduce plumbing, pero no elimina la observabilidad.

Cuándo usar una MLV

Usa una MLV cuando la transformación sea principalmente Spark SQL, su resultado se reutilice, se ejecute periódicamente y el refresh según dependencias aporte valor. Agregaciones frecuentes, joins grandes repetidos, datasets de reporting y etapas medallion declarativas son buenos candidatos.

Usa un notebook para Python o PySpark, librerías personalizadas, API, machine learning o lógica procedural. Usa un Data Pipeline cuando el trabajo cruce sistemas o necesite control más amplio, copias, bifurcaciones o actividades fuera del Lakehouse. Son herramientas complementarias; la guía de patrones de integración de datos ayuda a separar responsabilidades.

La comparativa Lakehouse o Warehouse también ayuda a ubicar los consumidores y las cargas de escritura posteriores.

Decisiones de diseño

No conviertas todas las tablas en MLV. Pregunta si la transformación produce un resultado persistido y reutilizable que debe actualizarse repetidamente. Una preparación puntual puede ser más simple como notebook o tabla; un workflow entre sistemas puede quedar más claro en un pipeline.

Evita también cadenas de dependencias demasiado largas sin límites operativos. Complican las ventanas de refresh, la recuperación y el uso de capacidad. Mantén cada MLV enfocada, usa nombres coherentes para las capas, prueba las rutas completas e incrementales y documenta el contrato de frescura.

La ventaja va más allá de consultas rápidas: Fabric puede administrar persistencia, dependencias, estrategia de refresh, programación, lineage y monitoreo de una transformación Lakehouse declarativa. Por eso conviene evaluar las Materialized Lake Views antes de añadir automáticamente otro notebook y otro paso de orquestación.

Referencias

Etiquetas

  • Microsoft Fabric
  • Fabric Lakehouse
  • Spark SQL
  • Arquitectura medallion
  • Delta Lake
  • Rendimiento