Microsoft Fabric

ETL vs ELT vs CDC vs Streaming: patrones de integración de datos y cómo implementarlos en Microsoft Fabric

Compara ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring y shortcuts con implementaciones prácticas en Microsoft Fabric.

Por JaviPublicado 13 min de lecturaIntermedio

En este artículo

ETL y ELT suelen presentarse como arquitecturas rivales, pero las plataformas de datos modernas utilizan un panorama de patrones de integración mucho más amplio, además de patrones de data engineering reutilizables.

Una plataforma real puede usar:

  • ETL para flujos regulados o sensibles que deben limpiarse antes de aterrizar;
  • ELT para un Lakehouse o Warehouse donde los datos raw llegan primero y se transforman después;
  • ETLT cuando algunas transformaciones deben ocurrir antes de cargar y otras después;
  • CDC para mover solo los registros que han cambiado;
  • streaming para eventos que deben llegar continuamente;
  • reverse ETL para enviar resultados analíticos de vuelta a sistemas operacionales;
  • mirroring para replicar de forma continua datos operacionales hacia analytics;
  • shortcuts o zero-copy cuando lo mejor es no copiar los datos.

La pregunta importante no es “¿qué patrón es mejor?”

Es:

¿Qué patrón encaja con los requisitos de latencia, gobernanza, transformación, coste y operación de este flujo?

Microsoft Fabric permite combinar varios de estos enfoques dentro de la misma plataforma.

Comparación rápida

Patrón Dónde se transforma Uso típico Latencia
ETL Antes del destino Esquemas estrictos, landing gobernado, DW tradicional Batch
ELT Después de cargar Lakehouse/Warehouse, Medallion Batch / near-real-time
ETLT Antes y después Gobernanza + analytics posterior Batch
CDC Solo se mueven cambios Replicación de DB operacional Near-real-time
Streaming Eventos continuos Telemetría, clickstream, IoT, logs Segundos o menos
Reverse ETL De analytics hacia sistemas operativos CRM, marketing, activación Programado / near-real-time
Mirroring Replicación continua Analytics sobre DB operacional Near-real-time
Shortcut / zero-copy Se referencia el dato Datos compartidos/externos Depende de la fuente

No son excluyentes.

Una arquitectura puede usar varios a la vez.

ETL: Extract, Transform, Load

ETL significa:

  1. Source
  2. Extract
    Motor de transformaciónTransform antes de la carga
  3. Load
    DestinoWarehouse / Lakehouse / aplicación
ETL

La característica clave es que la transformación ocurre antes de que el destino final reciba los datos.

Cuándo usar ETL

ETL encaja cuando:

  • hay que eliminar columnas sensibles antes del landing;
  • el destino requiere un esquema estricto;
  • hay que normalizar fuertemente los datos;
  • la gobernanza exige una forma controlada;
  • un warehouse legacy espera datos ya preparados.

Ejemplo ETL en Microsoft Fabric

Fabric puede usar Dataflow Gen2 para conectarse a una fuente, transformar y publicar en Lakehouse o Warehouse.

  1. SQL / CSV / API
  2. Dataflow Gen2
    • filtrar
    • renombrar
    • convertir tipos
    • eliminar PII
  3. Lakehouse / Warehouse
ETL con Dataflow Gen2

Una pipeline puede orquestar el dataflow y las actividades posteriores.

Ejemplo

Un extracto de RRHH contiene:

employee_id
employee_name
salary
ssn
department

Si la plataforma analítica nunca debe almacenar el SSN, ETL permite eliminarlo antes de cargar.

ELT: Extract, Load, Transform

ELT invierte las dos últimas etapas:

  1. Source
  2. Extract + load de datos raw
    Lakehouse / Warehouse
  3. Transformar dentro de la plataforma
  4. Tablas curadas
ELT

Los datos raw o ligeramente preparados llegan primero.

Las transformaciones usan SQL, Spark u otros motores cercanos al almacenamiento.

Por qué ELT es tan común

Las plataformas cloud pueden almacenar mucho y ejecutar cómputo escalable cerca de los datos.

Esto permite conservar el raw y producir múltiples capas downstream.

ELT encaja naturalmente con Medallion:

  1. Source
  2. Bronze
  3. Silver
  4. Gold
ELT con capas Medallion

Microsoft recomienda Bronze, Silver y Gold como patrón común para Medallion en Fabric y OneLake.

Ejemplo ELT en Microsoft Fabric

  1. Source
  2. Fabric Pipeline / Copy activity
  3. Lakehouse Files/raw o Bronze Delta
  4. Notebook / Spark SQL / Dataflow Gen2
  5. Silver
  6. Notebook / SQL
  7. Gold
ELT en Microsoft Fabric

Ejemplo PySpark

from pyspark.sql import functions as F

bronze_orders = spark.table("bronze_orders")

silver_orders = (
    bronze_orders
    .dropDuplicates(["order_id"])
    .withColumn("country", F.upper(F.trim("country")))
    .withColumn("order_date", F.to_date("order_timestamp"))
)

(
    silver_orders.write
    .format("delta")
    .mode("overwrite")
    .saveAsTable("silver_orders")
)

La carga ya ocurrió.

La transformación se hace dentro de Fabric.

Eso es ELT.

ETLT: Extract, Transform, Load, Transform

ETLT es un híbrido útil.

Parte de la transformación ocurre antes del landing y el resto después.

  1. Source
  2. Transformación ligera
  3. Lakehouse
  4. Transformación de negocio
  5. Gold / serving
ETLT

Por qué usar ETLT

Porque “todo antes” y “todo después” pueden ser demasiado rígidos.

Puedes necesitar:

  • eliminar secretos o PII;
  • descifrar o decodificar payloads;
  • rechazar registros corruptos;
  • normalizar el formato de transporte;

y aun así hacer después:

  • Medallion;
  • joins de negocio;
  • enriquecimiento;
  • agregaciones;
  • modelado dimensional.

CDC: Change Data Capture

Un full load pregunta:

¿Qué contiene la fuente ahora?

CDC pregunta:

¿Qué cambió desde el último punto?

  1. DB operacional
  2. Cambios INSERT / UPDATE / DELETE
  3. CDC / replicación
  4. Copia analítica
Movimiento CDC

CDC vs watermark

Un watermark suele verse así:

Consulta SQL: CDC vs watermarkT-SQL
SELECT *
FROM orders
WHERE modified_at > @last_watermark;
T-SQL3 líneasVista de solo lectura. No está conectada a ninguna base de datos.

Eso puede capturar inserts y updates con un timestamp fiable.

Los deletes son más difíciles.

Un CDC real normalmente se apoya en mecanismos de cambio o transaction log.

Opciones Microsoft Fabric

Fabric puede participar mediante:

  • Mirroring para fuentes compatibles;
  • pipelines incrementales;
  • patrones CDC específicos;
  • notebooks con watermark cuando no existe CDC completo.

Fabric Mirroring puede replicar continuamente datos operacionales compatibles hacia OneLake.

Streaming: datos continuos

Batch espera a tener un conjunto.

Streaming procesa eventos a medida que llegan.

  1. Eventos
  2. Kafka / Event Hubs / fuente
  3. Procesamiento de stream
  4. Store en tiempo real / acciones / analytics
Streaming

Se usa para:

  • telemetría;
  • clickstream;
  • IoT;
  • fraude;
  • logs;
  • alertas;
  • eventos de cliente.

Implementación Microsoft Fabric

Fabric Real-Time Intelligence está diseñado para eventos, streaming y logs.

  1. Kafka / Event Hubs / eventos
  2. Eventstream
  3. Eventhouse
  4. KQL / Real-Time Dashboard
  5. Activator / Power BI / acción
Streaming en Microsoft Fabric

Eventstream ingiere y puede transformar eventos; Eventhouse almacena y consulta datos de streaming.

Reverse ETL: de analytics de vuelta a operaciones

ETL tradicional mueve datos hacia analytics.

Reverse ETL mueve resultados curados fuera.

  1. Lakehouse / Warehouse
  2. Segmentos de clientes Gold
  3. CRM / marketing / soporte / producto
Reverse ETL

Ejemplo

Una tabla Gold:

customer_id
lifetime_value
churn_risk
customer_segment

Puede enviar:

customer_segment = "High Value"

al CRM.

Implementación Fabric

Fabric puede ser la fuente analítica, y el envío puede hacerse con:

  • pipeline Fabric;
  • API;
  • Azure Functions;
  • Logic Apps;
  • código custom;
  • producto especializado de reverse ETL.

Mirroring: replicar en vez de mantener un copy pipeline

En vez de:

  1. Source DB
  2. Pipeline de copia
  3. Bronze
Un pipeline de copia

podemos tener:

  1. DB operacional
  2. replicación continua
    Datos mirrored en Fabric
Mirroring

Eso reduce lógica de ingestión.

Pero no elimina transformación:

  1. Datos operacionales mirrored
  2. Silver
  3. Gold
Transformación después del Mirroring

OneLake Shortcuts: a veces no hay que mover los datos

Un shortcut implementa otra idea:

Referenciar el dato donde ya está.

  1. Datos externos / compartidos
  2. referencia
    OneLake Shortcut
  3. Acceso Lakehouse / KQL
OneLake Shortcut

Puede reducir:

  • almacenamiento duplicado;
  • latencia de copia;
  • pipelines;
  • sincronización.

Pero zero-copy todavía requiere decisiones sobre seguridad, performance, ownership y cambios de esquema.

Batch vs CDC vs streaming

Batch

  1. Cada noche a las 2:00
  2. Procesar todo el día anterior
Batch

Incremental / CDC

  1. Cada pocos minutos
  2. Procesar solo cambios
Incremental / CDC

Streaming

  1. Cada evento
  2. Procesar continuamente
Streaming

No uses streaming solo porque suena más moderno.

Cómo mapear estos patrones a Microsoft Fabric

Necesidad Enfoque Fabric
Transformar antes de landing Dataflow Gen2 / transformación en pipeline
Cargar raw y transformar después Pipeline + Lakehouse + Notebook/Spark SQL
Medallion Lakehouse/Warehouse Bronze → Silver → Gold
Medallion declarativo Materialized lake views
Movimiento incremental DB Mirroring / patrones incrementales
Streaming Eventstream + Eventhouse / Real-Time Intelligence
Datos compartidos sin copia OneLake Shortcut
Analytics hacia sistema operacional Pipeline / API / integración Azure
Preparación low-code Dataflow Gen2
Transformaciones complejas Notebook / PySpark

Para elegir el destino, compara las diferencias entre Lakehouse y Warehouse en Fabric. La implementación Bronze, Silver y Gold se explica con más detalle en la guía de arquitectura Medallion.

Los mismos patrones en otras tecnologías

El patrón debe elegirse antes que el producto.

Azure Data Factory

ADF se usa habitualmente para orquestación, ETL/ELT batch, Copy activity y cargas incrementales.

Databricks

Databricks encaja especialmente bien con ELT y streaming cuando hay mucho Spark/Delta o transformaciones code-first.

Snowflake

Las arquitecturas Snowflake suelen ser ELT: cargar primero y transformar con SQL dentro del warehouse.

dbt

dbt es principalmente una herramienta de transformación y encaja muy bien con la “T” de ELT, pero no reemplaza la ingestión.

Kafka y Azure Event Hubs

Son backbones de eventos que encajan en arquitecturas streaming.

Fivetran y Airbyte

Esta categoría se centra en ingestión y replicación desde sistemas SaaS/operacionales hacia destinos analíticos.

Un escenario de negocio, varios patrones

Un retailer online tiene:

  • pedidos SQL;
  • clientes en CRM;
  • clickstream;
  • CSV de proveedores;
  • plataforma de marketing.

No hay razón para usar lo mismo en todo.

Pedidos

CDC o Mirroring.

CSV de proveedores

Batch ELT.

Eventos web

Streaming.

Customer master

ETL/ETLT si hay que filtrar PII.

Activación marketing

Reverse ETL.

El patrón se decide por flujo, no una vez por empresa.

Matriz de decisión

Requisito Candidato fuerte
Reporting nocturno ETL o ELT
Mantener raw para replay ELT
Eliminar datos sensibles antes de landing ETL / ETLT
Transformar con Spark/SQL en Lakehouse ELT
DB grande con cambios frecuentes CDC / Mirroring
Eventos en segundos Streaming
Enviar scores al CRM Reverse ETL
Datos ya accesibles en lake storage Shortcut / zero-copy
Transformación muy low-code Dataflow Gen2
Lógica compleja Notebook / PySpark
Bronze/Silver/Gold declarativo en Fabric Materialized lake views

Errores comunes

“ELT siempre es mejor que ETL”

No.

“CDC significa incremental load”

No necesariamente.

“Streaming es batch muy frecuente”

No exactamente.

“Mirroring elimina la transformación”

No.

“Shortcut significa que no hay arquitectura”

Tampoco.

Una arquitectura Fabric realista

  1. Fuentes
    • Azure SQL
    • CSV de proveedor
    • Eventos web
  2. Aterrizaje
    • MirroringDatos operacionales mirrored
    • PipelineBronze Lakehouse
    • EventstreamEventhouse
  3. Curado
    • Silver Lakehouse
    • Gold Warehouse
  4. Consumo
    • Power BI
    • Reverse ETLCRM
Una arquitectura Fabric realista. Cada fuente llega con su propio patrón. Los datos mirrored y Bronze alimentan Silver; Eventhouse sirve directamente las consultas en tiempo real.

Cómo elegir el patrón correcto

  1. ¿Qué latencia necesita el negocio?
  2. ¿Hay que conservar raw?
  3. ¿Puede aterrizar información sensible?
  4. ¿Qué tamaño tiene la fuente?
  5. ¿Hay que capturar deletes?
  6. ¿Los datos ya existen en storage accesible?
  7. ¿Dónde está el mejor compute?
  8. ¿Quién operará la solución?

Conclusión

ETL y ELT son fundamentales, pero no describen toda la integración moderna.

La caja de herramientas actual incluye:

ETL
ELT
ETLT
CDC
Streaming
Reverse ETL
Mirroring
Shortcuts / zero-copy

Microsoft Fabric puede implementar o participar en estos patrones mediante Data Factory pipelines, Dataflow Gen2, Lakehouse, Warehouse, notebooks, Mirroring, Real-Time Intelligence, Eventstream, Eventhouse y OneLake shortcuts.

La regla principal:

Elige el patrón de integración por flujo de datos según latencia, gobernanza, transformación y operación.

No elijas primero la tecnología para después forzar todas las fuentes al mismo patrón.

Referencias oficiales

Etiquetas

  • Microsoft Fabric
  • Ingesta de datos
  • Pipelines de datos
  • Cargas incrementales
  • Arquitectura de datos
  • Patrones de diseño