Microsoft Fabric
ETL vs ELT vs CDC vs Streaming: patrones de integración de datos y cómo implementarlos en Microsoft Fabric
Compara ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring y shortcuts con implementaciones prácticas en Microsoft Fabric.
En este artículo
ETL y ELT suelen presentarse como arquitecturas rivales, pero las plataformas de datos modernas utilizan un panorama de patrones de integración mucho más amplio, además de patrones de data engineering reutilizables.
Una plataforma real puede usar:
- ETL para flujos regulados o sensibles que deben limpiarse antes de aterrizar;
- ELT para un Lakehouse o Warehouse donde los datos raw llegan primero y se transforman después;
- ETLT cuando algunas transformaciones deben ocurrir antes de cargar y otras después;
- CDC para mover solo los registros que han cambiado;
- streaming para eventos que deben llegar continuamente;
- reverse ETL para enviar resultados analíticos de vuelta a sistemas operacionales;
- mirroring para replicar de forma continua datos operacionales hacia analytics;
- shortcuts o zero-copy cuando lo mejor es no copiar los datos.
La pregunta importante no es “¿qué patrón es mejor?”
Es:
¿Qué patrón encaja con los requisitos de latencia, gobernanza, transformación, coste y operación de este flujo?
Microsoft Fabric permite combinar varios de estos enfoques dentro de la misma plataforma.
Comparación rápida
| Patrón | Dónde se transforma | Uso típico | Latencia |
|---|---|---|---|
| ETL | Antes del destino | Esquemas estrictos, landing gobernado, DW tradicional | Batch |
| ELT | Después de cargar | Lakehouse/Warehouse, Medallion | Batch / near-real-time |
| ETLT | Antes y después | Gobernanza + analytics posterior | Batch |
| CDC | Solo se mueven cambios | Replicación de DB operacional | Near-real-time |
| Streaming | Eventos continuos | Telemetría, clickstream, IoT, logs | Segundos o menos |
| Reverse ETL | De analytics hacia sistemas operativos | CRM, marketing, activación | Programado / near-real-time |
| Mirroring | Replicación continua | Analytics sobre DB operacional | Near-real-time |
| Shortcut / zero-copy | Se referencia el dato | Datos compartidos/externos | Depende de la fuente |
No son excluyentes.
Una arquitectura puede usar varios a la vez.
ETL: Extract, Transform, Load
ETL significa:
- Source
- ExtractMotor de transformaciónTransform antes de la carga
- LoadDestinoWarehouse / Lakehouse / aplicación
La característica clave es que la transformación ocurre antes de que el destino final reciba los datos.
Cuándo usar ETL
ETL encaja cuando:
- hay que eliminar columnas sensibles antes del landing;
- el destino requiere un esquema estricto;
- hay que normalizar fuertemente los datos;
- la gobernanza exige una forma controlada;
- un warehouse legacy espera datos ya preparados.
Ejemplo ETL en Microsoft Fabric
Fabric puede usar Dataflow Gen2 para conectarse a una fuente, transformar y publicar en Lakehouse o Warehouse.
- SQL / CSV / API
- Dataflow Gen2
- filtrar
- renombrar
- convertir tipos
- eliminar PII
- Lakehouse / Warehouse
Una pipeline puede orquestar el dataflow y las actividades posteriores.
Ejemplo
Un extracto de RRHH contiene:
employee_id
employee_name
salary
ssn
department
Si la plataforma analítica nunca debe almacenar el SSN, ETL permite eliminarlo antes de cargar.
ELT: Extract, Load, Transform
ELT invierte las dos últimas etapas:
- Source
- Extract + load de datos rawLakehouse / Warehouse
- Transformar dentro de la plataforma
- Tablas curadas
Los datos raw o ligeramente preparados llegan primero.
Las transformaciones usan SQL, Spark u otros motores cercanos al almacenamiento.
Por qué ELT es tan común
Las plataformas cloud pueden almacenar mucho y ejecutar cómputo escalable cerca de los datos.
Esto permite conservar el raw y producir múltiples capas downstream.
ELT encaja naturalmente con Medallion:
- Source
- Bronze
- Silver
- Gold
Microsoft recomienda Bronze, Silver y Gold como patrón común para Medallion en Fabric y OneLake.
Ejemplo ELT en Microsoft Fabric
- Source
- Fabric Pipeline / Copy activity
- Lakehouse Files/raw o Bronze Delta
- Notebook / Spark SQL / Dataflow Gen2
- Silver
- Notebook / SQL
- Gold
Ejemplo PySpark
from pyspark.sql import functions as F
bronze_orders = spark.table("bronze_orders")
silver_orders = (
bronze_orders
.dropDuplicates(["order_id"])
.withColumn("country", F.upper(F.trim("country")))
.withColumn("order_date", F.to_date("order_timestamp"))
)
(
silver_orders.write
.format("delta")
.mode("overwrite")
.saveAsTable("silver_orders")
)
La carga ya ocurrió.
La transformación se hace dentro de Fabric.
Eso es ELT.
ETLT: Extract, Transform, Load, Transform
ETLT es un híbrido útil.
Parte de la transformación ocurre antes del landing y el resto después.
- Source
- Transformación ligera
- Lakehouse
- Transformación de negocio
- Gold / serving
Por qué usar ETLT
Porque “todo antes” y “todo después” pueden ser demasiado rígidos.
Puedes necesitar:
- eliminar secretos o PII;
- descifrar o decodificar payloads;
- rechazar registros corruptos;
- normalizar el formato de transporte;
y aun así hacer después:
- Medallion;
- joins de negocio;
- enriquecimiento;
- agregaciones;
- modelado dimensional.
CDC: Change Data Capture
Un full load pregunta:
¿Qué contiene la fuente ahora?
CDC pregunta:
¿Qué cambió desde el último punto?
- DB operacional
- Cambios INSERT / UPDATE / DELETE
- CDC / replicación
- Copia analítica
CDC vs watermark
Un watermark suele verse así:
SELECT *
FROM orders
WHERE modified_at > @last_watermark;Eso puede capturar inserts y updates con un timestamp fiable.
Los deletes son más difíciles.
Un CDC real normalmente se apoya en mecanismos de cambio o transaction log.
Opciones Microsoft Fabric
Fabric puede participar mediante:
- Mirroring para fuentes compatibles;
- pipelines incrementales;
- patrones CDC específicos;
- notebooks con watermark cuando no existe CDC completo.
Fabric Mirroring puede replicar continuamente datos operacionales compatibles hacia OneLake.
Streaming: datos continuos
Batch espera a tener un conjunto.
Streaming procesa eventos a medida que llegan.
- Eventos
- Kafka / Event Hubs / fuente
- Procesamiento de stream
- Store en tiempo real / acciones / analytics
Se usa para:
- telemetría;
- clickstream;
- IoT;
- fraude;
- logs;
- alertas;
- eventos de cliente.
Implementación Microsoft Fabric
Fabric Real-Time Intelligence está diseñado para eventos, streaming y logs.
- Kafka / Event Hubs / eventos
- Eventstream
- Eventhouse
- KQL / Real-Time Dashboard
- Activator / Power BI / acción
Eventstream ingiere y puede transformar eventos; Eventhouse almacena y consulta datos de streaming.
Reverse ETL: de analytics de vuelta a operaciones
ETL tradicional mueve datos hacia analytics.
Reverse ETL mueve resultados curados fuera.
- Lakehouse / Warehouse
- Segmentos de clientes Gold
- CRM / marketing / soporte / producto
Ejemplo
Una tabla Gold:
customer_id
lifetime_value
churn_risk
customer_segment
Puede enviar:
customer_segment = "High Value"
al CRM.
Implementación Fabric
Fabric puede ser la fuente analítica, y el envío puede hacerse con:
- pipeline Fabric;
- API;
- Azure Functions;
- Logic Apps;
- código custom;
- producto especializado de reverse ETL.
Mirroring: replicar en vez de mantener un copy pipeline
En vez de:
- Source DB
- Pipeline de copia
- Bronze
podemos tener:
- DB operacional
- replicación continuaDatos mirrored en Fabric
Eso reduce lógica de ingestión.
Pero no elimina transformación:
- Datos operacionales mirrored
- Silver
- Gold
OneLake Shortcuts: a veces no hay que mover los datos
Un shortcut implementa otra idea:
Referenciar el dato donde ya está.
- Datos externos / compartidos
- referenciaOneLake Shortcut
- Acceso Lakehouse / KQL
Puede reducir:
- almacenamiento duplicado;
- latencia de copia;
- pipelines;
- sincronización.
Pero zero-copy todavía requiere decisiones sobre seguridad, performance, ownership y cambios de esquema.
Batch vs CDC vs streaming
Batch
- Cada noche a las 2:00
- Procesar todo el día anterior
Incremental / CDC
- Cada pocos minutos
- Procesar solo cambios
Streaming
- Cada evento
- Procesar continuamente
No uses streaming solo porque suena más moderno.
Cómo mapear estos patrones a Microsoft Fabric
| Necesidad | Enfoque Fabric |
|---|---|
| Transformar antes de landing | Dataflow Gen2 / transformación en pipeline |
| Cargar raw y transformar después | Pipeline + Lakehouse + Notebook/Spark SQL |
| Medallion | Lakehouse/Warehouse Bronze → Silver → Gold |
| Medallion declarativo | Materialized lake views |
| Movimiento incremental DB | Mirroring / patrones incrementales |
| Streaming | Eventstream + Eventhouse / Real-Time Intelligence |
| Datos compartidos sin copia | OneLake Shortcut |
| Analytics hacia sistema operacional | Pipeline / API / integración Azure |
| Preparación low-code | Dataflow Gen2 |
| Transformaciones complejas | Notebook / PySpark |
Para elegir el destino, compara las diferencias entre Lakehouse y Warehouse en Fabric. La implementación Bronze, Silver y Gold se explica con más detalle en la guía de arquitectura Medallion.
Los mismos patrones en otras tecnologías
El patrón debe elegirse antes que el producto.
Azure Data Factory
ADF se usa habitualmente para orquestación, ETL/ELT batch, Copy activity y cargas incrementales.
Databricks
Databricks encaja especialmente bien con ELT y streaming cuando hay mucho Spark/Delta o transformaciones code-first.
Snowflake
Las arquitecturas Snowflake suelen ser ELT: cargar primero y transformar con SQL dentro del warehouse.
dbt
dbt es principalmente una herramienta de transformación y encaja muy bien con la “T” de ELT, pero no reemplaza la ingestión.
Kafka y Azure Event Hubs
Son backbones de eventos que encajan en arquitecturas streaming.
Fivetran y Airbyte
Esta categoría se centra en ingestión y replicación desde sistemas SaaS/operacionales hacia destinos analíticos.
Un escenario de negocio, varios patrones
Un retailer online tiene:
- pedidos SQL;
- clientes en CRM;
- clickstream;
- CSV de proveedores;
- plataforma de marketing.
No hay razón para usar lo mismo en todo.
Pedidos
CDC o Mirroring.
CSV de proveedores
Batch ELT.
Eventos web
Streaming.
Customer master
ETL/ETLT si hay que filtrar PII.
Activación marketing
Reverse ETL.
El patrón se decide por flujo, no una vez por empresa.
Matriz de decisión
| Requisito | Candidato fuerte |
|---|---|
| Reporting nocturno | ETL o ELT |
| Mantener raw para replay | ELT |
| Eliminar datos sensibles antes de landing | ETL / ETLT |
| Transformar con Spark/SQL en Lakehouse | ELT |
| DB grande con cambios frecuentes | CDC / Mirroring |
| Eventos en segundos | Streaming |
| Enviar scores al CRM | Reverse ETL |
| Datos ya accesibles en lake storage | Shortcut / zero-copy |
| Transformación muy low-code | Dataflow Gen2 |
| Lógica compleja | Notebook / PySpark |
| Bronze/Silver/Gold declarativo en Fabric | Materialized lake views |
Errores comunes
“ELT siempre es mejor que ETL”
No.
“CDC significa incremental load”
No necesariamente.
“Streaming es batch muy frecuente”
No exactamente.
“Mirroring elimina la transformación”
No.
“Shortcut significa que no hay arquitectura”
Tampoco.
Una arquitectura Fabric realista
- Fuentes
- Azure SQL
- CSV de proveedor
- Eventos web
- Aterrizaje
- MirroringDatos operacionales mirrored
- PipelineBronze Lakehouse
- EventstreamEventhouse
- Curado
- Silver Lakehouse
- Gold Warehouse
- Consumo
- Power BI
- Reverse ETLCRM
Cómo elegir el patrón correcto
- ¿Qué latencia necesita el negocio?
- ¿Hay que conservar raw?
- ¿Puede aterrizar información sensible?
- ¿Qué tamaño tiene la fuente?
- ¿Hay que capturar deletes?
- ¿Los datos ya existen en storage accesible?
- ¿Dónde está el mejor compute?
- ¿Quién operará la solución?
Conclusión
ETL y ELT son fundamentales, pero no describen toda la integración moderna.
La caja de herramientas actual incluye:
ETL
ELT
ETLT
CDC
Streaming
Reverse ETL
Mirroring
Shortcuts / zero-copy
Microsoft Fabric puede implementar o participar en estos patrones mediante Data Factory pipelines, Dataflow Gen2, Lakehouse, Warehouse, notebooks, Mirroring, Real-Time Intelligence, Eventstream, Eventhouse y OneLake shortcuts.
La regla principal:
Elige el patrón de integración por flujo de datos según latencia, gobernanza, transformación y operación.
No elijas primero la tecnología para después forzar todas las fuentes al mismo patrón.
Referencias oficiales
- Microsoft Fabric Medallion architecture: https://learn.microsoft.com/en-us/fabric/onelake/onelake-medallion-lakehouse-architecture
- Microsoft Fabric Lakehouse end-to-end scenario: https://learn.microsoft.com/en-us/fabric/data-engineering/tutorial-lakehouse-introduction
- Microsoft Fabric Dataflow Gen2: https://learn.microsoft.com/en-us/fabric/data-factory/create-first-dataflow-gen2
- Microsoft Fabric Mirroring overview: https://learn.microsoft.com/en-us/fabric/database/sql/mirroring-overview
- Microsoft Fabric Real-Time Intelligence: https://learn.microsoft.com/en-us/fabric/real-time-intelligence/
- Microsoft Fabric Eventhouse: https://learn.microsoft.com/en-us/fabric/real-time-intelligence/eventhouse
- OneLake shortcuts: https://learn.microsoft.com/en-us/fabric/onelake/onelake-shortcuts
- Materialized lake views: https://learn.microsoft.com/en-us/fabric/data-engineering/materialized-lake-views/tutorial
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Sigue aprendiendo
- Guía rápidaArquitectura Medallion en FabricDiseña una arquitectura Bronze, Silver y Gold práctica en Microsoft Fabric, con contratos de datos claros, capacidad de reprocesamiento, procesamiento incremental, controles de calidad y responsabilidades de publicación bien definidas.Abrir guía rápida
- Hoja de rutaProduction Data EngineeringCompara ETL, ELT, ETLT, CDC, streaming, reverse ETL, mirroring y shortcuts con implementaciones prácticas en Microsoft Fabric.Ver hoja de ruta
¿Qué debería crear después?
Estoy construyendo Javi Builds alrededor de problemas reales que enfrentan los ingenieros de datos. Dime qué tema te gustaría ver después.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.