Microsoft Fabric
Patrones de integración de datos: guía práctica para plataformas modernas
Guía práctica de batch, ETL, ELT, CDC, streaming, replicación, APIs, archivos, federación, zero-copy, reverse ETL, sincronización y orquestación.
En este artículo
La integración de datos no es un solo patrón. Una plataforma moderna puede cargar archivos cada noche, replicar cambios de bases de datos cada pocos segundos, consumir eventos en streaming, llamar APIs bajo demanda, exponer datos externos sin copiarlos y enviar resultados analíticos de vuelta a sistemas operacionales.
La pregunta correcta no es ¿Qué herramienta debemos usar?, sino:
¿Qué patrón de integración encaja mejor con la latencia, la escala, el comportamiento de la fuente, la gobernanza, el ownership y las necesidades del consumidor?
Para una comparación específica de las cuatro opciones más habituales y sus implementaciones concretas en Fabric, consulta ETL vs ELT vs CDC vs Streaming.
Comparación rápida
| Patrón | Mejor para | Latencia típica | Idea principal |
|---|---|---|---|
| Batch | Procesamiento programado | Horas / días | Procesar en ventanas |
| Full load | Datasets pequeños | Programado | Recargar todo |
| ETL | Preparación gobernada | Batch | Transformar antes de cargar |
| ELT | Lakehouse/Warehouse | Batch / near-real-time | Cargar y transformar después |
| ETLT | Gobernanza + analytics | Batch | Transformar antes y después |
| Incremental | Fuentes grandes | Minutos / horas | Mover solo cambios |
| CDC | Cambios de DB | Segundos / minutos | Capturar inserts, updates, deletes |
| Replicación / Mirroring | Copia analítica operacional | Near-real-time | Mantener una copia sincronizada |
| Streaming | Eventos | Segundos o menos | Procesar continuamente |
| Event-driven | Reacciones desacopladas | Near-real-time | Un evento dispara acciones |
| API | Acceso bajo demanda | Tiempo de request | Pedir datos cuando se necesitan |
| Archivos | Intercambio batch | Batch | Usar archivos como contrato |
| Messaging | Trabajo asíncrono | Segundos / minutos | Mover mensajes por queues |
| Federación | Query multi-sistema | Tiempo de query | Consultar sin centralizar |
| Zero-copy | Datos externos compartidos | Tiempo de query | Referenciar en vez de copiar |
| Reverse ETL | Analytics hacia operaciones | Programado / near-real-time | Activar datos curados |
| Sincronización | Mantener sistemas alineados | Continuo / programado | Propagar estado |
1. Batch
Batch procesa datos según una programación.
- Source
- Cada hora / día / semana
- Batch pipeline
- Destino
Es ideal para reporting nocturno, CSV diarios, partner feeds y APIs programadas.
2. Full load
Un full load copia todo el dataset.
- Tabla fuente
- Leer todas las filas
- Reemplazar destino
Para una tabla pequeña puede ser más simple y seguro que CDC.
3. ETL
ETL significa Extract → Transform → Load.
- Source
- ExtracciónTransformación
- Carga
- Destino
Ejemplo:
- Fuente de RR. HH.
- Transformación
- Eliminar SSN
- Normalizar departamento
- Validar salario
- Warehouse
Es adecuado cuando hay que eliminar PII antes del landing, validar un esquema estricto o aplicar gobernanza antes de almacenar.
4. ELT
ELT significa Extract → Load → Transform.
- Source
- Zona raw
- Lakehouse / Warehouse
- Transformación
Un patrón clásico es:
- Bronze
- Silver
- Gold
En Microsoft Fabric:
- Source
- Fabric Pipeline
- Lakehouse Bronze
- Notebook / Spark SQL
- Silver
- Gold
5. ETLT
ETLT combina transformación antes y después del landing.
- Payload de API
- Filtrar secretos / normalizar
- Bronze
- Deduplicar / enriquecer / reglas de negocio
- Silver / Gold
6. Incremental load
Un incremental load mueve solo registros cambiados.
SELECT *
FROM orders
WHERE modified_at > @last_watermark;Reduce volumen y carga en la fuente, pero debe manejar timestamps poco fiables, late arrivals y deletes.
7. CDC
CDC captura inserts, updates y deletes.
- DB operacional
- Change / transaction log
- Consumidor CDC
- Destino analítico
Un watermark no equivale a CDC real.
8. Replicación y Mirroring
La replicación mantiene una copia sincronizada.
- DB operacional
- Replicación continua
- Copia analítica
En Fabric, Mirroring puede sustituir parte de la ingestión para fuentes compatibles.
9. Streaming
Streaming procesa eventos continuamente.
- Producer
- Event stream
- Stream processor
- Store en tiempo real / acción
En Fabric:
- Event Hubs / Kafka
- Eventstream
- Eventhouse
- KQL / Dashboard / Activator
10. Event-driven
Un evento dispara acciones downstream.
- OrderCreated
- Event bus
- Servicio de inventario
- Servicio de notificaciones
- Consumidor analítico
El objetivo principal es desacoplar sistemas.
11. Integración por API
Las APIs son buenas para lookups, metadata y flujos operacionales de bajo volumen. Para extracción masiva suelen sufrir rate limits, paginación y overhead.
12. Integración por archivos
Formatos comunes: CSV, JSON, Parquet, Avro y XML.
- Producer
- Depósito de archivos
- Storage / SFTP
- Pipeline
Un diseño robusto necesita idempotencia, control de duplicados, manejo de archivos parciales y schema drift.
13. Messaging
Las queues distribuyen trabajo de forma asíncrona. Ejemplos: Azure Service Bus, RabbitMQ y cloud queues.
14. Federación / virtualización
Permite consultar datos que permanecen en sistemas diferentes.
- Query engine
- Source A
- Source B
- Source C
Reduce duplicación, pero depende del rendimiento y disponibilidad de las fuentes.
15. Zero-copy y Shortcuts
- Storage externo
- Reference / Shortcut
- Plataforma analítica
OneLake Shortcuts es un ejemplo de este patrón.
16. Reverse ETL
Reverse ETL envía resultados analíticos hacia sistemas operacionales.
- Lakehouse / Warehouse
- Segmento / score de cliente
- CRM / marketing / soporte
17. Sincronización
System A
↕
System B
La sincronización bidireccional necesita una autoridad clara, reglas de conflicto y manejo de deletes.
18. Orquestación vs integración
La integración mueve o expone datos. La orquestación coordina tareas.
- 1Copiar datos
- 2Ejecutar notebook
- 3Validar
- 4Publicar
- 5Notificar
19. Push vs pull
Pull: el consumidor lee la fuente.
Push: el productor envía datos.
Push suele reducir latencia; pull suele ser más fácil de controlar y reintentar.
20. Síncrono vs asíncrono
El síncrono espera una respuesta. El asíncrono desacopla sistemas usando queues, events o archivos.
Mapa Microsoft Fabric
| Necesidad | Capacidad Fabric |
|---|---|
| Batch programado | Data Pipeline |
| Full / incremental copy | Copy activity |
| Transformación low-code | Dataflow Gen2 |
| Transformación code-first | Notebook / PySpark |
| ELT / Medallion | Lakehouse + Delta |
| SQL | Warehouse / SQL endpoint |
| Replicación operacional | Mirroring |
| Streaming | Eventstream |
| Event analytics | Eventhouse / Real-Time Intelligence |
| Zero-copy | OneLake Shortcuts |
| Orquestación | Data Pipeline |
| Reverse delivery | Pipeline / API / integración Azure |
Mapa hacia otras tecnologías
| Patrón | Tecnologías comunes |
|---|---|
| Batch | Fabric Pipelines, ADF, Airbyte, Fivetran |
| ELT | Fabric, Snowflake, Databricks, dbt |
| CDC | Logs DB, Debezium, Mirroring |
| Streaming | Kafka, Event Hubs, Fabric Eventstream |
| Transformación | Spark, SQL, dbt, Dataflow Gen2 |
| Reverse ETL | APIs, pipelines, herramientas especializadas |
| Federación | Virtualización, external tables |
| Zero-copy | OneLake Shortcuts, referencias externas |
| Orquestación | Fabric Pipelines, ADF, Airflow, Dagster |
Matriz de decisión
| Requisito | Patrón fuerte |
|---|---|
| Reporting nocturno | Batch |
| Tabla de referencia pequeña | Full load |
| Mantener raw | ELT |
| Limpiar antes de landing | ETL / ETLT |
| DB grande con muchos cambios | CDC / replicación |
| Analytics en segundos | Streaming |
| Workflow por evento | Event-driven |
| Lookup bajo demanda | API |
| Intercambio con partners | Files |
| Trabajo asíncrono fiable | Messaging |
| Evitar copiar datos externos | Shortcut / zero-copy |
| Consultar múltiples sistemas | Federación |
| Enviar scores al CRM | Reverse ETL |
| Mantener dos sistemas alineados | Sincronización |
Una arquitectura real combina varios patrones
- Orders DB
- CDC / MirroringPlataforma analítica
- CSV de proveedor
- BatchBronze
- Eventos del sitio web
- StreamingEvent store
- CRM
- ETLTModelo de cliente
- Datos de producto externos
- Shortcut / federaciónLakehouse
- Segmentos de clientes Gold
- Reverse ETLPlataforma de marketing
Errores comunes
- Usar streaming cuando batch es suficiente.
- Llamar CDC a cualquier carga incremental.
- Copiar datos que podrían referenciarse.
- Usar APIs para bulk masivo.
- Ignorar deletes.
- Crear sync bidireccional sin autoridad clara.
- Mezclar innecesariamente orquestación y transformación.
Cómo elegir el patrón correcto
- Define latencia.
- Entiende lo que la fuente puede ofrecer.
- Define replay y recuperación.
- Define gobernanza.
- Evalúa escala y carga sobre la fuente.
- Define lo que realmente necesita el consumidor.
- Elige la tecnología al final.
Conclusión
La integración moderna es mucho más que ETL vs ELT.
Batch
Full load
ETL
ELT
ETLT
Incremental load
CDC
Replication
Streaming
Event-driven
API-based
File-based
Messaging
Federation
Zero-copy
Reverse ETL
Synchronization
La mejor arquitectura no fuerza todas las fuentes a usar el mismo patrón. Estandariza cómo el equipo elige el patrón correcto.
Elige primero el patrón según los requisitos del flujo y después la tecnología que lo implementa.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Sigue aprendiendo
- Guía rápidaArquitectura Medallion en FabricDiseña una arquitectura Bronze, Silver y Gold práctica en Microsoft Fabric, con contratos de datos claros, capacidad de reprocesamiento, procesamiento incremental, controles de calidad y responsabilidades de publicación bien definidas.Abrir guía rápida
- Hoja de rutaProduction Data EngineeringGuía práctica de batch, ETL, ELT, CDC, streaming, replicación, APIs, archivos, federación, zero-copy, reverse ETL, sincronización y orquestación.Ver hoja de ruta
¿Qué debería crear después?
Estoy construyendo Javi Builds alrededor de problemas reales que enfrentan los ingenieros de datos. Dime qué tema te gustaría ver después.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.