Microsoft Fabric

Patrones de integración de datos: guía práctica para plataformas modernas

Guía práctica de batch, ETL, ELT, CDC, streaming, replicación, APIs, archivos, federación, zero-copy, reverse ETL, sincronización y orquestación.

Por JaviPublicado 6 min de lecturaIntermedio

La integración de datos no es un solo patrón. Una plataforma moderna puede cargar archivos cada noche, replicar cambios de bases de datos cada pocos segundos, consumir eventos en streaming, llamar APIs bajo demanda, exponer datos externos sin copiarlos y enviar resultados analíticos de vuelta a sistemas operacionales.

La pregunta correcta no es ¿Qué herramienta debemos usar?, sino:

¿Qué patrón de integración encaja mejor con la latencia, la escala, el comportamiento de la fuente, la gobernanza, el ownership y las necesidades del consumidor?

Para una comparación específica de las cuatro opciones más habituales y sus implementaciones concretas en Fabric, consulta ETL vs ELT vs CDC vs Streaming.

Comparación rápida

Patrón Mejor para Latencia típica Idea principal
Batch Procesamiento programado Horas / días Procesar en ventanas
Full load Datasets pequeños Programado Recargar todo
ETL Preparación gobernada Batch Transformar antes de cargar
ELT Lakehouse/Warehouse Batch / near-real-time Cargar y transformar después
ETLT Gobernanza + analytics Batch Transformar antes y después
Incremental Fuentes grandes Minutos / horas Mover solo cambios
CDC Cambios de DB Segundos / minutos Capturar inserts, updates, deletes
Replicación / Mirroring Copia analítica operacional Near-real-time Mantener una copia sincronizada
Streaming Eventos Segundos o menos Procesar continuamente
Event-driven Reacciones desacopladas Near-real-time Un evento dispara acciones
API Acceso bajo demanda Tiempo de request Pedir datos cuando se necesitan
Archivos Intercambio batch Batch Usar archivos como contrato
Messaging Trabajo asíncrono Segundos / minutos Mover mensajes por queues
Federación Query multi-sistema Tiempo de query Consultar sin centralizar
Zero-copy Datos externos compartidos Tiempo de query Referenciar en vez de copiar
Reverse ETL Analytics hacia operaciones Programado / near-real-time Activar datos curados
Sincronización Mantener sistemas alineados Continuo / programado Propagar estado

1. Batch

Batch procesa datos según una programación.

  1. Source
  2. Cada hora / día / semana
  3. Batch pipeline
  4. Destino
Integración batch

Es ideal para reporting nocturno, CSV diarios, partner feeds y APIs programadas.

2. Full load

Un full load copia todo el dataset.

  1. Tabla fuente
  2. Leer todas las filas
  3. Reemplazar destino
Carga completa

Para una tabla pequeña puede ser más simple y seguro que CDC.

3. ETL

ETL significa Extract → Transform → Load.

  1. Source
  2. Extracción
    Transformación
  3. Carga
  4. Destino
ETL

Ejemplo:

  1. Fuente de RR. HH.
  2. Transformación
    • Eliminar SSN
    • Normalizar departamento
    • Validar salario
  3. Warehouse
ETL para datos de RR. HH.

Es adecuado cuando hay que eliminar PII antes del landing, validar un esquema estricto o aplicar gobernanza antes de almacenar.

4. ELT

ELT significa Extract → Load → Transform.

  1. Source
  2. Zona raw
  3. Lakehouse / Warehouse
  4. Transformación
ELT

Un patrón clásico es:

  1. Bronze
  2. Silver
  3. Gold
Arquitectura Medallion

En Microsoft Fabric:

  1. Source
  2. Fabric Pipeline
  3. Lakehouse Bronze
  4. Notebook / Spark SQL
  5. Silver
  6. Gold
ELT en Microsoft Fabric

5. ETLT

ETLT combina transformación antes y después del landing.

  1. Payload de API
  2. Filtrar secretos / normalizar
  3. Bronze
  4. Deduplicar / enriquecer / reglas de negocio
  5. Silver / Gold
ETLT

6. Incremental load

Un incremental load mueve solo registros cambiados.

Consulta SQL: 6. Incremental loadT-SQL
SELECT *
FROM orders
WHERE modified_at > @last_watermark;
T-SQL3 líneasVista de solo lectura. No está conectada a ninguna base de datos.

Reduce volumen y carga en la fuente, pero debe manejar timestamps poco fiables, late arrivals y deletes.

7. CDC

CDC captura inserts, updates y deletes.

  1. DB operacional
  2. Change / transaction log
  3. Consumidor CDC
  4. Destino analítico
Change Data Capture

Un watermark no equivale a CDC real.

8. Replicación y Mirroring

La replicación mantiene una copia sincronizada.

  1. DB operacional
  2. Replicación continua
  3. Copia analítica
Replicación

En Fabric, Mirroring puede sustituir parte de la ingestión para fuentes compatibles.

9. Streaming

Streaming procesa eventos continuamente.

  1. Producer
  2. Event stream
  3. Stream processor
  4. Store en tiempo real / acción
Streaming

En Fabric:

  1. Event Hubs / Kafka
  2. Eventstream
  3. Eventhouse
  4. KQL / Dashboard / Activator
Streaming en Microsoft Fabric

10. Event-driven

Un evento dispara acciones downstream.

  1. OrderCreated
  2. Event bus
    • Servicio de inventario
    • Servicio de notificaciones
    • Consumidor analítico
Integración event-driven

El objetivo principal es desacoplar sistemas.

11. Integración por API

Las APIs son buenas para lookups, metadata y flujos operacionales de bajo volumen. Para extracción masiva suelen sufrir rate limits, paginación y overhead.

12. Integración por archivos

Formatos comunes: CSV, JSON, Parquet, Avro y XML.

  1. Producer
  2. Depósito de archivos
  3. Storage / SFTP
  4. Pipeline
Integración por archivos

Un diseño robusto necesita idempotencia, control de duplicados, manejo de archivos parciales y schema drift.

13. Messaging

Las queues distribuyen trabajo de forma asíncrona. Ejemplos: Azure Service Bus, RabbitMQ y cloud queues.

14. Federación / virtualización

Permite consultar datos que permanecen en sistemas diferentes.

  1. Query engine
    • Source A
    • Source B
    • Source C
Federación

Reduce duplicación, pero depende del rendimiento y disponibilidad de las fuentes.

15. Zero-copy y Shortcuts

  1. Storage externo
  2. Reference / Shortcut
  3. Plataforma analítica
Acceso zero-copy

OneLake Shortcuts es un ejemplo de este patrón.

16. Reverse ETL

Reverse ETL envía resultados analíticos hacia sistemas operacionales.

  1. Lakehouse / Warehouse
  2. Segmento / score de cliente
  3. CRM / marketing / soporte
Reverse ETL

17. Sincronización

System A
  ↕
System B

La sincronización bidireccional necesita una autoridad clara, reglas de conflicto y manejo de deletes.

18. Orquestación vs integración

La integración mueve o expone datos. La orquestación coordina tareas.

  1. 1Copiar datos
  2. 2Ejecutar notebook
  3. 3Validar
  4. 4Publicar
  5. 5Notificar
Orquestación

19. Push vs pull

Pull: el consumidor lee la fuente.

Push: el productor envía datos.

Push suele reducir latencia; pull suele ser más fácil de controlar y reintentar.

20. Síncrono vs asíncrono

El síncrono espera una respuesta. El asíncrono desacopla sistemas usando queues, events o archivos.

Mapa Microsoft Fabric

Necesidad Capacidad Fabric
Batch programado Data Pipeline
Full / incremental copy Copy activity
Transformación low-code Dataflow Gen2
Transformación code-first Notebook / PySpark
ELT / Medallion Lakehouse + Delta
SQL Warehouse / SQL endpoint
Replicación operacional Mirroring
Streaming Eventstream
Event analytics Eventhouse / Real-Time Intelligence
Zero-copy OneLake Shortcuts
Orquestación Data Pipeline
Reverse delivery Pipeline / API / integración Azure

Mapa hacia otras tecnologías

Patrón Tecnologías comunes
Batch Fabric Pipelines, ADF, Airbyte, Fivetran
ELT Fabric, Snowflake, Databricks, dbt
CDC Logs DB, Debezium, Mirroring
Streaming Kafka, Event Hubs, Fabric Eventstream
Transformación Spark, SQL, dbt, Dataflow Gen2
Reverse ETL APIs, pipelines, herramientas especializadas
Federación Virtualización, external tables
Zero-copy OneLake Shortcuts, referencias externas
Orquestación Fabric Pipelines, ADF, Airflow, Dagster

Matriz de decisión

Requisito Patrón fuerte
Reporting nocturno Batch
Tabla de referencia pequeña Full load
Mantener raw ELT
Limpiar antes de landing ETL / ETLT
DB grande con muchos cambios CDC / replicación
Analytics en segundos Streaming
Workflow por evento Event-driven
Lookup bajo demanda API
Intercambio con partners Files
Trabajo asíncrono fiable Messaging
Evitar copiar datos externos Shortcut / zero-copy
Consultar múltiples sistemas Federación
Enviar scores al CRM Reverse ETL
Mantener dos sistemas alineados Sincronización

Una arquitectura real combina varios patrones

    1. Orders DB
    2. CDC / Mirroring
      Plataforma analítica
    1. CSV de proveedor
    2. Batch
      Bronze
    1. Eventos del sitio web
    2. Streaming
      Event store
    1. CRM
    2. ETLT
      Modelo de cliente
    1. Datos de producto externos
    2. Shortcut / federación
      Lakehouse
    1. Segmentos de clientes Gold
    2. Reverse ETL
      Plataforma de marketing
Un retailer, seis patrones de integración

Errores comunes

  • Usar streaming cuando batch es suficiente.
  • Llamar CDC a cualquier carga incremental.
  • Copiar datos que podrían referenciarse.
  • Usar APIs para bulk masivo.
  • Ignorar deletes.
  • Crear sync bidireccional sin autoridad clara.
  • Mezclar innecesariamente orquestación y transformación.

Cómo elegir el patrón correcto

  1. Define latencia.
  2. Entiende lo que la fuente puede ofrecer.
  3. Define replay y recuperación.
  4. Define gobernanza.
  5. Evalúa escala y carga sobre la fuente.
  6. Define lo que realmente necesita el consumidor.
  7. Elige la tecnología al final.

Conclusión

La integración moderna es mucho más que ETL vs ELT.

Batch
Full load
ETL
ELT
ETLT
Incremental load
CDC
Replication
Streaming
Event-driven
API-based
File-based
Messaging
Federation
Zero-copy
Reverse ETL
Synchronization

La mejor arquitectura no fuerza todas las fuentes a usar el mismo patrón. Estandariza cómo el equipo elige el patrón correcto.

Elige primero el patrón según los requisitos del flujo y después la tecnología que lo implementa.

Etiquetas

  • Microsoft Fabric
  • Ingesta de datos
  • Pipelines de datos
  • Cargas incrementales
  • Arquitectura de datos
  • Patrones de diseño