Microsoft Fabric

Diseñar una arquitectura escalable de Microsoft Fabric

Guía práctica para definir límites de cargas de trabajo, almacenamiento, capacidad, despliegue y operación en Microsoft Fabric.

Por JaviPublicado 13 min de lectura

Edificio moderno de vidrio con una fachada azul ondulada

Una arquitectura de Microsoft Fabric satisfactoria no es la que tiene más workspaces, Lakehouses, capas o diagramas. Es aquella en la que un ingeniero puede explicar quién es responsable de cada dataset, qué motor de cálculo lo modifica, cómo pasa de un entorno a otro, quién puede leerlo y quién responde cuando falla.

Esos límites importan antes de que la plataforma crezca. Cuando son implícitos, cada pipeline o informe nuevo añade acoplamiento. Cuando son explícitos, los equipos pueden cambiar una parte de la plataforma sin adivinar qué más se romperá. El objetivo no es separar al máximo, sino separar lo suficiente para aclarar responsabilidades, seguridad, despliegue, aislamiento de cargas y operación.

Este artículo presenta una forma práctica de razonar sobre esas decisiones. Evita una arquitectura de referencia universal porque las plataformas Fabric atienden a organizaciones, volúmenes de datos, capacidades y restricciones normativas diferentes. La arquitectura útil es la que hace visibles sus compromisos.

Empezar por los límites de las cargas de trabajo

Empieza por las cargas y responsabilidades, no por los tipos de elementos de Fabric. Enumera los dominios de negocio responsables de los datos, los sistemas que los ingieren, las transformaciones que producen datos fiables y los consumidores que dependen del resultado. Después identifica qué partes tienen calendarios de despliegue, políticas de acceso, perfiles de rendimiento o equipos de soporte diferentes.

Un límite de dominio puede justificar un workspace cuando existe una persona responsable y un ciclo de vida distintos. Conviene separar una carga de ingesta de los informes interactivos si un job Spark grande puede volver impredecible un dashboard importante. Los componentes compartidos de la plataforma —tablas de logs, bibliotecas reutilizables, convenciones de conexión o utilidades de orquestación— también necesitan responsables, aunque los usen varios dominios.

Desarrollo, pruebas y producción constituyen otro límite. No deberían compartir datos de producción modificables ni credenciales solo porque sus artefactos se parezcan. El código puede promocionarse; los datos y la configuración deben seguir siendo específicos de cada entorno.

Al principio resulta cómodo tener un único workspace enorme. Con el tiempo acumula notebooks, pipelines, modelos y permisos sin relación entre sí. Los despliegues se vuelven arriesgados porque el workspace sirve tanto para organizar como para gestionar una parte importante del ciclo de vida. Al investigar un fallo, un ingeniero primero tiene que descubrir qué equipo y proceso son responsables del elemento.

El extremo contrario también es costoso. Crear un workspace por cada pipeline pequeño multiplica permisos, configuración repetida, monitoreo fragmentado y relaciones de despliegue. Una buena prueba es preguntar si el límite propuesto cambia las responsabilidades, la seguridad, el ciclo de vida o el aislamiento de cargas. Si no cambia ninguno, quizá otro workspace no ayude.

Lakehouse o Warehouse

Un Lakehouse encaja de forma natural con la ingeniería orientada a Spark: leer archivos, usar notebooks, transformar grandes conjuntos de datos y trabajar con tablas Delta. Expone conceptos de archivos y tablas, algo útil cuando las entradas sin procesar llegan como CSV, JSON o Parquet y después se convierten en tablas administradas. Los ingenieros pueden usar PySpark o Spark SQL y conservar los datos en un formato de tabla abierto.

Un Warehouse encaja de forma natural cuando la carga se centra en SQL. Los modelos relacionales curados, las tablas para BI, los flujos de trabajo de analistas y los equipos familiarizados con T-SQL se benefician de una interfaz relacional conocida. El Warehouse puede ser la capa de servicio aunque las transformaciones anteriores se ejecuten en un Lakehouse.

No es una elección ideológica entre Spark «moderno» y SQL «tradicional». Distintas etapas pueden usar motores diferentes. Un notebook puede normalizar archivos semiestructurados en tablas Delta; después, un Warehouse puede presentar modelos dimensionales gobernados a las herramientas de informes. El SQL analytics endpoint de un Lakehouse ofrece una superficie de consulta SQL sobre sus tablas, pero eso no hace que todas las cargas Lakehouse sean equivalentes a las de Warehouse.

Elige según los patrones de escritura, el comportamiento SQL necesario, las habilidades del equipo, la gobernanza y los consumidores de los datos. Replantea la elección cuando cambien esas restricciones. El itinerario de aprendizaje de Fabric cubre ambos enfoques para que sus diferencias sean concretas y no solo teóricas.

OneLake y movimiento de datos

OneLake proporciona una base de almacenamiento compartida, pero esa base no elimina todas las copias. Los datos siguen copiándose cuando la ingesta escribe un archivo, una transformación materializa una tabla o un proceso de servicio crea deliberadamente una representación curada.

El objetivo arquitectónico es eliminar las copias que no tengan un propósito claro. Conserva los archivos sin procesar cuando importen el reprocesamiento y la auditabilidad. Crea tablas Delta cuando lo requieran el comportamiento transaccional, el esquema o el rendimiento de las consultas. Construye datasets curados cuando los consumidores necesiten definiciones de negocio estables. Usa shortcuts cuando proporcionen acceso gobernado sin otra materialización y sus características operativas encajen con la carga.

Para cada copia, registra por qué existe: conversión de formato, retención, límite de seguridad, aislamiento del rendimiento o transformación de negocio. «Otro equipo necesitaba los datos» es un motivo para evaluar el acceso compartido, no necesariamente para crear otra exportación sin gobernanza.

Bronze, Silver y Gold

El vocabulario Medallion es útil porque comunica intención:

  • Bronze conserva los datos de origen sin procesar o mínimamente transformados y suficientes metadatos para rastrearlos.
  • Silver limpia, estandariza, elimina duplicados y pone los datos en conformidad para obtener entidades técnicas fiables.
  • Gold prepara esas entidades para un proceso de negocio, informe, modelo, API u otra carga de servicio.

No crees siempre las tres capas solo porque la mayoría de los diagramas muestre tres cajas. Un origen pequeño y fiable que alimenta un único modelo de informes quizá solo necesite una capa de ingesta y otra de servicio curada. Añadir una tabla Silver de paso aumenta el almacenamiento, el procesamiento, las pruebas y la superficie operativa sin mejorar la calidad.

Las capas adicionales se justifican cuando crean un contrato: conservar una entrada inmutable para reprocesarla, separar la limpieza específica del origen de la conformidad entre dominios, aislar campos sensibles o servir a varios consumidores con modelos diferentes. Documenta la responsabilidad de las capas aunque la implementación use los nombres Bronze, Silver y Gold. Arquitectura Medallion explicada profundiza en cada capa y en cuándo conviene usar menos.

Diseñar para grandes conjuntos de datos

Con cientos de millones o miles de millones de filas, los patrones inofensivos en tablas pequeñas se convierten en costos dominantes. Las reescrituras completas consumen cálculo y crean archivos innecesarios. Las operaciones MERGE amplias pueden recorrer muchos más datos que el conjunto de cambios entrante. Las particiones demasiado finas pueden crear directorios excesivos y archivos diminutos, mientras que una estrategia de pruning inadecuada encarece las lecturas repetidas.

Prefiere el procesamiento incremental cuando el origen proporcione un límite de cambio fiable. Lleva un watermark, identificador de lote o versión del origen a lo largo del pipeline. Haz que las escrituras sean idempotentes para que un reintento no duplique datos. Limita las actualizaciones a las claves de negocio y los intervalos pertinentes en vez de reconstruir el historial.

Particiona solo cuando los filtros habituales puedan eliminar una cantidad significativa de datos y cada partición siga teniendo un tamaño considerable. Un identificador de alta cardinalidad, como un ID de transacción o cliente, suele ser una mala clave de particionamiento físico. Particionar por fecha puede ayudar a algunas cargas, pero también ser incorrecto si la mayoría de las consultas cubren todas las fechas o las particiones recientes reciben muchas escrituras concurrentes.

El tamaño de los archivos forma parte del diseño de tablas. Las inserciones pequeñas y repetidas pueden crear miles de archivos Parquet o Delta diminutos, aumentando el costo de listado y planificación. Los archivos demasiado grandes reducen el paralelismo y hacen que las reescrituras sean más gruesas. El rango adecuado depende de la carga y el runtime; observa la distribución real de archivos y el comportamiento de las consultas en vez de copiar un objetivo universal.

Usa planes de consulta y métricas de ejecución para confirmar el pruning de datos. Mide los archivos y datos leídos, no solo la duración. Hay guías más detalladas sobre el rendimiento de MERGE en Delta y sobre el tamaño de archivos y el problema de los archivos pequeños; una guía de particionamiento Delta está prevista.

Consideraciones de capacidad

La capacidad de Fabric se comparte entre cargas que pueden comportarse de formas muy distintas: notebooks, jobs Spark, pipelines, consultas SQL, actualizaciones e informes interactivos de Power BI. Una plataforma puede tener suficiente cálculo total y, aun así, ofrecer una mala experiencia cuando coinciden varias cargas pesadas.

Por eso la presión sobre la capacidad suele ser primero un problema de arquitectura o planificación, antes que de compra. Una transformación grande que empieza durante el pico de informes puede competir con los usuarios interactivos. Una concurrencia sin límites en notebooks puede convertir un lote predecible en un pico. Una política de reintentos puede amplificar una carga fallida. Una consulta SQL con filtros deficientes puede recorrer repetidamente una tabla de servicio grande.

Monitorea antes de escalar. Relaciona el comportamiento de la capacidad con las ejecuciones de pipelines, notebooks, cargas SQL, actualizaciones y síntomas visibles para los usuarios. Decide si la solución es la planificación, el diseño de consultas o tablas, el control de concurrencia, el aislamiento de cargas, el procesamiento incremental o más capacidad. Comprar más capacidad puede ser válido, pero debe hacerse después de explicar qué está haciendo la capacidad actual. La guía Capacidad y consumo de cómputo en Fabric explica cómo investigarlo.

Diseño multi-tenant

Las plataformas multi-tenant admiten varios modelos de aislamiento. Una tabla compartida con una columna de tenant es eficiente desde el punto de vista operativo y facilita las transformaciones comunes, pero cada ruta de acceso debe aplicar el filtro del tenant. Las tablas separadas por tenant pueden simplificar algunas tareas de retención o exportación, aunque multiplican la gestión de esquemas y pueden producir muchos objetos pequeños. Los workspaces por tenant ofrecen un fuerte aislamiento organizativo en casos especiales, pero aumentan el trabajo de despliegue, permisos, monitoreo y gestión de capacidad.

Un compromiso habitual consiste en compartir la ingesta y el procesamiento conformado con capas curadas tenant-aware. Los tenants de mayor riesgo o tamaño inusual pueden recibir un aislamiento más fuerte. La decisión debe considerar límites normativos, riesgo de noisy neighbor, personalización, cantidad de tenants, volumen de datos y capacidad del equipo operativo para gestionar muchos artefactos.

No trates la separación física como el único control de seguridad. La autenticación, la autorización, las reglas a nivel de fila, la auditabilidad y las rutas de datos probadas con cuidado siguen siendo necesarias en todos los modelos.

Git y entornos de despliegue

El control de código fuente y los despliegues deben diseñarse antes de que el workspace contenga decenas de artefactos. Conecta los workspaces de desarrollo adecuados a Git, define el modelo de ramas y revisión y decide cómo pasan los artefactos por pruebas hasta llegar a producción. Los pipelines de despliegue de Fabric pueden facilitar la promoción, pero no eliminan la necesidad de entender las dependencias y la configuración específica de cada entorno.

Mantén separados el código y las definiciones desplegables de los datos. Los datos de producción no se promocionan desde una rama de desarrollo. Las conexiones, los ID de workspace, los secretos, las ubicaciones de almacenamiento y otros valores específicos de cada entorno necesitan una estrategia de configuración explícita. Valídalos durante el despliegue en vez de editar después los elementos de producción manualmente.

Usa cambios pequeños y fáciles de revisar. Documenta qué elementos Fabric están bajo control de código fuente, qué mecanismo de despliegue es responsable de cada artefacto y qué pasos siguen siendo manuales. La sección Git y CI/CD del itinerario de Fabric relaciona estas decisiones con el resto del itinerario.

Observabilidad

Una plataforma no está lista para producción si la única señal de fallo es que un usuario informe de datos desactualizados. Los pipelines y notebooks deben emitir suficiente información estructurada para responder qué se ejecutó, qué procesó y por qué falló. Un registro compacto puede incluir:

Campo Propósito
execution_id Correlaciona todos los registros de una ejecución
pipeline_name Identifica el proceso de orquestación
notebook_name Identifica la unidad de transformación
started_at Establece la ventana de ejecución
finished_at Permite comprobar duración y finalización
status Registra si empezó, terminó correctamente, falló o se omitió
rows_processed Proporciona una señal básica de volumen
error_message Guarda un resumen de diagnóstico saneado

Transmite el mismo identificador de correlación desde el pipeline a sus notebooks. Registra ambos niveles: el pipeline explica la orquestación y las dependencias; el notebook explica las etapas de transformación y las escrituras. Evita registrar secretos o contenido sensible de las filas.

Los reintentos deben funcionar con procesamiento idempotente. Un reintento que añade a ciegas el mismo lote puede convertir un incidente de infraestructura en uno de calidad de datos. Guarda el límite del lote o la identidad de ejecución necesaria para detectar el trabajo repetido y volver a realizarlo de forma segura.

Errores frecuentes

  • Construir un workspace monolítico enorme sin responsabilidades claras.
  • Crear un workspace por cada artefacto y multiplicar la carga operativa.
  • Copiar datos cada vez que aparece otro consumidor, sin evaluar el acceso compartido o shortcuts.
  • Particionar en exceso las tablas o particionar por una columna de muy alta cardinalidad.
  • Permitir que los jobs repetidos generen muchos archivos Parquet o Delta pequeños.
  • Hacer recargas completas cuando existe un límite incremental fiable.
  • Usar operaciones MERGE amplias sin limitar los datos afectados.
  • Esperar hasta producción para definir las prácticas de Git, promoción y configuración.
  • Operar pipelines sin registro a nivel de ejecución ni identificadores de correlación.
  • Tratar desarrollo y producción como entornos idénticos.
  • Aumentar la capacidad antes de identificar qué cargas la consumen.

Ejemplo de arquitectura de referencia

El siguiente esquema es un punto de partida, no un plano obligatorio:

  1. Orígenes

    • Bases de datos operativas
    • SaaS y API
    • Archivos
  2. Ingesta

    • Pipelines de datos
    • Notebooks
    • Shortcuts
  3. Bronze / sin procesar

    • Tablas Delta sin procesarAlineadas con el origen y con metadatos de lote
  4. Silver / conformada

    • Entidades conformadasLimpias, validadas y sin duplicados
  5. Gold / curada

    • Modelos curadosTablas de servicio listas para el negocio
  6. Servicio

    • Warehouse
    • SQL analytics endpoint
    • Modelos semánticos
  7. Consumidores

    • API
    • Informes
    • Ciencia de datos

Aspectos transversales

  • Git
  • CI/CD
  • Registro
  • Monitoreo
  • Seguridad
  • Configuración
Arquitectura de referencia para una plataforma de datos Fabric. Cada flecha representa un contrato observable con una persona responsable; las preocupaciones transversales se aplican a todos los niveles.

Las flechas deben corresponder a contratos observables con una persona responsable. Por ejemplo, la ingesta registra el lote de origen, la transformación puede volver a procesarlo, la capa curada publica un esquema estable y los consumidores conocen las expectativas de frescura y calidad.

Conclusión

La escalabilidad tiene menos que ver con predecir el clúster más grande posible y más con hacer explícitos los límites de las cargas y las responsabilidades operativas. Una responsabilidad clara limita el acoplamiento accidental. Las capas de almacenamiento intencionales limitan las copias innecesarias. Las mediciones del comportamiento de la capacidad permiten decidir mejor cómo escalar. Git, la configuración y la observabilidad hacen más seguros los cambios.

Empieza con la arquitectura más sencilla que conserve esas cualidades y añade límites cuando lo justifiquen la seguridad, el ciclo de vida, las responsabilidades o las evidencias de carga. El material relacionado profundiza en el diseño de Lakehouse y Warehouse, el particionamiento Delta, la capacidad de Fabric, CI/CD y el registro de producción.

Etiquetas

  • Microsoft Fabric
  • Arquitectura de datos
  • Fabric Lakehouse
  • Rendimiento