Microsoft Fabric

Arquitectura Medallion explicada: Bronze, Silver y Gold

Para qué sirven las capas Bronze, Silver y Gold, cómo evolucionan la calidad de datos y el procesamiento incremental en Microsoft Fabric, y cuándo conviene usar menos capas.

Por JaviPublicado 11 min de lecturaPrincipiante

La arquitectura Medallion es una forma de mejorar paso a paso la calidad y utilidad de los datos a medida que avanzan por una plataforma. Los datos llegan aproximadamente como los produjo el origen, después se limpian y se ponen en conformidad para convertirse en entidades fiables y, por último, se preparan para las personas y aplicaciones que los consumen. Las tres etapas suelen llamarse Bronze, Silver y Gold.

Conviene precisar qué es este patrón. La arquitectura Medallion es un patrón de diseño, no una funcionalidad de producto. El término procede de la comunidad Lakehouse y la documentación de Microsoft Fabric lo describe como un enfoque recomendado para Lakehouses. Sin embargo, Microsoft Fabric no lo exige, no lo impone ni se comporta de otra manera porque una tabla esté en algo llamado «Silver». Un Lakehouse llamado bronze es un Lakehouse normal.

Esta distinción importa porque es fácil aplicar el patrón de forma mecánica. Tres capas pueden convertirse en tres copias de cada tabla, tres conjuntos de pipelines y tres lugares donde algo puede fallar, aunque cada copia no aporte nada. Este artículo explica el propósito de cada capa, cómo funcionan la calidad y el procesamiento incremental entre ellas y cómo decidir cuándo conviene un diseño con menos capas.

Flujo básico

  1. FuentesAplicaciones, archivos, API, bases de datos
  2. BronzeIncorporar los datos tal como se reciben
  3. SilverLimpiar, validar y poner en conformidad
  4. GoldPreparar para un uso de negocio
  5. ConsumidoresInformes, modelos, API
Flujo básico de la arquitectura Medallion. Cada capa tiene una responsabilidad distinta, no solo un nombre diferente.
  • Las fuentes son los sistemas que la plataforma no controla: bases de datos operativas, aplicaciones SaaS, archivos de socios y flujos de eventos.
  • Bronze captura lo que entregó el origen, con suficientes metadatos para rastrearlo y volver a procesarlo.
  • Silver transforma registros con la forma del origen en entidades limpias, validadas y puestas en conformidad en las que puedan confiar varios usos posteriores.
  • Gold prepara esas entidades para procesos de negocio concretos: un modelo de informes, un conjunto de agregados o una tabla detrás de una API.
  • Los consumidores leen Gold y, en ocasiones, Silver, pero nunca Bronze.

El valor está en las fronteras. Cada flecha es un punto donde se realiza una transformación definida, se puede comprobar la calidad y se puede aislar un fallo sin corromper la siguiente capa.

  • Bronze

    Alineada con el origen

    • Sin procesar o mínimamente transformada
    • Auditable y reprocesable
    • Con la forma del origen
    • Principalmente de solo inserción
  • Silver

    Alineada con la empresa

    • Limpia y validada
    • Sin duplicados
    • Entidades y claves puestas en conformidad
    • Reutilizable por varios consumidores
  • Gold

    Alineada con el consumidor

    • Lista para el negocio
    • Modelada o agregada
    • Optimizada para servir datos
    • Con un consumidor identificado
Responsabilidades de cada capa. Si no puedes describir así una capa de tu plataforma, plantéate si realmente debe existir.

Capa Bronze

Bronze contiene datos sin procesar o mínimamente transformados. Su función es conservar la fidelidad al origen: si alguien pregunta qué envió realmente un sistema en un día concreto, Bronze debe poder responder.

Una transformación mínima consiste en convertir los datos a un formato consultable, normalmente una tabla Delta, y añadir metadatos. No significa corregir valores, cambiar nombres de columnas por términos de negocio ni filtrar registros sospechosos. Cada corrección realizada aquí puede eliminar evidencias necesarias más adelante.

Los metadatos de ingesta hacen que Bronze sea útil y no solo grande. Entre las columnas útiles están la marca de tiempo de carga, un identificador de lote o ejecución, el sistema de origen y el nombre del archivo o la ventana de extracción. Con ellos se puede identificar y reprocesar un lote defectuoso, y rastrear cualquier fila Silver hasta la entrada que la produjo.

Esa trazabilidad es la base de la auditabilidad. Bronze suele ser donde se cumplen los requisitos de retención y donde un pipeline puede volver a ejecutarse después de corregir un error en la lógica posterior, sin pedir al sistema de origen que envíe todo otra vez.

Bronze también absorbe la deriva de esquema. Los orígenes añaden columnas, cambian tipos o envían archivos mal formados. Una capa Bronze tolerante puede recibir esos datos, por ejemplo, permitiendo cambios aditivos de esquema o guardando una columna con el payload original, y dejar que la lógica Silver decida qué significa el cambio. Es mejor que fallar la ingesta y perder los datos.

Las cargas Bronze son principalmente de solo inserción. Se añaden datos nuevos y rara vez se cambian los existentes. Esto simplifica la escritura, abarata la carga y encaja bien con las tablas Delta. Los formatos de archivo de origen como CSV, JSON o Parquet pueden conservarse como archivos en el área Files del Lakehouse para mantener la fidelidad, cargarse en tablas Delta Bronze o ambas cosas. Mantener los archivos originales resulta útil cuando la conversión de formato puede perder información.

Cuándo no hace falta Bronze. Si el origen ya es un sistema duradero, consultable y versionado que se puede volver a leer cuando se necesite, y nadie requiere conservar el historial de lo recibido, una copia sin procesar separada puede aportar poco. Algunas plataformas también cargan directamente en una tabla limpia cuando el origen es fiable y la transformación trivial. Bronze se justifica cuando importan el reprocesamiento, la auditoría o la tolerancia a entradas desordenadas.

Capa Silver

Silver es donde los datos se vuelven fiables. El trabajo habitual incluye:

  • Limpieza: quitar espacios sobrantes, corregir codificaciones y tratar valores nulos o centinela.
  • Validación: rechazar o poner en cuarentena los registros que incumplen reglas, en vez de dejarlos pasar en silencio.
  • Eliminación de duplicados: quitar entregas repetidas y conservar la última versión de cada registro.
  • Estandarización: unificar tipos, zonas horarias, unidades, monedas y valores de códigos.
  • Conformidad: organizar los datos como entidades conformadas comunes, como cliente, producto o pedido, para alinear datos de varios orígenes.
  • Joins de carácter técnico y no específico del negocio, por ejemplo, resolver códigos de búsqueda o adjuntar datos de referencia.

Las claves de negocio se vuelven centrales en Silver. Los registros Bronze se identifican por origen y lote; las entidades Silver se identifican mediante claves con significado entre sistemas, como un número de cliente o un ID de pedido. Elegir y aplicar esas claves hace posibles la eliminación de duplicados, MERGE y el seguimiento de cambios.

Las reglas de calidad de datos deben ser comprobaciones explícitas y probables: unicidad de claves, campos obligatorios, rangos válidos e integridad referencial con los datos de referencia. Los registros que fallen pueden enviarse a una tabla de cuarentena con el motivo, para que los problemas sean visibles en vez de desaparecer.

El resultado es un conjunto de datasets curados reutilizables. Silver no se crea para un solo informe. Es la capa que pueden compartir varios modelos Gold, trabajos de ciencia de datos y análisis ad hoc; ahí reside buena parte de su valor.

Capa Gold

Gold está orientada al negocio. Sus tablas existen porque un consumidor identificado las necesita:

  • Informes: hechos y dimensiones detrás de dashboards e informes paginados.
  • Modelos semánticos: modelos de Power BI, incluidos los modelos Direct Lake que leen tablas Delta en OneLake.
  • API: tablas o vistas acotadas y estables que consulta una aplicación.
  • Agregados: totales precalculados cuando calcularlos durante la consulta sería demasiado lento o costoso.

Los modelos dimensionales son la forma más habitual de Gold, porque los analistas los entienden y las herramientas BI los utilizan bien. Las tablas anchas y desnormalizadas también son válidas cuando las necesita un consumidor concreto.

Las tablas Gold son tablas de servicio centradas en el rendimiento. Se diseñan según cómo se leen: qué columnas se filtran, qué granularidad se necesita y cuánta frescura requieren los datos. A diferencia de Silver, una tabla Gold puede construirse razonablemente para un solo propósito, siempre que alguien sea responsable de ella y conozca a sus consumidores.

¿Siempre hacen falta tres capas?

No. La cantidad de capas debe responder a los problemas que necesitas resolver, no al diagrama.

  • Carga sencilla

    Un origen fiable, un consumidor

    1. Origen
    2. Curada
    3. Consumidor

    Es suficiente si el origen es fiable, la transformación es pequeña y no hace falta conservar el historial sin procesar.

  • Carga compleja

    Varios orígenes, varios consumidores

    1. Origen
    2. Bronze
    3. Silver
    4. Gold
    5. Consumidor

    Se justifica por la necesidad de reprocesamiento y auditoría, la conformidad entre orígenes y varios modelos específicos para cada consumidor.

Cuándo tres capas son demasiadas. Un diseño más sencillo suele ser correcto; añade capas cuando creen un contrato real.

Casos habituales en los que bastan menos capas:

  • Bronze + Gold. Un solo origen alimenta un único modelo de informes y la limpieza es menor. Puede hacerse al crear Gold; una copia Silver separada solo duplicaría los datos.
  • Silver + Gold. El origen ya está limpio y versionado, por ejemplo, una base operativa bien gobernada que se lee mediante change tracking. Aterrizar primero una copia sin procesar puede añadir almacenamiento y latencia sin mejorar la auditabilidad.
  • Un modelo curado directo. Para un equipo pequeño, unos pocos orígenes fiables y un Lakehouse o Warehouse con tablas curadas y bien nombradas pueden ser el diseño adecuado. Un modelo claro y probado es mejor que tres capas superficiales.

Las capas adicionales tienen un costo real: más almacenamiento, más cálculo en cada pasada, mayor latencia de extremo a extremo, más pipelines que desplegar y monitorear y más lugares donde las definiciones pueden desviarse. Una capa se justifica cuando crea un contrato del que depende algo: conservar entradas para reprocesarlas, compartir conformidad entre dominios, aislar campos sensibles o atender a varios consumidores con necesidades distintas.

Tablas Delta y arquitectura Medallion

En Fabric, las tablas de Lakehouse y Warehouse se almacenan como tablas Delta en OneLake. Delta ofrece propiedades que hacen práctico el procesamiento por capas:

  • Transacciones ACID en cada tabla, para que los lectores nunca vean un lote a medio escribir.
  • MERGE para upserts y eliminaciones, que es como la mayoría de las tablas Silver incorporan cambios.
  • Aplicación y evolución de esquema, que ayudan a Bronze a tolerar cambios aditivos mientras Silver mantiene reglas estrictas.
  • Compatibilidad con procesamiento incremental, incluido el change data feed cuando está habilitado, para que las capas posteriores lean solo lo que cambió.
  • Historial de transacciones y time travel, útiles para auditoría y recuperación tras una escritura incorrecta.

Delta no diseña las capas por ti. Las transacciones se aplican por tabla, así que un pipeline que escribe varias tablas sigue necesitando su propia lógica de coherencia y reanudación. MERGE en tablas grandes puede ser costoso si la condición de coincidencia no limita los archivos afectados. El time travel depende de la retención y del mantenimiento. Delta hace viable el patrón, pero las fronteras y la lógica siguen siendo decisiones de ingeniería.

Procesamiento incremental

  1. Datos nuevos de origenDesde el último watermark
  2. Inserción en BronzeNuevo lote con metadatos
  3. Registros modificados en SilverMERGE por clave de negocio
  4. Agregados Gold afectadosRecalcular solo los segmentos afectados
Procesamiento incremental: cada capa procesa solo los cambios de la capa anterior.

Una recarga completa reconstruye todas las tablas desde cero en cada ejecución. Es sencilla y funciona cuando el volumen de datos es pequeño. A medida que crecen los volúmenes, el costo depende del tamaño total de los datos y no del tamaño del cambio. Las ejecuciones tardan más, compiten por capacidad y aumentan la ventana en la que puede producirse un fallo.

El procesamiento incremental crece con los cambios. Bronze añade el lote nuevo. Silver identifica las claves de negocio afectadas y fusiona solo esos registros. Gold vuelve a calcular solo los agregados cuyas entradas cambiaron, como los días, tiendas o clientes afectados por el lote.

Las partes difíciles tienen que ver con la corrección, no con la velocidad: datos que llegan tarde, eliminaciones en el origen, lotes reenviados y mantener un watermark fiable. Los pipelines incrementales deben ser idempotentes, para que volver a procesar un lote produzca el mismo resultado, y conviene conciliarlos periódicamente con un recuento completo.

Particionamiento

El particionamiento divide una tabla en carpetas según el valor de una columna, para que las consultas que filtran por esa columna puedan omitir el resto. En plataformas por capas suele aplicarse demasiado pronto y en demasiadas tablas.

  • Particiona solo si hay una justificación. Las tablas pequeñas y medianas suelen ser más rápidas sin particiones. Databricks, por ejemplo, recomienda no particionar tablas de menos de aproximadamente un terabyte y mantener cada partición alrededor de un gigabyte o más.
  • Evita claves de alta cardinalidad. Particionar por ID de cliente o marca de tiempo genera miles de particiones diminutas y muchos archivos pequeños.
  • Las particiones por fecha u hora con granularidad gruesa, como mes o día, suelen ser la opción sensata para tablas grandes alimentadas principalmente mediante inserciones, sobre todo en Bronze, donde los datos llegan por fecha de carga.
  • El pruning solo funciona si las consultas filtran por la columna de particionamiento. Una tabla Gold particionada por fecha de carga no obtiene ventajas si se consulta por fecha de negocio.
  • Cada partición añade archivos. Más particiones implican más archivos, generalmente más pequeños; el particionamiento siempre intercambia pruning por cantidad de archivos.

Las decisiones pueden variar por capa: la fecha de carga puede ser adecuada para Bronze, la fecha de negocio para una tabla de hechos Silver grande y la mayoría de las tablas Gold son lo bastante pequeñas como para no necesitar particiones.

Archivos pequeños

Las tablas Delta están formadas por archivos Parquet y cada archivo tiene un costo: hay que listarlo, abrirlo y leerlo, y sus metadatos deben registrarse en el transaction log. Las inserciones frecuentes de lotes pequeños, la ingesta en streaming, el exceso de particiones y muchos MERGE pequeños generan gran cantidad de archivos pequeños.

Los síntomas son consultas lentas incluso con volúmenes moderados, transaction logs crecientes y escrituras cada vez más lentas. La solución es la compactación: reescribir periódicamente muchos archivos pequeños en menos archivos de mayor tamaño. En Fabric se hace con OPTIMIZE desde Spark o con la funcionalidad de mantenimiento de tablas Lakehouse; Fabric también puede aplicar V-Order para mejorar las lecturas. Después de compactar se ejecuta VACUUM para eliminar archivos que ya no están referenciados, respetando el periodo de retención necesario para time travel.

Cada capa produce archivos pequeños por motivos distintos, así que el mantenimiento debe programarse por tabla y no aplicarse a ciegas en todas partes.

Calidad de datos

Las expectativas de calidad cambian a medida que los datos avanzan por las capas. Cada capa responde a una pregunta diferente.

  1. CompletitudBronze¿Recibimos los datos?
  2. ValidezSilver¿Los datos son válidos y coherentes?
  3. Aptitud para el usoGold¿Los datos son correctos para el caso de negocio?
Evolución de la calidad de datos. Cada capa comprueba algo distinto y los fallos deben ser visibles donde se producen.
  • Bronze comprueba la llegada: se recibieron los archivos o extracciones esperados, el recuento de filas es razonable y el esquema se puede leer. No evalúa los valores.
  • Silver comprueba la validez: las claves son únicas, están presentes los campos obligatorios, los valores están dentro del rango, se resuelven los códigos y se eliminan duplicados. Los registros que fallan se ponen en cuarentena con el motivo.
  • Gold comprueba la corrección de negocio: los totales cuadran con un origen conocido, las medidas se comportan como se espera a lo largo del tiempo y la granularidad coincide con lo que esperan los consumidores.

Las comprobaciones entre capas actúan como barreras. Un lote que no supera la validación Silver no debe llegar silenciosamente a los informes Gold.

Ejemplo de arquitectura Fabric

  1. Orígenes

    • Bases de datos operativas
    • Archivos
    • API
  2. Ingesta

    • Pipeline de datos
    • Notebook
  3. Bronze

    • Lakehouse BronzeTablas Delta y archivos sin procesar
  4. Transformación

    • NotebooksLimpiar, validar y eliminar duplicados
  5. Silver

    • Tablas Delta SilverEntidades puestas en conformidad
  6. Transformaciones de negocio

    • Notebooks o T-SQLModelar y agregar
  7. Gold

    • Lakehouse o Warehouse GoldHechos, dimensiones y tablas de servicio
  8. Servicio

    • SQL analytics endpoint
    • Modelo semántico
    • API
    • Informes

Cross-cutting concerns

  • Integración con Git
  • Pipelines de despliegue
  • Registro de ejecuciones
  • Monitoreo
  • Seguridad del workspace
Ejemplo de implementación Medallion en Microsoft Fabric. Los motores se pueden intercambiar; lo importante son las responsabilidades.

Algunas notas de implementación:

  • Los pipelines de datos son adecuados para copiar datos y orquestar pasos; los notebooks sirven para la lógica de transformación. Muchas plataformas usan pipelines para llamar a notebooks.
  • Separar Lakehouses por capa aclara permisos y responsabilidades, pero un único Lakehouse con nombres claros puede bastar para una plataforma pequeña.
  • Gold puede ser un Lakehouse cuando las transformaciones se escriben en Spark o un Fabric Warehouse si el equipo prefiere T-SQL y necesita transacciones entre varias tablas. El SQL analytics endpoint de un Lakehouse es de solo lectura, así que las escrituras pasan por Spark.
  • El registro, el monitoreo, Git y el despliegue no son capas, pero todas dependen de ellos.

Errores frecuentes

  • Crear tres capas a ciegas porque el patrón las muestra, en vez de dar un propósito a cada una.
  • Duplicar datos sin motivo, como tablas Silver idénticas byte por byte a las de Bronze.
  • Mezclar datos sin procesar y curados en las mismas tablas o Lakehouse sin nombres claros, de modo que los consumidores puedan leer datos no validados por accidente.
  • Colocar lógica de negocio en Bronze, lo que destruye la fidelidad al origen e impide volver a procesar los datos.
  • Particionar en exceso, sobre todo por columnas de alta cardinalidad, creando archivos pequeños y ralentizando todo.
  • Reconstruir tablas enteras innecesariamente en cada ejecución cuando el volumen ya no lo permite.
  • Crear una tabla Gold para cada informe posible, convirtiendo Gold en una colección de duplicados sin responsable.
  • No hacer controles de calidad entre capas, dejando que los problemas lleguen a los informes antes de detectarlos.
  • Carecer de observabilidad: sin registro de ejecuciones, recuentos de filas ni seguimiento de frescura, y sin una forma rápida de saber qué capa falló.

Ejemplo de arquitectura de referencia

El siguiente diseño es un punto de partida, no un plano obligatorio:

  1. Orígenes

    • Bases de datos operativas
    • SaaS y API
    • Archivos
  2. Ingesta

    • Pipelines de datos
    • Notebooks
    • Shortcuts
  3. Bronze / sin procesar

    • Tablas Delta sin procesarAlineadas con el origen y con metadatos del lote
  4. Silver / conformada

    • Entidades conformadasLimpias, validadas y sin duplicados
  5. Gold / curada

    • Modelos curadosTablas de servicio listas para el negocio
  6. Servicio

    • Warehouse
    • SQL analytics endpoint
    • Modelos semánticos
  7. Consumidores

    • API
    • Informes
    • Ciencia de datos

Cross-cutting concerns

  • Git
  • CI/CD
  • Registro
  • Monitoreo
  • Seguridad
  • Configuración
Arquitectura de referencia para una plataforma de datos Fabric. Cada flecha representa un contrato observable con un responsable; las preocupaciones transversales se aplican a todos los niveles.

Las flechas deben corresponder a contratos observables con un responsable definido. Por ejemplo, la ingesta registra el lote de origen, la transformación puede volver a procesarlo, la capa curada publica un esquema estable y los consumidores conocen las expectativas de frescura y calidad.

Conclusión

La arquitectura Medallion es valiosa cuando cada capa tiene un propósito claro y una frontera operativa: entrada definida, transformación definida, control de calidad y responsable. Usada así, facilita confiar en la plataforma, depurarla y cambiarla. Usada como plantilla fija, multiplica el almacenamiento, los pipelines y los puntos de fallo sin mejorar los datos.

Empieza por los problemas que necesitas resolver —reprocesamiento, conformidad entre orígenes, rendimiento de servicio o aislamiento— y añade una capa cuando resuelva uno de ellos.

La sección de arquitectura Medallion del itinerario de Fabric continúa con artículos específicos. Estas guías profundizan en los patrones de ingeniería de cada capa:

Etiquetas

  • Arquitectura medallion
  • Microsoft Fabric
  • Delta Lake
  • Bronze
  • Silver
  • Gold