Explorar guías rápidas · Ingeniería de datos

Tecnología: Ingeniería de datosCategoría: ArquitecturaNivel: IntermedioActualizado

Referencia rápida de la arquitectura Medallion

Diseña capas de datos Bronze, Silver y Gold con una propiedad clara, capacidad de reprocesamiento, controles de calidad, procesamiento incremental y contratos de publicación, sin convertir la arquitectura Medallion en una rígida convención de nombres de carpetas.

En esta página
  1. Problema
  2. Respuesta rápida
  3. Código / comandos
  4. 1. Bronze: conserva la fidelidad al origen
  5. 2. Bronze: conserva el payload sin procesar cuando el parsing pueda cambiar
  6. 3. Bronze: captura la identidad del origen
  7. 4. Bronze: no sobrescribas a la ligera las evidencias del origen
  8. 5. Bronze: pon en cuarentena por separado las entradas mal formadas
  9. 6. Silver: define primero la granularidad canónica
  10. 7. Silver: exige las claves obligatorias
  11. 8. Silver: normaliza los tipos
  12. 9. Silver: elimina duplicados de forma determinista
  13. 10. No uses un dropDuplicates() arbitrario para eliminar duplicados de negocio
  14. 11. Silver: valida la unicidad del origen antes del MERGE
  15. 12. Silver: usa MERGE para las entidades modificables
  16. 13. Silver: actualiza solo con versiones más recientes cuando sea necesario
  17. 14. Silver: mantén explícita la lógica de las llegadas tardías
  18. 15. Silver: usa los datos de referencia con cuidado
  19. 16. Silver: distingue una referencia ausente de una referencia no válida
  20. 17. Silver: crea campos de negocio canónicos
  21. 18. Silver: mantén estable el significado de negocio
  22. 19. Gold: modela para un caso de uso del consumidor
  23. 20. Gold: define explícitamente la granularidad de salida
  24. 21. Gold: concilia los totales
  25. 22. Gold puede ser detallada, no solo agregada
  26. 23. Gold puede ser un modelo de warehouse
  27. 24. Gold puede quedarse en el Lakehouse
  28. 25. No obligues a que cada capa esté en un sistema físico distinto
  29. 26. Bronze normalmente debe ser reprocesable
  30. 27. Conserva las versiones del origen cuando sea necesario
  31. 28. Silver debe ser reproducible
  32. 29. Versiona los datos de referencia críticos
  33. 30. Gold debe tener un contrato con el consumidor
  34. 31. Usa controles de calidad entre capas
  35. 32. Añade metadatos de ejecución
  36. 33. El watermark debe avanzar después de un trabajo duradero completado correctamente
  37. 34. La ingesta de Bronze puede ser de solo inserción
  38. 35. Silver no tiene por qué ser de solo inserción
  39. 36. Gold puede reconstruirse o mantenerse de forma incremental
  40. 37. No hagas incremental cada capa solo porque el origen lo sea
  41. 38. Una recarga histórica debe tener límites explícitos
  42. 39. Las recargas históricas y el procesamiento en curso deben coexistir de forma segura
  43. 40. Separa el checkpoint del procesamiento en curso del estado de las recargas históricas
  44. 41. El streaming encaja en la arquitectura Medallion
  45. 42. El batch encaja en la misma arquitectura
  46. 43. Lo híbrido es normal
  47. 44. No dupliques la lógica de transformación en las rutas batch y streaming
  48. 45. Usa nombres de Bronze alineados con el origen
  49. 46. Usa nombres de Silver canónicos
  50. 47. Usa nombres de Gold orientados al consumidor
  51. 48. No copies cada tabla de origen en las tres capas
  52. 49. No todos los conjuntos de datos necesitan las tres capas
  53. 50. Bronze puede conservar la deriva del esquema del origen
  54. 51. Silver debe fallar o poner en cuarentena los cambios de esquema incompatibles
  55. 52. Asigna identificadores estables a las reglas de calidad de datos
  56. 53. Mantén la cuarentena fuera de las tablas fiables
  57. 54. La cuarentena necesita metadatos para la corrección
  58. 55. Silver puede conservar el linaje hacia el origen rechazado
  59. 56. Gold no debe saltarse Silver a la ligera
  60. 57. Evita la lógica de consumidor en Bronze
  61. 58. Evita que las peculiaridades del origen lleguen a Gold
  62. 59. Centraliza las métricas de negocio
  63. 60. Gold puede tener varios modelos de consumidor
  64. 61. Evita una única tabla gigante de «Gold empresarial»
  65. 62. Usa modelado dimensional cuando corresponda
  66. 63. Gold puede dar servicio a API
  67. 64. Precalcula la lógica de informes costosa cuando sea útil
  68. 65. No precalcules todas las consultas posibles
  69. 66. La frescura de Gold debe ser explícita
  70. 67. El linaje de datos debe atravesar las capas
  71. 68. Usa claves de negocio estables
  72. 69. La lógica SCD corresponde a donde se define el historial canónico
  73. 70. Separa el historial de eventos de las entidades de estado actual
  74. 71. Almacena por separado el tiempo de negocio y el tiempo de ingesta
  75. 72. La política de datos tardíos debe ser específica de cada capa
  76. 73. Las correcciones en Gold deben ser deterministas
  77. 74. El particionamiento puede variar según la capa
  78. 75. Evita el exceso de particiones en Bronze
  79. 76. Evita el exceso de particiones en Silver/Gold
  80. 77. Compacta los archivos pequeños cuando sea necesario
  81. 78. La evolución del esquema debe gobernarse por capa
  82. 79. Los cambios incompatibles requieren versionado/migración
  83. 80. Usa contratos de tabla para Gold
  84. 81. La retención de Bronze debe ajustarse a las necesidades de reprocesamiento
  85. 82. La retención de Silver puede ser distinta
  86. 83. La retención de Gold sigue las necesidades de los consumidores/requisitos legales
  87. 84. La seguridad puede variar según la capa
  88. 85. No uses los nombres de las capas como controles de seguridad
  89. 86. Enmascara/tokeniza donde lo requiera el modelo fiable
  90. 87. Evita almacenar secretos en Bronze salvo que sea necesario
  91. 88. No dejes que Bronze se convierta en un almacén permanente de basura
  92. 89. Monitorea cada capa de forma distinta
  93. 90. Usa criterios de éxito específicos de cada capa
  94. 91. Evita reacciones en cadena por un único lote de origen erróneo
  95. 92. La promoción es una transición de contrato
  96. 93. No promuevas copiando archivos a ciegas
  97. 94. Usa vistas cuando la duplicación física no sea necesaria
  98. 95. Materializa cuando aporte valor
  99. 96. No equipares el número de carpetas con la madurez de la arquitectura
  100. 97. Define la propiedad por capa y por conjunto de datos
  101. 98. Mantén el código modular por responsabilidad
  102. 99. Prueba el reprocesamiento de forma explícita
  103. 100. Usa una lista de verificación de arquitectura repetible
  104. Qué significa el resultado
  105. Qué revisar
  106. Bronze no permite reconstruir Silver
  107. Silver tiene claves de negocio duplicadas
  108. Gold no cuadra con Silver
  109. La lógica de Gold contiene peculiaridades específicas del origen
  110. Cada tabla de origen existe en las tres capas sin ninguna transformación
  111. Las recargas históricas interfieren con los jobs en curso
  112. Notas de producción
  113. La arquitectura Medallion es un modelo de responsabilidades
  114. La capacidad de reprocesamiento es una de las pruebas de diseño más sólidas
  115. La calidad corresponde a las transiciones entre capas
  116. La retención y la seguridad varían según la capa
  117. Gold es un producto de datos
  118. El diseño incremental debe seguir siendo recuperable
  119. Errores comunes
  120. 1. Tratar Bronze como un vertedero sin gobernanza
  121. 2. Hacer transformaciones de negocio en Bronze
  122. 3. Eliminar duplicados de forma arbitraria en Silver
  123. 4. Dejar que Gold se salte Silver de forma habitual
  124. 5. Suponer que Gold debe estar agregada
  125. 6. Copiar cada tabla en las tres capas
  126. 7. Avanzar los watermarks antes de que se superen los controles de calidad
  127. 8. Ignorar los datos que llegan tarde
  128. 9. Usar los nombres de las capas como seguridad
  129. 10. No tener una ruta de reprocesamiento/recarga histórica
  130. Siguiente paso
  131. Para profundizar

Problema

Una plataforma de datos necesita límites claros entre la ingesta sin procesar, la transformación fiable y los datos listos para los consumidores.

Los equipos suelen adoptar las etiquetas Bronze, Silver y Gold, pero las etiquetas por sí solas no resuelven las verdaderas preguntas de ingeniería:

  • ¿Qué se permite en cada capa?
  • ¿Qué capa es la referencia para el reprocesamiento?
  • ¿Dónde se deben eliminar los duplicados?
  • ¿Dónde deben vivir las reglas de negocio?
  • ¿Cómo se gestionan la deriva del esquema y los registros erróneos?
  • ¿Cómo funcionan las cargas incrementales y las recargas históricas (backfills)?
  • ¿Pueden coexistir el streaming y el batch?
  • ¿Cuándo debe Gold ser una tabla de Lakehouse y cuándo un modelo de warehouse/informes?
  • ¿Cómo evitas que la misma transformación se reimplemente de forma distinta en varias capas?

El objetivo es usar el patrón Medallion como un modelo de responsabilidades, no como una jerarquía de carpetas decorativa.

Respuesta rápida

Usa este modelo mental:

Bronze
→ conservar la verdad del origen y la capacidad de reprocesamiento

Silver
→ crear datos fiables, limpios y armonizados con una granularidad de negocio definida

Gold
→ publicar datos listos para los consumidores con una semántica de negocio estable

Un flujo práctico:

origen
→ Bronze: ingesta + metadatos + normalización mínima
→ Silver: validación + eliminación de duplicados + armonización + enriquecimiento
→ Gold: agregación/modelado/publicación para su uso por los consumidores

Un buen principio por defecto:

Bronze responde:
«¿Qué envió el origen?»

Silver responde:
«¿Qué significan los datos canónicos fiables?»

Gold responde:
«¿Qué debe usar un consumidor?»

Código / comandos

1. Bronze: conserva la fidelidad al origen

Responsabilidades típicas de Bronze:

insertar los registros de origen
conservar los campos sin procesar
capturar los metadatos del archivo/evento de origen
capturar la marca de tiempo de ingesta
capturar el identificador de lote/ejecución
evitar transformaciones de negocio destructivas

Ejemplo de patrón en PySpark:

from pyspark.sql import functions as F

bronze = (
    source_df
    .withColumn(
        "_ingested_at",
        F.current_timestamp(),
    )
    .withColumn(
        "_source_file",
        F.input_file_name(),
    )
    .withColumn(
        "_batch_id",
        F.lit(batch_id),
    )
)

Después, escribe los datos en modo de inserción:

(
    bronze.write
    .format("delta")
    .mode("append")
    .saveAsTable("bronze.orders_raw")
)

Usa semántica de inserción cuando el origen represente llegadas inmutables.


2. Bronze: conserva el payload sin procesar cuando el parsing pueda cambiar

Para payloads de eventos/API:

campos parseados
+
raw_payload

puede ser valioso.

Ejemplo:

bronze = source_df.withColumn(
    "_raw_payload",
    F.to_json(F.struct("*")),
)

No lo uses a ciegas si el payload contiene secretos o datos regulados.

Conserva solo lo que permita tu política de retención/seguridad.


3. Bronze: captura la identidad del origen

Metadatos útiles:

_source_system
_source_file
_source_event_id
_ingested_at
_batch_id
_pipeline_run_id
_source_partition

Estos campos facilitan:

  • el reprocesamiento
  • la detección de duplicados
  • el linaje
  • el análisis de incidentes

4. Bronze: no sobrescribas a la ligera las evidencias del origen

Mal patrón:

leer el origen
→ convertir los valores no válidos en null
→ descartar el original

Mejor:

campo sin procesar
+
campo parseado
+
estado/motivo del parsing

Así se conservan las evidencias para la corrección.


5. Bronze: pon en cuarentena por separado las entradas mal formadas

Ejemplo:

valid = parsed.filter(
    F.col("_parse_error").isNull()
)

invalid = parsed.filter(
    F.col("_parse_error").isNotNull()
)

Escribe las filas no válidas con:

motivo
ubicación en el origen
lote
marca de tiempo de ingesta

No descartes en silencio los registros mal formados.


6. Silver: define primero la granularidad canónica

Antes de transformar Silver, indica qué significa cada fila.

Ejemplo:

una fila por order_id

o:

una fila por línea de pedido

No dejes que los joins o los reintentos cambien esa granularidad en silencio.


7. Silver: exige las claves obligatorias

Ejemplo:

silver_candidate = bronze.filter(
    F.col("order_id").isNotNull()
)

Si las claves nulas no son válidas, envíalas a cuarentena en lugar de descartarlas discretamente sin dejar rastro.


8. Silver: normaliza los tipos

Ejemplo:

silver_candidate = (
    bronze
    .withColumn(
        "order_date",
        F.to_date("order_date_raw"),
    )
    .withColumn(
        "amount",
        F.col("amount_raw").cast("decimal(18,2)"),
    )
)

Valida explícitamente los fallos de conversión.


9. Silver: elimina duplicados de forma determinista

Si el origen puede reenviar el mismo registro de negocio, elige una versión ganadora documentada.

Ejemplo:

from pyspark.sql.window import Window

w = (
    Window
    .partitionBy("order_id")
    .orderBy(
        F.col("source_updated_at").desc(),
        F.col("_ingested_at").desc(),
        F.col("_source_event_id").desc(),
    )
)

deduped = (
    silver_candidate
    .withColumn(
        "_rn",
        F.row_number().over(w),
    )
    .filter(F.col("_rn") == 1)
    .drop("_rn")
)

Los criterios de desempate deben ser deterministas.


10. No uses un dropDuplicates() arbitrario para eliminar duplicados de negocio

Mal:

df.dropDuplicates(["order_id"])

Esto no indica qué versión prevalece.

Usa una lógica de ventana ordenada o el versionado del origen.


11. Silver: valida la unicidad del origen antes del MERGE

duplicates = (
    deduped
    .groupBy("order_id")
    .count()
    .filter(F.col("count") > 1)
)

if duplicates.limit(1).count() > 0:
    raise ValueError(
        "Silver source is not unique by order_id"
    )

Esto protege la granularidad del destino.


12. Silver: usa MERGE para las entidades modificables

from delta.tables import DeltaTable

target = DeltaTable.forName(
    spark,
    "silver.orders",
)

(
    target.alias("t")
    .merge(
        deduped.alias("s"),
        "t.order_id = s.order_id",
    )
    .whenMatchedUpdateAll()
    .whenNotMatchedInsertAll()
    .execute()
)

Usa asignaciones de columnas explícitas cuando necesites un control más estricto del esquema.


13. Silver: actualiza solo con versiones más recientes cuando sea necesario

Condición conceptual:

source.source_updated_at > target.source_updated_at

Ejemplo:

(
    target.alias("t")
    .merge(
        deduped.alias("s"),
        "t.order_id = s.order_id",
    )
    .whenMatchedUpdateAll(
        condition=(
            "s.source_updated_at > t.source_updated_at"
        )
    )
    .whenNotMatchedInsertAll()
    .execute()
)

Esto evita que registros antiguos reprocesados sobrescriban un estado más reciente.


14. Silver: mantén explícita la lógica de las llegadas tardías

Ejemplo:

pedido creado el 1 de octubre
llega el 4 de octubre

Decide si Silver:

  • actualiza la partición histórica
  • inserta un evento
  • cambia el estado actual de la entidad
  • lo envía a una ruta de conciliación

El comportamiento ante datos tardíos forma parte del contrato.


15. Silver: usa los datos de referencia con cuidado

Ejemplo:

orders = (
    orders.alias("o")
    .join(
        customers.alias("c"),
        on="customer_id",
        how="left",
    )
)

Valida que la clave de la dimensión/referencia sea única antes del join.

De lo contrario, Silver puede multiplicar filas de forma inesperada.


16. Silver: distingue una referencia ausente de una referencia no válida

Un cliente ausente podría significar:

una clave errónea
un cliente que llega tarde
un retraso en la actualización de la referencia

No clasifiques cada ausencia como un dato corrupto sin entender los tiempos del origen.


17. Silver: crea campos de negocio canónicos

Ejemplos:

código de país normalizado
moneda canónica
marca de tiempo de evento fiable
estado de negocio
ID de comercio armonizado

Evita aquí la lógica de presentación específica de un consumidor, salvo que sea realmente canónica.


18. Silver: mantén estable el significado de negocio

Si una tabla Silver significa:

una fila por cuenta activa

no la cambies más adelante a:

una fila por evento de cuenta

sin un cambio deliberado de contrato/versión.


19. Gold: modela para un caso de uso del consumidor

Gold no es simplemente:

Silver con nombres más bonitos

Gold debe responder a una necesidad del consumidor/negocio.

Ejemplos:

ventas diarias por comercio
vista 360 del cliente
resumen financiero mensual
modelo de hechos/dimensiones listo para informes
tabla de features
tabla de publicación para una API

20. Gold: define explícitamente la granularidad de salida

Ejemplo:

una fila por:
report_date + merchant_id + currency

Después, agrega:

gold = (
    silver_orders
    .groupBy(
        "order_date",
        "merchant_id",
        "currency",
    )
    .agg(
        F.count("*").alias("order_count"),
        F.sum("amount").alias("gross_amount"),
    )
)

Valida la unicidad con esa granularidad.


21. Gold: concilia los totales

Antes de publicar:

silver_total = (
    silver_orders
    .filter(
        (F.col("order_date") >= "2026-10-01") &
        (F.col("order_date") <  "2026-11-01")
    )
    .agg(
        F.sum("amount").alias("amount")
    )
)

gold_total = (
    gold
    .filter(
        (F.col("order_date") >= "2026-10-01") &
        (F.col("order_date") <  "2026-11-01")
    )
    .agg(
        F.sum("gross_amount").alias("amount")
    )
)

Gold debe cuadrar con la semántica fiable de las capas anteriores para el mismo alcance.


22. Gold puede ser detallada, no solo agregada

Gold puede contener:

una tabla de hechos detallada lista para los consumidores

si el consumidor necesita datos a nivel de fila.

No fuerces la agregación solo porque la capa se llame Gold.


23. Gold puede ser un modelo de warehouse

Encaja bien:

Lakehouse Bronze/Silver
→ Warehouse Gold

cuando los consumidores necesitan:

  • publicación SQL
  • modelos dimensionales
  • BI/informes
  • procedimientos almacenados o semántica de warehouse, donde se admitan

No dupliques datos en un warehouse salvo que el valor de publicación lo justifique.


24. Gold puede quedarse en el Lakehouse

Encaja bien cuando los consumidores usan:

  • Spark
  • notebooks
  • acceso directo al lake
  • superficies SQL del Lakehouse
  • cargas de trabajo de ingeniería posteriores

La arquitectura debe seguir las necesidades de los consumidores.


25. No obligues a que cada capa esté en un sistema físico distinto

Puedes tener:

Bronze Lakehouse
Silver Lakehouse
Gold Lakehouse

o:

Bronze/Silver Lakehouse
Gold Warehouse

El concepto Medallion trata de límites de responsabilidad, no de productos obligatorios.


26. Bronze normalmente debe ser reprocesable

Una prueba clave:

¿Puedo reconstruir Silver si cambia la lógica de transformación?

Si no, puede que Bronze no esté conservando suficiente historial del origen.


27. Conserva las versiones del origen cuando sea necesario

Si el origen solo envía instantáneas modificables, valora si necesitas:

el historial de llegadas
la fecha de la instantánea
la versión del origen

para auditoría/reprocesamiento.

No supongas que el estado actual del origen basta para reconstruir la lógica histórica.


28. Silver debe ser reproducible

Con:

el mismo alcance de Bronze
el mismo código/versión de transformación
los mismos datos/versión de referencia

deberías poder reproducir el mismo resultado de Silver en la medida de lo posible.

Las dependencias modificables ocultas reducen la capacidad de reprocesamiento.


29. Versiona los datos de referencia críticos

Si Silver depende de:

la jerarquía de comercios
el mapeo de monedas
el mapeo de países

y estos cambian con el tiempo, conserva fechas de vigencia o versiones cuando importe la exactitud histórica.


30. Gold debe tener un contrato con el consumidor

Documenta:

granularidad
claves
métricas
dimensiones
frecuencia de actualización
frescura esperada
comportamiento ante datos tardíos
propiedad

Esto convierte Gold en un producto, no en una tabla más.


31. Usa controles de calidad entre capas

Ejemplo:

Control Bronze → Silver:
esquema requerido
clave obligatoria presente
parsing correcto
política de duplicados

Control Silver → Gold:
granularidad fiable
integridad referencial
conciliación de métricas
frescura

No traslades toda la validación a la capa final.


32. Añade metadatos de ejecución

Metadatos útiles por ejecución de pipeline:

run_id
batch_id
watermark de origen
watermark de destino
número de filas
estado
versión del código
started_at
completed_at

Esto facilita el linaje y el reprocesamiento.


33. El watermark debe avanzar después de un trabajo duradero completado correctamente

Correcto:

leer
→ transformar
→ validar
→ escribir
→ conciliar
→ avanzar el watermark

Mal:

avanzar el watermark
→ la escritura falla

Lo segundo puede hacer que se omitan datos.


34. La ingesta de Bronze puede ser de solo inserción

Útil cuando el origen son:

eventos
archivos
registros CDC
instantáneas de API con metadatos de lote

La inserción conserva el historial.

Después, la lógica de Silver decide el estado actual/canónico.


35. Silver no tiene por qué ser de solo inserción

Las entidades canónicas modificables suelen necesitar:

MERGE
actualización
eliminación
gestión de SCD

El modo de escritura correcto depende de la semántica de la entidad.


36. Gold puede reconstruirse o mantenerse de forma incremental

La reconstrucción completa puede ser mejor cuando:

  • Gold es lo bastante pequeña
  • la lógica cambia a menudo
  • importa la simplicidad para garantizar la exactitud

Una Gold incremental puede ser mejor cuando:

  • la tabla es grande
  • los cambios diarios son pequeños
  • el costo de reconstrucción es alto

Elige de forma deliberada.


37. No hagas incremental cada capa solo porque el origen lo sea

A veces:

Bronze con inserción
Silver con MERGE
Gold con reconstrucción completa

es el diseño correcto más sencillo.

El modo de ejecución puede variar según la capa.


38. Una recarga histórica debe tener límites explícitos

Ejemplo:

recarga histórica:
2026-09-01
hasta
2026-09-07

No uses algo vago como:

reconstruir los datos recientes

para correcciones en producción.


39. Las recargas históricas y el procesamiento en curso deben coexistir de forma segura

Posible conflicto:

el job en curso actualiza el 4 de octubre
la recarga histórica reescribe del 1 de septiembre al 4 de octubre

Define:

  • las reglas de solapamiento
  • las claves de merge
  • la coordinación de jobs
  • el comportamiento de los reintentos
  • las expectativas de concurrencia

40. Separa el checkpoint del procesamiento en curso del estado de las recargas históricas

Una reparación histórica no debe hacer retroceder el estado del streaming/procesamiento en curso.

Mantén independientes los controles de las recargas históricas.


41. El streaming encaja en la arquitectura Medallion

Ejemplo:

flujo de eventos
→ tabla de eventos Bronze duradera
→ transformación Silver en streaming
→ agregados Gold

Las capas siguen representando responsabilidades.


42. El batch encaja en la misma arquitectura

Ejemplo:

archivo diario
→ carga sin procesar en Bronze
→ limpieza/merge en Silver
→ tabla de informes Gold

La arquitectura Medallion es independiente de la cadencia de ejecución.


43. Lo híbrido es normal

Ejemplo:

Bronze se ingiere de forma continua
Silver se actualiza cada pocos minutos
Gold se reconstruye cada hora

Puede ser totalmente válido si cumple los SLA.


44. No dupliques la lógica de transformación en las rutas batch y streaming

Si es posible, centraliza las reglas de transformación de negocio para que:

el procesamiento en curso
y
el reprocesamiento histórico

produzcan resultados coherentes.


45. Usa nombres de Bronze alineados con el origen

Ejemplos:

bronze.salesforce_accounts
bronze.orders_api_events
bronze.erp_invoice_files

Bronze suele estar centrada en el origen.


46. Usa nombres de Silver canónicos

Ejemplos:

silver.customer
silver.order
silver.merchant

Silver suele pasar de la nomenclatura del origen a conceptos de negocio.


47. Usa nombres de Gold orientados al consumidor

Ejemplos:

gold.daily_merchant_sales
gold.finance_monthly_summary
gold.customer_360

Los nombres de Gold deben revelar el uso previsto.


48. No copies cada tabla de origen en las tres capas

Mal patrón:

bronze.table_a
silver.table_a
gold.table_a

para cada tabla, sin importar si hace falta.

Crea Gold solo cuando exista un contrato real con un consumidor.


49. No todos los conjuntos de datos necesitan las tres capas

Un conjunto de datos de referencia pequeño puede ir:

origen
→ Silver

con la auditoría de los datos sin procesar en otro lugar.

Un flujo de staging temporal puede no necesitar Gold.

Aplica las responsabilidades, no una ceremonia rígida.


50. Bronze puede conservar la deriva del esquema del origen

Según la plataforma:

campos nuevos
campos desconocidos
payload sin procesar

pueden aceptarse en Bronze.

Silver debe decidir si el nuevo esquema es compatible.


51. Silver debe fallar o poner en cuarentena los cambios de esquema incompatibles

Ejemplos:

se elimina una clave obligatoria
un decimal pasa a ser una cadena mal formada
cambia el significado de una marca de tiempo

No son derivas inofensivas.

Falla de forma segura o pon en cuarentena según la gravedad de la regla.


52. Asigna identificadores estables a las reglas de calidad de datos

Ejemplo:

DQ_ORDER_001
→ order_id obligatorio

DQ_ORDER_002
→ una fila de Silver por order_id

DQ_ORDER_003
→ la moneda debe estar admitida

Esto hace observables los controles entre capas.


53. Mantén la cuarentena fuera de las tablas fiables

Los registros no válidos no deben mezclarse en silencio con:

silver.orders

si Silver se presenta como fiable.

Usa una tabla dedicada:

quarantine.orders_invalid

o equivalente.


54. La cuarentena necesita metadatos para la corrección

Incluye:

rule_id
reason
source_file
batch_id
ingested_at
la clave de negocio si está disponible

Esto convierte los fallos en trabajo accionable.


55. Silver puede conservar el linaje hacia el origen rechazado

Para las filas corregidas, conserva:

_source_system
_source_event_id
_source_file

cuando sea útil.

Canónico no significa sin linaje.


56. Gold no debe saltarse Silver a la ligera

Mal:

Gold lee directamente Bronze sin procesar
porque el informe es urgente

Esto genera una semántica incoherente.

Sáltate Silver solo cuando la arquitectura defina explícitamente otra ruta fiable.


57. Evita la lógica de consumidor en Bronze

Mala transformación en Bronze:

renombrar los campos con las etiquetas de los informes
aplicar los filtros de los dashboards
calcular las definiciones de los KPI

Eso corresponde a capas posteriores.

Bronze debe seguir orientada al origen.


58. Evita que las peculiaridades del origen lleguen a Gold

Gold no debe obligar a los consumidores a entender que:

el indicador X del sistema de origen significa activo
el estado 7 del origen significa cancelado

Silver debe normalizar antes ese significado.


59. Centraliza las métricas de negocio

Si gross_revenue se define en Gold, documenta la fórmula una sola vez.

No dejes que cada informe la redefina de otra manera.


60. Gold puede tener varios modelos de consumidor

Ejemplo:

gold.sales_daily
gold.finance_monthly
gold.marketing_attribution

Cada uno puede ser válido aunque derive de los mismos datos de Silver.

Gold está orientada al consumidor/caso de uso.


61. Evita una única tabla gigante de «Gold empresarial»

Una tabla enorme que intenta satisfacer a todos los consumidores suele acabar siendo:

  • difícil de gobernar
  • difícil de optimizar
  • semánticamente ambigua

Prefiere modelos estables diseñados para un propósito concreto.


62. Usa modelado dimensional cuando corresponda

Gold puede usar:

tablas de hechos
tablas de dimensiones
esquema en estrella

cuando el consumidor es BI/informes.

La arquitectura Medallion y el modelado dimensional son complementarios.


63. Gold puede dar servicio a API

Ejemplo:

datos canónicos de Silver
→ tabla de publicación Gold
→ servicio de informes/API

Esto puede aislar las transformaciones costosas de la publicación en el momento de la solicitud.


64. Precalcula la lógica de informes costosa cuando sea útil

Ejemplo:

agregado diario de Gold

puede evitar recalcular los mismos joins costosos en cada solicitud a la API.

Úsalo solo para patrones de consulta estables y repetitivos.


65. No precalcules todas las consultas posibles

Si las dimensiones/filtros de los consumidores son muy dinámicos, puede ser mejor un modelo de publicación más flexible.

Equilibra:

precálculo
frente a
flexibilidad de las consultas

66. La frescura de Gold debe ser explícita

Ejemplo:

actualización cada 15 minutos

o:

disponible a diario antes de las 06:00 UTC

Los consumidores necesitan conocer la frescura esperada.


67. El linaje de datos debe atravesar las capas

Como mínimo, debes poder responder:

¿Qué origen/lote creó esta fila de Silver?
¿Qué datos de Silver produjeron este resultado de Gold?
¿Qué versión del pipeline/código se usó?

Las herramientas concretas de linaje varían según la plataforma.


68. Usa claves de negocio estables

Las claves suplentes pueden ser útiles para los modelos de warehouse.

Aun así, conserva los identificadores de origen/negocio necesarios para la trazabilidad.


69. La lógica SCD corresponde a donde se define el historial canónico

Para las dimensiones:

Silver
o
Gold

pueden ser válidas según la arquitectura.

Lo importante es la coherencia.

No implementes SCD de tipo 2 de forma distinta en varias capas de consumo.


70. Separa el historial de eventos de las entidades de estado actual

Ejemplo:

silver.order_events
→ historial de solo inserción

silver.orders
→ estado canónico actual

Ambos pueden ser valiosos.

No obligues a una sola tabla a representar ambas semánticas de forma ambigua.


71. Almacena por separado el tiempo de negocio y el tiempo de ingesta

Columnas útiles:

event_time
source_updated_at
ingested_at
processed_at

Responden a preguntas distintas.


72. La política de datos tardíos debe ser específica de cada capa

Bronze:

aceptar/conservar las llegadas tardías

Silver:

aplicar la corrección canónica

Gold:

recalcular los agregados afectados

Suele ser más limpio que fingir que las llegadas tardías no existen.


73. Las correcciones en Gold deben ser deterministas

Si un registro tardío de Silver afecta a:

el agregado por comercio/día

reconstruye o actualiza exactamente ese alcance de Gold.

Evita reescrituras amplias sin explicación.


74. El particionamiento puede variar según la capa

Ejemplo:

Bronze
→ ingestion_date

Silver
→ event_date

Gold
→ report_month

Puede ser válido porque cada capa tiene patrones de acceso distintos.

No reutilices la estrategia de particionamiento de forma mecánica.


75. Evita el exceso de particiones en Bronze

Los identificadores de origen con alta cardinalidad pueden crear archivos/directorios diminutos.

Usa particiones operativas amplias, como fecha/origen, cuando esté justificado.


76. Evita el exceso de particiones en Silver/Gold

Usa columnas de partición alineadas con:

  • los filtros habituales
  • las recargas históricas
  • la retención
  • el mantenimiento

no con cada dimensión.


77. Compacta los archivos pequeños cuando sea necesario

En Delta, el mantenimiento admitido por la plataforma puede incluir:

OPTIMIZE silver.orders;

Úsalo en función de la fragmentación de archivos observada.

No programes un mantenimiento costoso sin evidencias.


78. La evolución del esquema debe gobernarse por capa

Bronze puede tolerar una deriva aditiva.

Silver debe imponer el esquema canónico.

Gold debe proteger con firmeza los contratos con los consumidores.

Cada capa puede tener políticas de evolución distintas.


79. Los cambios incompatibles requieren versionado/migración

Ejemplo:

cambia la definición de una métrica de Gold

No alteres en silencio la semántica histórica si los consumidores dependen de la definición anterior.

Opciones:

  • una nueva versión/tabla
  • una migración coordinada
  • una recarga histórica documentada

80. Usa contratos de tabla para Gold

Documenta:

propietario
SLA
granularidad
claves
actualización
esquema
métricas
retención
política de cambios incompatibles

Esto hace que Gold sea fiable para los consumidores.


81. La retención de Bronze debe ajustarse a las necesidades de reprocesamiento

Si Bronze es la única fuente para el reprocesamiento y solo conservas tres días, más adelante no podrás reconstruir seis meses de Silver.

La retención es una decisión de arquitectura.


82. La retención de Silver puede ser distinta

Las tablas Silver de estado actual pueden no necesitar el mismo modelo de retención que el historial de solo inserción de Bronze.

Define cada una de forma explícita.


83. La retención de Gold sigue las necesidades de los consumidores/requisitos legales

Ejemplos:

13 meses para informes
7 años para finanzas
90 días para un dashboard operativo

No heredes automáticamente la retención de Silver.


84. La seguridad puede variar según la capa

Ejemplo:

Bronze
→ datos personales sin procesar con acceso muy restringido

Silver
→ datos enmascarados/armonizados

Gold
→ acceso de los consumidores con privilegios mínimos

La arquitectura Medallion puede facilitar una exposición progresiva de los datos.


85. No uses los nombres de las capas como controles de seguridad

Que una tabla se llame:

gold.*

no la hace segura.

Usa permisos reales, enmascaramiento, seguridad a nivel de fila y políticas.


86. Enmascara/tokeniza donde lo requiera el modelo fiable

Silver puede ser el lugar adecuado para:

  • normalizar identificadores sensibles
  • tokenizar
  • enmascarar
  • eliminar secretos sin procesar innecesarios

según la gobernanza.


87. Evita almacenar secretos en Bronze salvo que sea necesario

La fidelidad al origen sin procesar no justifica conservar:

contraseñas
tokens de acceso
claves privadas

Elimina o protege los datos sensibles según la política.


88. No dejes que Bronze se convierta en un almacén permanente de basura

Conservar los datos sin procesar no significa:

sin esquema
sin metadatos
sin retención
sin propietario

Bronze también necesita gobernanza.


89. Monitorea cada capa de forma distinta

Bronze:

llegada
esquema
número de archivos/eventos
latencia de ingesta

Silver:

eliminación de duplicados
calidad
integridad referencial
watermark
salud del MERGE

Gold:

conciliación
frescura
SLA del consumidor
rendimiento de las consultas

90. Usa criterios de éxito específicos de cada capa

Un pipeline puede completarse correctamente a nivel técnico mientras Gold está desactualizada.

Define el éxito por capa, no solo como «job completado».


91. Evita reacciones en cadena por un único lote de origen erróneo

Cuando sea posible:

poner en cuarentena el lote de Bronze erróneo
impedir la promoción a Silver
mantener en marcha los conjuntos de datos no relacionados

No dejes que un solo archivo mal formado detenga toda la plataforma si es posible aislarlo.


92. La promoción es una transición de contrato

Conceptualmente:

Bronze → Silver

significa:

los datos alineados con el origen superaron las reglas de calidad canónicas

y:

Silver → Gold

significa:

los datos canónicos fiables superaron la validación del consumidor/negocio

93. No promuevas copiando archivos a ciegas

La transición entre capas debe corresponder a una responsabilidad de transformación/validación.

Si Bronze y Silver son idénticas byte a byte para siempre, cuestiona si ambas capas aportan valor.


94. Usa vistas cuando la duplicación física no sea necesaria

Una vista lógica de Gold sobre Silver fiable puede bastar para algunos consumidores.

No materialices cada capa/tabla si no hay ningún beneficio de rendimiento o aislamiento.


95. Materializa cuando aporte valor

Motivos:

rendimiento
aislamiento de los consumidores
instantánea estable
seguridad
modelo simplificado
lógica costosa repetida

La materialización debe resolver un problema concreto.


96. No equipares el número de carpetas con la madurez de la arquitectura

Esto:

/bronze/
/silver/
/gold/

no garantiza:

  • la capacidad de reprocesamiento
  • la calidad
  • los contratos
  • la observabilidad
  • la idempotencia

Lo que importa son las prácticas de ingeniería.


97. Define la propiedad por capa y por conjunto de datos

Para cada tabla de producción, debes saber:

¿quién es responsable de la ingesta?
¿quién es responsable de la semántica canónica?
¿quién es responsable de las definiciones de métricas para los consumidores?

Una propiedad poco clara produce datos desactualizados y contradictorios.


98. Mantén el código modular por responsabilidad

Separación útil:

ingerir
validar
normalizar
eliminar duplicados
hacer merge
agregar
conciliar
publicar

Esto facilita la reutilización y las pruebas.


99. Prueba el reprocesamiento de forma explícita

Toma un intervalo conocido de Bronze:

2026-10-01

reconstruye Silver/Gold en un destino de prueba y compara con los resultados esperados.

No supongas que el reprocesamiento funciona porque el código es «determinista».


100. Usa una lista de verificación de arquitectura repetible

Antes de añadir un conjunto de datos:

1. ¿Cuál es la verdad del origen?
2. ¿Qué debe conservar Bronze?
3. ¿Cuál es la granularidad de negocio de Silver?
4. ¿Qué regla de eliminación de duplicados/versión se aplica?
5. ¿Qué controles de calidad son bloqueantes?
6. ¿Qué política de datos tardíos se aplica?
7. ¿Qué contrato de Gold con el consumidor se necesita?
8. ¿Cuál es la ruta de reprocesamiento/recarga histórica?
9. ¿Cuáles son las reglas de retención/seguridad?
10. ¿Qué métricas demuestran que el conjunto de datos está en buen estado?

Qué significa el resultado

Capa Responsabilidad principal Patrón de escritura típico
Bronze Conservar datos alineados con el origen y reprocesables Inserción / instantáneas del origen
Silver Producir datos canónicos fiables MERGE, eliminación de duplicados, normalización, validación
Gold Publicar una semántica lista para los consumidores Agregación, modelado, publicación, reconstrucción/incremental

La idea central es:

Bronze
→ evidencia

Silver
→ confianza

Gold
→ consumo

Qué revisar

Bronze no permite reconstruir Silver

Puede que no estés conservando suficiente historial/metadatos del origen.

Silver tiene claves de negocio duplicadas

Revisa los reintentos del origen, el orden de eliminación de duplicados, la cardinalidad de los joins y la unicidad de la entrada del MERGE.

Gold no cuadra con Silver

Revisa:

  • la granularidad
  • los filtros
  • los joins
  • las reglas de moneda/signo
  • las filas duplicadas/descartadas
  • los datos tardíos

La lógica de Gold contiene peculiaridades específicas del origen

Probablemente Silver no es lo bastante canónica.

Cada tabla de origen existe en las tres capas sin ninguna transformación

Puede que la arquitectura sea ceremonial en lugar de funcional.

Las recargas históricas interfieren con los jobs en curso

Revisa el solapamiento, el aislamiento de los checkpoints, la concurrencia de escritura y el alcance del destino.

Notas de producción

La arquitectura Medallion es un modelo de responsabilidades

No trates Bronze/Silver/Gold como niveles de almacenamiento físico obligatorios.

La capacidad de reprocesamiento es una de las pruebas de diseño más sólidas

Si se descubre un defecto, la plataforma debe tener una forma creíble de reconstruir los datos fiables afectados.

La calidad corresponde a las transiciones entre capas

Las transiciones entre capas deben corresponder a controles explícitos, no solo a la ejecución correcta de un notebook.

La retención y la seguridad varían según la capa

La retención de los datos de origen sin procesar y el acceso a ellos pueden necesitar ser mucho más estrictos que en Gold.

Gold es un producto de datos

La estabilidad semántica, la frescura, la propiedad y la gestión de cambios importan tanto como el rendimiento de las consultas.

El diseño incremental debe seguir siendo recuperable

Los watermarks/checkpoints forman parte de la exactitud.

Trátalos como estado de producción.

Errores comunes

1. Tratar Bronze como un vertedero sin gobernanza

Los datos sin procesar también necesitan propietario, metadatos, retención y seguridad.

2. Hacer transformaciones de negocio en Bronze

Esto reduce la capacidad de reprocesamiento y la fidelidad al origen.

3. Eliminar duplicados de forma arbitraria en Silver

El estado canónico requiere una versión ganadora determinista.

4. Dejar que Gold se salte Silver de forma habitual

Esto genera semánticas de negocio contradictorias.

5. Suponer que Gold debe estar agregada

Las tablas Gold detalladas y listas para los consumidores pueden ser válidas.

6. Copiar cada tabla en las tres capas

No todos los conjuntos de datos necesitan todas las capas.

7. Avanzar los watermarks antes de que se superen los controles de calidad

Esto puede hacer que se omitan datos.

8. Ignorar los datos que llegan tarde

Las correcciones históricas en Silver/Gold deben planificarse.

9. Usar los nombres de las capas como seguridad

Siguen siendo necesarios permisos/políticas.

10. No tener una ruta de reprocesamiento/recarga histórica

Tarde o temprano, los defectos o los cambios de lógica obligarán a hacer reparaciones históricas.

Siguiente paso

Usa el síntoma de la capa para elegir la siguiente acción.

  • Necesitas reprocesamiento/auditoría de los datos sin procesar → refuerza la fidelidad al origen y los metadatos de Bronze.
  • Silver tiene duplicados → corrige la granularidad, el orden de eliminación de duplicados o la cardinalidad de los joins.
  • El esquema de Silver no deja de cambiar → define reglas de compatibilidad gobernadas.
  • Gold no cuadra → compara la granularidad y los totales de negocio con Silver.
  • Los consumidores necesitan menos latencia → cambia la cadencia de ejecución, no las responsabilidades de las capas.
  • Las recargas históricas entran en conflicto con el procesamiento en curso → aísla el estado/los checkpoints y los alcances de destino.
  • Gold da servicio a BI/informes → evalúa un Warehouse/modelado dimensional cuando sea útil.
  • Gold da servicio a Spark/ciencia de datos → el Lakehouse puede seguir siendo la superficie adecuada.
  • Todas las capas parecen redundantes → elimina las copias físicas innecesarias, pero mantén los límites de responsabilidad.
  • Necesitas detalles de implementación → pasa a Patrones de lectura y escritura en Delta Lake o a Patrones de carga incremental.

← Todas las guías rápidas