Explorar guías rápidas · Ingeniería de datos
Referencia rápida de la arquitectura Medallion
Diseña capas de datos Bronze, Silver y Gold con una propiedad clara, capacidad de reprocesamiento, controles de calidad, procesamiento incremental y contratos de publicación, sin convertir la arquitectura Medallion en una rígida convención de nombres de carpetas.
En esta página
- Problema
- Respuesta rápida
- Código / comandos
- 1. Bronze: conserva la fidelidad al origen
- 2. Bronze: conserva el payload sin procesar cuando el parsing pueda cambiar
- 3. Bronze: captura la identidad del origen
- 4. Bronze: no sobrescribas a la ligera las evidencias del origen
- 5. Bronze: pon en cuarentena por separado las entradas mal formadas
- 6. Silver: define primero la granularidad canónica
- 7. Silver: exige las claves obligatorias
- 8. Silver: normaliza los tipos
- 9. Silver: elimina duplicados de forma determinista
- 10. No uses un dropDuplicates() arbitrario para eliminar duplicados de negocio
- 11. Silver: valida la unicidad del origen antes del MERGE
- 12. Silver: usa MERGE para las entidades modificables
- 13. Silver: actualiza solo con versiones más recientes cuando sea necesario
- 14. Silver: mantén explícita la lógica de las llegadas tardías
- 15. Silver: usa los datos de referencia con cuidado
- 16. Silver: distingue una referencia ausente de una referencia no válida
- 17. Silver: crea campos de negocio canónicos
- 18. Silver: mantén estable el significado de negocio
- 19. Gold: modela para un caso de uso del consumidor
- 20. Gold: define explícitamente la granularidad de salida
- 21. Gold: concilia los totales
- 22. Gold puede ser detallada, no solo agregada
- 23. Gold puede ser un modelo de warehouse
- 24. Gold puede quedarse en el Lakehouse
- 25. No obligues a que cada capa esté en un sistema físico distinto
- 26. Bronze normalmente debe ser reprocesable
- 27. Conserva las versiones del origen cuando sea necesario
- 28. Silver debe ser reproducible
- 29. Versiona los datos de referencia críticos
- 30. Gold debe tener un contrato con el consumidor
- 31. Usa controles de calidad entre capas
- 32. Añade metadatos de ejecución
- 33. El watermark debe avanzar después de un trabajo duradero completado correctamente
- 34. La ingesta de Bronze puede ser de solo inserción
- 35. Silver no tiene por qué ser de solo inserción
- 36. Gold puede reconstruirse o mantenerse de forma incremental
- 37. No hagas incremental cada capa solo porque el origen lo sea
- 38. Una recarga histórica debe tener límites explícitos
- 39. Las recargas históricas y el procesamiento en curso deben coexistir de forma segura
- 40. Separa el checkpoint del procesamiento en curso del estado de las recargas históricas
- 41. El streaming encaja en la arquitectura Medallion
- 42. El batch encaja en la misma arquitectura
- 43. Lo híbrido es normal
- 44. No dupliques la lógica de transformación en las rutas batch y streaming
- 45. Usa nombres de Bronze alineados con el origen
- 46. Usa nombres de Silver canónicos
- 47. Usa nombres de Gold orientados al consumidor
- 48. No copies cada tabla de origen en las tres capas
- 49. No todos los conjuntos de datos necesitan las tres capas
- 50. Bronze puede conservar la deriva del esquema del origen
- 51. Silver debe fallar o poner en cuarentena los cambios de esquema incompatibles
- 52. Asigna identificadores estables a las reglas de calidad de datos
- 53. Mantén la cuarentena fuera de las tablas fiables
- 54. La cuarentena necesita metadatos para la corrección
- 55. Silver puede conservar el linaje hacia el origen rechazado
- 56. Gold no debe saltarse Silver a la ligera
- 57. Evita la lógica de consumidor en Bronze
- 58. Evita que las peculiaridades del origen lleguen a Gold
- 59. Centraliza las métricas de negocio
- 60. Gold puede tener varios modelos de consumidor
- 61. Evita una única tabla gigante de «Gold empresarial»
- 62. Usa modelado dimensional cuando corresponda
- 63. Gold puede dar servicio a API
- 64. Precalcula la lógica de informes costosa cuando sea útil
- 65. No precalcules todas las consultas posibles
- 66. La frescura de Gold debe ser explícita
- 67. El linaje de datos debe atravesar las capas
- 68. Usa claves de negocio estables
- 69. La lógica SCD corresponde a donde se define el historial canónico
- 70. Separa el historial de eventos de las entidades de estado actual
- 71. Almacena por separado el tiempo de negocio y el tiempo de ingesta
- 72. La política de datos tardíos debe ser específica de cada capa
- 73. Las correcciones en Gold deben ser deterministas
- 74. El particionamiento puede variar según la capa
- 75. Evita el exceso de particiones en Bronze
- 76. Evita el exceso de particiones en Silver/Gold
- 77. Compacta los archivos pequeños cuando sea necesario
- 78. La evolución del esquema debe gobernarse por capa
- 79. Los cambios incompatibles requieren versionado/migración
- 80. Usa contratos de tabla para Gold
- 81. La retención de Bronze debe ajustarse a las necesidades de reprocesamiento
- 82. La retención de Silver puede ser distinta
- 83. La retención de Gold sigue las necesidades de los consumidores/requisitos legales
- 84. La seguridad puede variar según la capa
- 85. No uses los nombres de las capas como controles de seguridad
- 86. Enmascara/tokeniza donde lo requiera el modelo fiable
- 87. Evita almacenar secretos en Bronze salvo que sea necesario
- 88. No dejes que Bronze se convierta en un almacén permanente de basura
- 89. Monitorea cada capa de forma distinta
- 90. Usa criterios de éxito específicos de cada capa
- 91. Evita reacciones en cadena por un único lote de origen erróneo
- 92. La promoción es una transición de contrato
- 93. No promuevas copiando archivos a ciegas
- 94. Usa vistas cuando la duplicación física no sea necesaria
- 95. Materializa cuando aporte valor
- 96. No equipares el número de carpetas con la madurez de la arquitectura
- 97. Define la propiedad por capa y por conjunto de datos
- 98. Mantén el código modular por responsabilidad
- 99. Prueba el reprocesamiento de forma explícita
- 100. Usa una lista de verificación de arquitectura repetible
- Qué significa el resultado
- Qué revisar
- Bronze no permite reconstruir Silver
- Silver tiene claves de negocio duplicadas
- Gold no cuadra con Silver
- La lógica de Gold contiene peculiaridades específicas del origen
- Cada tabla de origen existe en las tres capas sin ninguna transformación
- Las recargas históricas interfieren con los jobs en curso
- Notas de producción
- La arquitectura Medallion es un modelo de responsabilidades
- La capacidad de reprocesamiento es una de las pruebas de diseño más sólidas
- La calidad corresponde a las transiciones entre capas
- La retención y la seguridad varían según la capa
- Gold es un producto de datos
- El diseño incremental debe seguir siendo recuperable
- Errores comunes
- 1. Tratar Bronze como un vertedero sin gobernanza
- 2. Hacer transformaciones de negocio en Bronze
- 3. Eliminar duplicados de forma arbitraria en Silver
- 4. Dejar que Gold se salte Silver de forma habitual
- 5. Suponer que Gold debe estar agregada
- 6. Copiar cada tabla en las tres capas
- 7. Avanzar los watermarks antes de que se superen los controles de calidad
- 8. Ignorar los datos que llegan tarde
- 9. Usar los nombres de las capas como seguridad
- 10. No tener una ruta de reprocesamiento/recarga histórica
- Siguiente paso
- Para profundizar
Problema
Una plataforma de datos necesita límites claros entre la ingesta sin procesar, la transformación fiable y los datos listos para los consumidores.
Los equipos suelen adoptar las etiquetas Bronze, Silver y Gold, pero las etiquetas por sí solas no resuelven las verdaderas preguntas de ingeniería:
- ¿Qué se permite en cada capa?
- ¿Qué capa es la referencia para el reprocesamiento?
- ¿Dónde se deben eliminar los duplicados?
- ¿Dónde deben vivir las reglas de negocio?
- ¿Cómo se gestionan la deriva del esquema y los registros erróneos?
- ¿Cómo funcionan las cargas incrementales y las recargas históricas (backfills)?
- ¿Pueden coexistir el streaming y el batch?
- ¿Cuándo debe Gold ser una tabla de Lakehouse y cuándo un modelo de warehouse/informes?
- ¿Cómo evitas que la misma transformación se reimplemente de forma distinta en varias capas?
El objetivo es usar el patrón Medallion como un modelo de responsabilidades, no como una jerarquía de carpetas decorativa.
Respuesta rápida
Usa este modelo mental:
Bronze
→ conservar la verdad del origen y la capacidad de reprocesamiento
Silver
→ crear datos fiables, limpios y armonizados con una granularidad de negocio definida
Gold
→ publicar datos listos para los consumidores con una semántica de negocio estable
Un flujo práctico:
origen
→ Bronze: ingesta + metadatos + normalización mínima
→ Silver: validación + eliminación de duplicados + armonización + enriquecimiento
→ Gold: agregación/modelado/publicación para su uso por los consumidores
Un buen principio por defecto:
Bronze responde:
«¿Qué envió el origen?»
Silver responde:
«¿Qué significan los datos canónicos fiables?»
Gold responde:
«¿Qué debe usar un consumidor?»
Código / comandos
1. Bronze: conserva la fidelidad al origen
Responsabilidades típicas de Bronze:
insertar los registros de origen
conservar los campos sin procesar
capturar los metadatos del archivo/evento de origen
capturar la marca de tiempo de ingesta
capturar el identificador de lote/ejecución
evitar transformaciones de negocio destructivas
Ejemplo de patrón en PySpark:
from pyspark.sql import functions as F
bronze = (
source_df
.withColumn(
"_ingested_at",
F.current_timestamp(),
)
.withColumn(
"_source_file",
F.input_file_name(),
)
.withColumn(
"_batch_id",
F.lit(batch_id),
)
)
Después, escribe los datos en modo de inserción:
(
bronze.write
.format("delta")
.mode("append")
.saveAsTable("bronze.orders_raw")
)
Usa semántica de inserción cuando el origen represente llegadas inmutables.
2. Bronze: conserva el payload sin procesar cuando el parsing pueda cambiar
Para payloads de eventos/API:
campos parseados
+
raw_payload
puede ser valioso.
Ejemplo:
bronze = source_df.withColumn(
"_raw_payload",
F.to_json(F.struct("*")),
)
No lo uses a ciegas si el payload contiene secretos o datos regulados.
Conserva solo lo que permita tu política de retención/seguridad.
3. Bronze: captura la identidad del origen
Metadatos útiles:
_source_system
_source_file
_source_event_id
_ingested_at
_batch_id
_pipeline_run_id
_source_partition
Estos campos facilitan:
- el reprocesamiento
- la detección de duplicados
- el linaje
- el análisis de incidentes
4. Bronze: no sobrescribas a la ligera las evidencias del origen
Mal patrón:
leer el origen
→ convertir los valores no válidos en null
→ descartar el original
Mejor:
campo sin procesar
+
campo parseado
+
estado/motivo del parsing
Así se conservan las evidencias para la corrección.
5. Bronze: pon en cuarentena por separado las entradas mal formadas
Ejemplo:
valid = parsed.filter(
F.col("_parse_error").isNull()
)
invalid = parsed.filter(
F.col("_parse_error").isNotNull()
)
Escribe las filas no válidas con:
motivo
ubicación en el origen
lote
marca de tiempo de ingesta
No descartes en silencio los registros mal formados.
6. Silver: define primero la granularidad canónica
Antes de transformar Silver, indica qué significa cada fila.
Ejemplo:
una fila por order_id
o:
una fila por línea de pedido
No dejes que los joins o los reintentos cambien esa granularidad en silencio.
7. Silver: exige las claves obligatorias
Ejemplo:
silver_candidate = bronze.filter(
F.col("order_id").isNotNull()
)
Si las claves nulas no son válidas, envíalas a cuarentena en lugar de descartarlas discretamente sin dejar rastro.
8. Silver: normaliza los tipos
Ejemplo:
silver_candidate = (
bronze
.withColumn(
"order_date",
F.to_date("order_date_raw"),
)
.withColumn(
"amount",
F.col("amount_raw").cast("decimal(18,2)"),
)
)
Valida explícitamente los fallos de conversión.
9. Silver: elimina duplicados de forma determinista
Si el origen puede reenviar el mismo registro de negocio, elige una versión ganadora documentada.
Ejemplo:
from pyspark.sql.window import Window
w = (
Window
.partitionBy("order_id")
.orderBy(
F.col("source_updated_at").desc(),
F.col("_ingested_at").desc(),
F.col("_source_event_id").desc(),
)
)
deduped = (
silver_candidate
.withColumn(
"_rn",
F.row_number().over(w),
)
.filter(F.col("_rn") == 1)
.drop("_rn")
)
Los criterios de desempate deben ser deterministas.
10. No uses un dropDuplicates() arbitrario para eliminar duplicados de negocio
Mal:
df.dropDuplicates(["order_id"])
Esto no indica qué versión prevalece.
Usa una lógica de ventana ordenada o el versionado del origen.
11. Silver: valida la unicidad del origen antes del MERGE
duplicates = (
deduped
.groupBy("order_id")
.count()
.filter(F.col("count") > 1)
)
if duplicates.limit(1).count() > 0:
raise ValueError(
"Silver source is not unique by order_id"
)
Esto protege la granularidad del destino.
12. Silver: usa MERGE para las entidades modificables
from delta.tables import DeltaTable
target = DeltaTable.forName(
spark,
"silver.orders",
)
(
target.alias("t")
.merge(
deduped.alias("s"),
"t.order_id = s.order_id",
)
.whenMatchedUpdateAll()
.whenNotMatchedInsertAll()
.execute()
)
Usa asignaciones de columnas explícitas cuando necesites un control más estricto del esquema.
13. Silver: actualiza solo con versiones más recientes cuando sea necesario
Condición conceptual:
source.source_updated_at > target.source_updated_at
Ejemplo:
(
target.alias("t")
.merge(
deduped.alias("s"),
"t.order_id = s.order_id",
)
.whenMatchedUpdateAll(
condition=(
"s.source_updated_at > t.source_updated_at"
)
)
.whenNotMatchedInsertAll()
.execute()
)
Esto evita que registros antiguos reprocesados sobrescriban un estado más reciente.
14. Silver: mantén explícita la lógica de las llegadas tardías
Ejemplo:
pedido creado el 1 de octubre
llega el 4 de octubre
Decide si Silver:
- actualiza la partición histórica
- inserta un evento
- cambia el estado actual de la entidad
- lo envía a una ruta de conciliación
El comportamiento ante datos tardíos forma parte del contrato.
15. Silver: usa los datos de referencia con cuidado
Ejemplo:
orders = (
orders.alias("o")
.join(
customers.alias("c"),
on="customer_id",
how="left",
)
)
Valida que la clave de la dimensión/referencia sea única antes del join.
De lo contrario, Silver puede multiplicar filas de forma inesperada.
16. Silver: distingue una referencia ausente de una referencia no válida
Un cliente ausente podría significar:
una clave errónea
un cliente que llega tarde
un retraso en la actualización de la referencia
No clasifiques cada ausencia como un dato corrupto sin entender los tiempos del origen.
17. Silver: crea campos de negocio canónicos
Ejemplos:
código de país normalizado
moneda canónica
marca de tiempo de evento fiable
estado de negocio
ID de comercio armonizado
Evita aquí la lógica de presentación específica de un consumidor, salvo que sea realmente canónica.
18. Silver: mantén estable el significado de negocio
Si una tabla Silver significa:
una fila por cuenta activa
no la cambies más adelante a:
una fila por evento de cuenta
sin un cambio deliberado de contrato/versión.
19. Gold: modela para un caso de uso del consumidor
Gold no es simplemente:
Silver con nombres más bonitos
Gold debe responder a una necesidad del consumidor/negocio.
Ejemplos:
ventas diarias por comercio
vista 360 del cliente
resumen financiero mensual
modelo de hechos/dimensiones listo para informes
tabla de features
tabla de publicación para una API
20. Gold: define explícitamente la granularidad de salida
Ejemplo:
una fila por:
report_date + merchant_id + currency
Después, agrega:
gold = (
silver_orders
.groupBy(
"order_date",
"merchant_id",
"currency",
)
.agg(
F.count("*").alias("order_count"),
F.sum("amount").alias("gross_amount"),
)
)
Valida la unicidad con esa granularidad.
21. Gold: concilia los totales
Antes de publicar:
silver_total = (
silver_orders
.filter(
(F.col("order_date") >= "2026-10-01") &
(F.col("order_date") < "2026-11-01")
)
.agg(
F.sum("amount").alias("amount")
)
)
gold_total = (
gold
.filter(
(F.col("order_date") >= "2026-10-01") &
(F.col("order_date") < "2026-11-01")
)
.agg(
F.sum("gross_amount").alias("amount")
)
)
Gold debe cuadrar con la semántica fiable de las capas anteriores para el mismo alcance.
22. Gold puede ser detallada, no solo agregada
Gold puede contener:
una tabla de hechos detallada lista para los consumidores
si el consumidor necesita datos a nivel de fila.
No fuerces la agregación solo porque la capa se llame Gold.
23. Gold puede ser un modelo de warehouse
Encaja bien:
Lakehouse Bronze/Silver
→ Warehouse Gold
cuando los consumidores necesitan:
- publicación SQL
- modelos dimensionales
- BI/informes
- procedimientos almacenados o semántica de warehouse, donde se admitan
No dupliques datos en un warehouse salvo que el valor de publicación lo justifique.
24. Gold puede quedarse en el Lakehouse
Encaja bien cuando los consumidores usan:
- Spark
- notebooks
- acceso directo al lake
- superficies SQL del Lakehouse
- cargas de trabajo de ingeniería posteriores
La arquitectura debe seguir las necesidades de los consumidores.
25. No obligues a que cada capa esté en un sistema físico distinto
Puedes tener:
Bronze Lakehouse
Silver Lakehouse
Gold Lakehouse
o:
Bronze/Silver Lakehouse
Gold Warehouse
El concepto Medallion trata de límites de responsabilidad, no de productos obligatorios.
26. Bronze normalmente debe ser reprocesable
Una prueba clave:
¿Puedo reconstruir Silver si cambia la lógica de transformación?
Si no, puede que Bronze no esté conservando suficiente historial del origen.
27. Conserva las versiones del origen cuando sea necesario
Si el origen solo envía instantáneas modificables, valora si necesitas:
el historial de llegadas
la fecha de la instantánea
la versión del origen
para auditoría/reprocesamiento.
No supongas que el estado actual del origen basta para reconstruir la lógica histórica.
28. Silver debe ser reproducible
Con:
el mismo alcance de Bronze
el mismo código/versión de transformación
los mismos datos/versión de referencia
deberías poder reproducir el mismo resultado de Silver en la medida de lo posible.
Las dependencias modificables ocultas reducen la capacidad de reprocesamiento.
29. Versiona los datos de referencia críticos
Si Silver depende de:
la jerarquía de comercios
el mapeo de monedas
el mapeo de países
y estos cambian con el tiempo, conserva fechas de vigencia o versiones cuando importe la exactitud histórica.
30. Gold debe tener un contrato con el consumidor
Documenta:
granularidad
claves
métricas
dimensiones
frecuencia de actualización
frescura esperada
comportamiento ante datos tardíos
propiedad
Esto convierte Gold en un producto, no en una tabla más.
31. Usa controles de calidad entre capas
Ejemplo:
Control Bronze → Silver:
esquema requerido
clave obligatoria presente
parsing correcto
política de duplicados
Control Silver → Gold:
granularidad fiable
integridad referencial
conciliación de métricas
frescura
No traslades toda la validación a la capa final.
32. Añade metadatos de ejecución
Metadatos útiles por ejecución de pipeline:
run_id
batch_id
watermark de origen
watermark de destino
número de filas
estado
versión del código
started_at
completed_at
Esto facilita el linaje y el reprocesamiento.
33. El watermark debe avanzar después de un trabajo duradero completado correctamente
Correcto:
leer
→ transformar
→ validar
→ escribir
→ conciliar
→ avanzar el watermark
Mal:
avanzar el watermark
→ la escritura falla
Lo segundo puede hacer que se omitan datos.
34. La ingesta de Bronze puede ser de solo inserción
Útil cuando el origen son:
eventos
archivos
registros CDC
instantáneas de API con metadatos de lote
La inserción conserva el historial.
Después, la lógica de Silver decide el estado actual/canónico.
35. Silver no tiene por qué ser de solo inserción
Las entidades canónicas modificables suelen necesitar:
MERGE
actualización
eliminación
gestión de SCD
El modo de escritura correcto depende de la semántica de la entidad.
36. Gold puede reconstruirse o mantenerse de forma incremental
La reconstrucción completa puede ser mejor cuando:
- Gold es lo bastante pequeña
- la lógica cambia a menudo
- importa la simplicidad para garantizar la exactitud
Una Gold incremental puede ser mejor cuando:
- la tabla es grande
- los cambios diarios son pequeños
- el costo de reconstrucción es alto
Elige de forma deliberada.
37. No hagas incremental cada capa solo porque el origen lo sea
A veces:
Bronze con inserción
Silver con MERGE
Gold con reconstrucción completa
es el diseño correcto más sencillo.
El modo de ejecución puede variar según la capa.
38. Una recarga histórica debe tener límites explícitos
Ejemplo:
recarga histórica:
2026-09-01
hasta
2026-09-07
No uses algo vago como:
reconstruir los datos recientes
para correcciones en producción.
39. Las recargas históricas y el procesamiento en curso deben coexistir de forma segura
Posible conflicto:
el job en curso actualiza el 4 de octubre
la recarga histórica reescribe del 1 de septiembre al 4 de octubre
Define:
- las reglas de solapamiento
- las claves de merge
- la coordinación de jobs
- el comportamiento de los reintentos
- las expectativas de concurrencia
40. Separa el checkpoint del procesamiento en curso del estado de las recargas históricas
Una reparación histórica no debe hacer retroceder el estado del streaming/procesamiento en curso.
Mantén independientes los controles de las recargas históricas.
41. El streaming encaja en la arquitectura Medallion
Ejemplo:
flujo de eventos
→ tabla de eventos Bronze duradera
→ transformación Silver en streaming
→ agregados Gold
Las capas siguen representando responsabilidades.
42. El batch encaja en la misma arquitectura
Ejemplo:
archivo diario
→ carga sin procesar en Bronze
→ limpieza/merge en Silver
→ tabla de informes Gold
La arquitectura Medallion es independiente de la cadencia de ejecución.
43. Lo híbrido es normal
Ejemplo:
Bronze se ingiere de forma continua
Silver se actualiza cada pocos minutos
Gold se reconstruye cada hora
Puede ser totalmente válido si cumple los SLA.
44. No dupliques la lógica de transformación en las rutas batch y streaming
Si es posible, centraliza las reglas de transformación de negocio para que:
el procesamiento en curso
y
el reprocesamiento histórico
produzcan resultados coherentes.
45. Usa nombres de Bronze alineados con el origen
Ejemplos:
bronze.salesforce_accounts
bronze.orders_api_events
bronze.erp_invoice_files
Bronze suele estar centrada en el origen.
46. Usa nombres de Silver canónicos
Ejemplos:
silver.customer
silver.order
silver.merchant
Silver suele pasar de la nomenclatura del origen a conceptos de negocio.
47. Usa nombres de Gold orientados al consumidor
Ejemplos:
gold.daily_merchant_sales
gold.finance_monthly_summary
gold.customer_360
Los nombres de Gold deben revelar el uso previsto.
48. No copies cada tabla de origen en las tres capas
Mal patrón:
bronze.table_a
silver.table_a
gold.table_a
para cada tabla, sin importar si hace falta.
Crea Gold solo cuando exista un contrato real con un consumidor.
49. No todos los conjuntos de datos necesitan las tres capas
Un conjunto de datos de referencia pequeño puede ir:
origen
→ Silver
con la auditoría de los datos sin procesar en otro lugar.
Un flujo de staging temporal puede no necesitar Gold.
Aplica las responsabilidades, no una ceremonia rígida.
50. Bronze puede conservar la deriva del esquema del origen
Según la plataforma:
campos nuevos
campos desconocidos
payload sin procesar
pueden aceptarse en Bronze.
Silver debe decidir si el nuevo esquema es compatible.
51. Silver debe fallar o poner en cuarentena los cambios de esquema incompatibles
Ejemplos:
se elimina una clave obligatoria
un decimal pasa a ser una cadena mal formada
cambia el significado de una marca de tiempo
No son derivas inofensivas.
Falla de forma segura o pon en cuarentena según la gravedad de la regla.
52. Asigna identificadores estables a las reglas de calidad de datos
Ejemplo:
DQ_ORDER_001
→ order_id obligatorio
DQ_ORDER_002
→ una fila de Silver por order_id
DQ_ORDER_003
→ la moneda debe estar admitida
Esto hace observables los controles entre capas.
53. Mantén la cuarentena fuera de las tablas fiables
Los registros no válidos no deben mezclarse en silencio con:
silver.orders
si Silver se presenta como fiable.
Usa una tabla dedicada:
quarantine.orders_invalid
o equivalente.
54. La cuarentena necesita metadatos para la corrección
Incluye:
rule_id
reason
source_file
batch_id
ingested_at
la clave de negocio si está disponible
Esto convierte los fallos en trabajo accionable.
55. Silver puede conservar el linaje hacia el origen rechazado
Para las filas corregidas, conserva:
_source_system
_source_event_id
_source_file
cuando sea útil.
Canónico no significa sin linaje.
56. Gold no debe saltarse Silver a la ligera
Mal:
Gold lee directamente Bronze sin procesar
porque el informe es urgente
Esto genera una semántica incoherente.
Sáltate Silver solo cuando la arquitectura defina explícitamente otra ruta fiable.
57. Evita la lógica de consumidor en Bronze
Mala transformación en Bronze:
renombrar los campos con las etiquetas de los informes
aplicar los filtros de los dashboards
calcular las definiciones de los KPI
Eso corresponde a capas posteriores.
Bronze debe seguir orientada al origen.
58. Evita que las peculiaridades del origen lleguen a Gold
Gold no debe obligar a los consumidores a entender que:
el indicador X del sistema de origen significa activo
el estado 7 del origen significa cancelado
Silver debe normalizar antes ese significado.
59. Centraliza las métricas de negocio
Si gross_revenue se define en Gold, documenta la fórmula una sola vez.
No dejes que cada informe la redefina de otra manera.
60. Gold puede tener varios modelos de consumidor
Ejemplo:
gold.sales_daily
gold.finance_monthly
gold.marketing_attribution
Cada uno puede ser válido aunque derive de los mismos datos de Silver.
Gold está orientada al consumidor/caso de uso.
61. Evita una única tabla gigante de «Gold empresarial»
Una tabla enorme que intenta satisfacer a todos los consumidores suele acabar siendo:
- difícil de gobernar
- difícil de optimizar
- semánticamente ambigua
Prefiere modelos estables diseñados para un propósito concreto.
62. Usa modelado dimensional cuando corresponda
Gold puede usar:
tablas de hechos
tablas de dimensiones
esquema en estrella
cuando el consumidor es BI/informes.
La arquitectura Medallion y el modelado dimensional son complementarios.
63. Gold puede dar servicio a API
Ejemplo:
datos canónicos de Silver
→ tabla de publicación Gold
→ servicio de informes/API
Esto puede aislar las transformaciones costosas de la publicación en el momento de la solicitud.
64. Precalcula la lógica de informes costosa cuando sea útil
Ejemplo:
agregado diario de Gold
puede evitar recalcular los mismos joins costosos en cada solicitud a la API.
Úsalo solo para patrones de consulta estables y repetitivos.
65. No precalcules todas las consultas posibles
Si las dimensiones/filtros de los consumidores son muy dinámicos, puede ser mejor un modelo de publicación más flexible.
Equilibra:
precálculo
frente a
flexibilidad de las consultas
66. La frescura de Gold debe ser explícita
Ejemplo:
actualización cada 15 minutos
o:
disponible a diario antes de las 06:00 UTC
Los consumidores necesitan conocer la frescura esperada.
67. El linaje de datos debe atravesar las capas
Como mínimo, debes poder responder:
¿Qué origen/lote creó esta fila de Silver?
¿Qué datos de Silver produjeron este resultado de Gold?
¿Qué versión del pipeline/código se usó?
Las herramientas concretas de linaje varían según la plataforma.
68. Usa claves de negocio estables
Las claves suplentes pueden ser útiles para los modelos de warehouse.
Aun así, conserva los identificadores de origen/negocio necesarios para la trazabilidad.
69. La lógica SCD corresponde a donde se define el historial canónico
Para las dimensiones:
Silver
o
Gold
pueden ser válidas según la arquitectura.
Lo importante es la coherencia.
No implementes SCD de tipo 2 de forma distinta en varias capas de consumo.
70. Separa el historial de eventos de las entidades de estado actual
Ejemplo:
silver.order_events
→ historial de solo inserción
silver.orders
→ estado canónico actual
Ambos pueden ser valiosos.
No obligues a una sola tabla a representar ambas semánticas de forma ambigua.
71. Almacena por separado el tiempo de negocio y el tiempo de ingesta
Columnas útiles:
event_time
source_updated_at
ingested_at
processed_at
Responden a preguntas distintas.
72. La política de datos tardíos debe ser específica de cada capa
Bronze:
aceptar/conservar las llegadas tardías
Silver:
aplicar la corrección canónica
Gold:
recalcular los agregados afectados
Suele ser más limpio que fingir que las llegadas tardías no existen.
73. Las correcciones en Gold deben ser deterministas
Si un registro tardío de Silver afecta a:
el agregado por comercio/día
reconstruye o actualiza exactamente ese alcance de Gold.
Evita reescrituras amplias sin explicación.
74. El particionamiento puede variar según la capa
Ejemplo:
Bronze
→ ingestion_date
Silver
→ event_date
Gold
→ report_month
Puede ser válido porque cada capa tiene patrones de acceso distintos.
No reutilices la estrategia de particionamiento de forma mecánica.
75. Evita el exceso de particiones en Bronze
Los identificadores de origen con alta cardinalidad pueden crear archivos/directorios diminutos.
Usa particiones operativas amplias, como fecha/origen, cuando esté justificado.
76. Evita el exceso de particiones en Silver/Gold
Usa columnas de partición alineadas con:
- los filtros habituales
- las recargas históricas
- la retención
- el mantenimiento
no con cada dimensión.
77. Compacta los archivos pequeños cuando sea necesario
En Delta, el mantenimiento admitido por la plataforma puede incluir:
OPTIMIZE silver.orders;
Úsalo en función de la fragmentación de archivos observada.
No programes un mantenimiento costoso sin evidencias.
78. La evolución del esquema debe gobernarse por capa
Bronze puede tolerar una deriva aditiva.
Silver debe imponer el esquema canónico.
Gold debe proteger con firmeza los contratos con los consumidores.
Cada capa puede tener políticas de evolución distintas.
79. Los cambios incompatibles requieren versionado/migración
Ejemplo:
cambia la definición de una métrica de Gold
No alteres en silencio la semántica histórica si los consumidores dependen de la definición anterior.
Opciones:
- una nueva versión/tabla
- una migración coordinada
- una recarga histórica documentada
80. Usa contratos de tabla para Gold
Documenta:
propietario
SLA
granularidad
claves
actualización
esquema
métricas
retención
política de cambios incompatibles
Esto hace que Gold sea fiable para los consumidores.
81. La retención de Bronze debe ajustarse a las necesidades de reprocesamiento
Si Bronze es la única fuente para el reprocesamiento y solo conservas tres días, más adelante no podrás reconstruir seis meses de Silver.
La retención es una decisión de arquitectura.
82. La retención de Silver puede ser distinta
Las tablas Silver de estado actual pueden no necesitar el mismo modelo de retención que el historial de solo inserción de Bronze.
Define cada una de forma explícita.
83. La retención de Gold sigue las necesidades de los consumidores/requisitos legales
Ejemplos:
13 meses para informes
7 años para finanzas
90 días para un dashboard operativo
No heredes automáticamente la retención de Silver.
84. La seguridad puede variar según la capa
Ejemplo:
Bronze
→ datos personales sin procesar con acceso muy restringido
Silver
→ datos enmascarados/armonizados
Gold
→ acceso de los consumidores con privilegios mínimos
La arquitectura Medallion puede facilitar una exposición progresiva de los datos.
85. No uses los nombres de las capas como controles de seguridad
Que una tabla se llame:
gold.*
no la hace segura.
Usa permisos reales, enmascaramiento, seguridad a nivel de fila y políticas.
86. Enmascara/tokeniza donde lo requiera el modelo fiable
Silver puede ser el lugar adecuado para:
- normalizar identificadores sensibles
- tokenizar
- enmascarar
- eliminar secretos sin procesar innecesarios
según la gobernanza.
87. Evita almacenar secretos en Bronze salvo que sea necesario
La fidelidad al origen sin procesar no justifica conservar:
contraseñas
tokens de acceso
claves privadas
Elimina o protege los datos sensibles según la política.
88. No dejes que Bronze se convierta en un almacén permanente de basura
Conservar los datos sin procesar no significa:
sin esquema
sin metadatos
sin retención
sin propietario
Bronze también necesita gobernanza.
89. Monitorea cada capa de forma distinta
Bronze:
llegada
esquema
número de archivos/eventos
latencia de ingesta
Silver:
eliminación de duplicados
calidad
integridad referencial
watermark
salud del MERGE
Gold:
conciliación
frescura
SLA del consumidor
rendimiento de las consultas
90. Usa criterios de éxito específicos de cada capa
Un pipeline puede completarse correctamente a nivel técnico mientras Gold está desactualizada.
Define el éxito por capa, no solo como «job completado».
91. Evita reacciones en cadena por un único lote de origen erróneo
Cuando sea posible:
poner en cuarentena el lote de Bronze erróneo
impedir la promoción a Silver
mantener en marcha los conjuntos de datos no relacionados
No dejes que un solo archivo mal formado detenga toda la plataforma si es posible aislarlo.
92. La promoción es una transición de contrato
Conceptualmente:
Bronze → Silver
significa:
los datos alineados con el origen superaron las reglas de calidad canónicas
y:
Silver → Gold
significa:
los datos canónicos fiables superaron la validación del consumidor/negocio
93. No promuevas copiando archivos a ciegas
La transición entre capas debe corresponder a una responsabilidad de transformación/validación.
Si Bronze y Silver son idénticas byte a byte para siempre, cuestiona si ambas capas aportan valor.
94. Usa vistas cuando la duplicación física no sea necesaria
Una vista lógica de Gold sobre Silver fiable puede bastar para algunos consumidores.
No materialices cada capa/tabla si no hay ningún beneficio de rendimiento o aislamiento.
95. Materializa cuando aporte valor
Motivos:
rendimiento
aislamiento de los consumidores
instantánea estable
seguridad
modelo simplificado
lógica costosa repetida
La materialización debe resolver un problema concreto.
96. No equipares el número de carpetas con la madurez de la arquitectura
Esto:
/bronze/
/silver/
/gold/
no garantiza:
- la capacidad de reprocesamiento
- la calidad
- los contratos
- la observabilidad
- la idempotencia
Lo que importa son las prácticas de ingeniería.
97. Define la propiedad por capa y por conjunto de datos
Para cada tabla de producción, debes saber:
¿quién es responsable de la ingesta?
¿quién es responsable de la semántica canónica?
¿quién es responsable de las definiciones de métricas para los consumidores?
Una propiedad poco clara produce datos desactualizados y contradictorios.
98. Mantén el código modular por responsabilidad
Separación útil:
ingerir
validar
normalizar
eliminar duplicados
hacer merge
agregar
conciliar
publicar
Esto facilita la reutilización y las pruebas.
99. Prueba el reprocesamiento de forma explícita
Toma un intervalo conocido de Bronze:
2026-10-01
reconstruye Silver/Gold en un destino de prueba y compara con los resultados esperados.
No supongas que el reprocesamiento funciona porque el código es «determinista».
100. Usa una lista de verificación de arquitectura repetible
Antes de añadir un conjunto de datos:
1. ¿Cuál es la verdad del origen?
2. ¿Qué debe conservar Bronze?
3. ¿Cuál es la granularidad de negocio de Silver?
4. ¿Qué regla de eliminación de duplicados/versión se aplica?
5. ¿Qué controles de calidad son bloqueantes?
6. ¿Qué política de datos tardíos se aplica?
7. ¿Qué contrato de Gold con el consumidor se necesita?
8. ¿Cuál es la ruta de reprocesamiento/recarga histórica?
9. ¿Cuáles son las reglas de retención/seguridad?
10. ¿Qué métricas demuestran que el conjunto de datos está en buen estado?
Qué significa el resultado
| Capa | Responsabilidad principal | Patrón de escritura típico |
|---|---|---|
| Bronze | Conservar datos alineados con el origen y reprocesables | Inserción / instantáneas del origen |
| Silver | Producir datos canónicos fiables | MERGE, eliminación de duplicados, normalización, validación |
| Gold | Publicar una semántica lista para los consumidores | Agregación, modelado, publicación, reconstrucción/incremental |
La idea central es:
Bronze
→ evidencia
Silver
→ confianza
Gold
→ consumo
Qué revisar
Bronze no permite reconstruir Silver
Puede que no estés conservando suficiente historial/metadatos del origen.
Silver tiene claves de negocio duplicadas
Revisa los reintentos del origen, el orden de eliminación de duplicados, la cardinalidad de los joins y la unicidad de la entrada del MERGE.
Gold no cuadra con Silver
Revisa:
- la granularidad
- los filtros
- los joins
- las reglas de moneda/signo
- las filas duplicadas/descartadas
- los datos tardíos
La lógica de Gold contiene peculiaridades específicas del origen
Probablemente Silver no es lo bastante canónica.
Cada tabla de origen existe en las tres capas sin ninguna transformación
Puede que la arquitectura sea ceremonial en lugar de funcional.
Las recargas históricas interfieren con los jobs en curso
Revisa el solapamiento, el aislamiento de los checkpoints, la concurrencia de escritura y el alcance del destino.
Notas de producción
La arquitectura Medallion es un modelo de responsabilidades
No trates Bronze/Silver/Gold como niveles de almacenamiento físico obligatorios.
La capacidad de reprocesamiento es una de las pruebas de diseño más sólidas
Si se descubre un defecto, la plataforma debe tener una forma creíble de reconstruir los datos fiables afectados.
La calidad corresponde a las transiciones entre capas
Las transiciones entre capas deben corresponder a controles explícitos, no solo a la ejecución correcta de un notebook.
La retención y la seguridad varían según la capa
La retención de los datos de origen sin procesar y el acceso a ellos pueden necesitar ser mucho más estrictos que en Gold.
Gold es un producto de datos
La estabilidad semántica, la frescura, la propiedad y la gestión de cambios importan tanto como el rendimiento de las consultas.
El diseño incremental debe seguir siendo recuperable
Los watermarks/checkpoints forman parte de la exactitud.
Trátalos como estado de producción.
Errores comunes
1. Tratar Bronze como un vertedero sin gobernanza
Los datos sin procesar también necesitan propietario, metadatos, retención y seguridad.
2. Hacer transformaciones de negocio en Bronze
Esto reduce la capacidad de reprocesamiento y la fidelidad al origen.
3. Eliminar duplicados de forma arbitraria en Silver
El estado canónico requiere una versión ganadora determinista.
4. Dejar que Gold se salte Silver de forma habitual
Esto genera semánticas de negocio contradictorias.
5. Suponer que Gold debe estar agregada
Las tablas Gold detalladas y listas para los consumidores pueden ser válidas.
6. Copiar cada tabla en las tres capas
No todos los conjuntos de datos necesitan todas las capas.
7. Avanzar los watermarks antes de que se superen los controles de calidad
Esto puede hacer que se omitan datos.
8. Ignorar los datos que llegan tarde
Las correcciones históricas en Silver/Gold deben planificarse.
9. Usar los nombres de las capas como seguridad
Siguen siendo necesarios permisos/políticas.
10. No tener una ruta de reprocesamiento/recarga histórica
Tarde o temprano, los defectos o los cambios de lógica obligarán a hacer reparaciones históricas.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.