Microsoft Fabric
Bronze, Silver, Gold dans Microsoft Fabric : guide pratique de l’architecture Medallion
Guide pratique des couches Bronze, Silver et Gold dans Microsoft Fabric : rôle de chaque couche, flux de données, Lakehouse ou Warehouse, règles de qualité et erreurs fréquentes.
Dans cet article
Bronze, Silver et Gold sont des noms simples pour une idée importante :
Les données doivent devenir plus fiables, plus structurées et plus utiles à mesure qu’elles traversent votre plateforme.
Dans Microsoft Fabric, cela est généralement mis en œuvre sous la forme d’une architecture Medallion.
Microsoft décrit les trois couches ainsi :
- BronzeBrute
- SilverEnrichie / validée
- GoldPréparée
Les noms sont faciles.
Les décisions de conception, beaucoup moins.
Les vraies questions sont les suivantes :
- Qu’est-ce qui appartient exactement à Bronze ?
- Qu’est-ce qui doit être rejeté ou mis en quarantaine dans Silver ?
- Gold doit-il être un Lakehouse ou un Warehouse ?
- Chaque couche doit-elle avoir son propre Lakehouse ?
- Où doit vivre la logique métier ?
- Comment rendre le flux rejouable ?
- Comment éviter que Silver devienne une autre zone brute ?
- Comment empêcher Gold de devenir une copie de Silver ?
Cet article se concentre sur ces décisions pratiques.
La raison d’être du pattern Medallion
Le but de l’architecture Medallion n’est pas de créer trois dossiers aux noms différents.
Il s’agit de séparer les responsabilités.
Un modèle mental utile :
- BronzeConserver ce qui est arrivé
- SilverRendre les données fiables
- GoldRendre les données utiles aux consommateurs
Chaque couche répond à une question différente.
Bronze demande :
Qu’est-ce que la source nous a envoyé ?
Silver demande :
À quelles données faisons-nous confiance, et comment les standardiser ?
Gold demande :
De quelle forme les analystes, les rapports, les APIs ou les produits en aval ont-ils réellement besoin ?
Cette séparation fait toute la valeur du pattern.
Bronze : conserver la source
Bronze doit représenter la source aussi fidèlement que possible.
Le but n’est pas de rendre les données présentables.
Le but est de conserver une copie récupérable de ce qui est arrivé.
Le contenu Bronze typique comprend :
- du CSV ;
- du JSON ;
- du Parquet ;
- des extractions de bases de données copiées ;
- des sorties CDC ;
- des payloads d’API ;
- des données d’événements brutes ;
- des snapshots de systèmes sources.
Une couche Bronze doit permettre de répondre à ces questions :
Qu'avons-nous reçu ?
Quand l'avons-nous reçu ?
De quelle source ?
De quel fichier ou de quel lot cela provient-il ?
Pouvons-nous le rejouer ?
Ce que Bronze doit éviter
Bronze doit généralement éviter les transformations métier lourdes.
Par exemple, évitez d’emblée de :
joindre les clients aux ventes
mapper des catégories métier
calculer des KPI de chiffre d'affaires
supprimer des attributs source
agréger par jour
Ces changements rendent plus difficile la reconstruction de l’entrée d’origine.
Bronze a le plus de valeur lorsqu’il reste un point de relecture fiable.
Bronze ne veut pas dire « non géré »
Brut ne veut pas dire chaotique.
Vous avez toujours besoin de métadonnées opérationnelles.
Les champs ou métadonnées utiles peuvent inclure :
source_system
source_file
ingestion_timestamp
batch_id
pipeline_run_id
tenant_id
source_modified_timestamp
Pour les plateformes multi-tenant, ces métadonnées sont particulièrement importantes.
Un enregistrement peut être techniquement identique d’un tenant à l’autre, mais appartenir opérationnellement à un contexte source différent.
Exemple de structure Bronze
Supposons que vous ingériez des ventes provenant de plusieurs clients.
Une organisation Bronze orientée fichiers pourrait être :
Files/
└── bronze/
└── sales/
├── tenant=client_a/
│ └── ingestion_date=2026-10-09/
└── tenant=client_b/
└── ingestion_date=2026-10-09/
Vous pouvez aussi déposer les données directement dans des tables Delta.
Le bon choix dépend du format de la source, des besoins de relecture, du volume de données et du traitement en aval.
Le principe essentiel est que Bronze doit préserver la traçabilité jusqu’à la source.
Silver : rendre les données fiables
Silver est l’endroit où les données brutes deviennent des données réutilisables.
C’est généralement là que vous :
- validez les schémas ;
- standardisez les types ;
- normalisez les dates ;
- standardisez les devises ou les codes ;
- dédoublonnez ;
- gérez les valeurs nulles ;
- résolvez les problèmes de qualité des données ;
- joignez les données de référence ;
- appliquez un nommage harmonisé ;
- mettez en quarantaine les enregistrements invalides.
Microsoft décrit Silver comme la couche enrichie, où les données sont nettoyées, standardisées et dédoublonnées avant d’être consommées.
Silver est souvent la couche d’ingénierie la plus importante, car elle devient la fondation réutilisable de plusieurs produits en aval.
Silver doit représenter un détail fiable
Une erreur fréquente consiste à agréger trop tôt.
Silver doit généralement conserver un détail utile.
Par exemple :
- BronzeÉvénements de vente bruts
- SilverTransactions de vente validées
- GoldChiffre d’affaires quotidien par marchand
Si vous agrégez directement dans Silver, vous risquez de perdre un détail réutilisable dont une autre charge de travail en aval aura besoin plus tard.
Considérez Silver comme :
un détail fiable, standardisé et réutilisable.
Exemple de transformation Silver
Imaginez cette entrée Bronze :
sale_id = "A123"
merchant_id = "0042"
amount = "19.95"
sale_date = "10/09/2026"
currency = "usd"
Silver pourrait la standardiser ainsi :
sale_id STRING
merchant_id INT
amount DECIMAL(18,2)
sale_date DATE
currency STRING = "USD"
Silver pourrait aussi rejeter les lignes où :
sale_id est nul
amount ne peut pas être analysé
merchant_id est inconnu
sale_date est invalide
C’est une frontière de qualité qui a du sens.
Mettre en quarantaine les données invalides au lieu de les supprimer en silence
Une couche Silver mature ne doit pas écarter silencieusement les enregistrements invalides.
Envisagez plutôt un pattern de quarantaine :
- Bronze
- Valider
- valideSilver
- invalideQuarantaine
Un enregistrement en quarantaine peut inclure :
contenu d'origine
règle de validation
code d'erreur
message d'erreur
batch_id
source_file
ingestion_timestamp
Les équipes d’exploitation peuvent ainsi analyser les mauvaises données sans les perdre.
Silver est le lieu de l’harmonisation
Si plusieurs sources représentent différemment le même concept métier, c’est généralement dans Silver que vous les normalisez.
Exemple :
Source A → merchant_id
Source B → advertiser_id
Source C → account_code
Silver peut les rapprocher d’un concept commun :
merchant_key
C’est là qu’une plateforme multi-sources commence à construire un modèle d’entreprise stable.
Gold : optimiser pour la consommation
Gold existe pour les consommateurs.
Ceux-ci peuvent inclure :
- des modèles sémantiques Power BI ;
- des tableaux de bord ;
- des rapports ;
- des APIs ;
- des produits de données ;
- des features de ML ;
- des exports opérationnels ;
- des applications en aval.
Gold doit être conçu autour des cas d’usage.
Les structures Gold typiques comprennent :
- des schémas en étoile ;
- des tables de faits ;
- des tables de dimensions ;
- des agrégats ;
- des synthèses métier ;
- des tables de KPI ;
- des tables de serving.
Les recommandations Fabric de Microsoft décrivent Gold comme la couche préparée, destinée au reporting et à la consommation analytique.
Exemple de modèle Gold
À partir d’une table de ventes Silver fiable :
Silver.sales_transaction
vous pourriez créer :
Gold.fact_sales
Gold.dim_merchant
Gold.dim_date
Gold.daily_merchant_revenue
Gold.customer_lifetime_value
Le point important est que Gold a une finalité pour un consommateur.
Si une table Gold n’existe que parce que « Gold est obligatoire », elle ne devrait probablement pas exister.
Exemple complet Bronze, Silver, Gold
Imaginez une plateforme d’e-commerce.
Bronze
sales.json
customers.csv
inventory.csv
Conservés tels que reçus.
Silver
sales_clean
customers_conformed
inventory_validated
Les changements comprennent :
- la conversion des types ;
- la suppression des doublons ;
- les contrôles de qualité des données ;
- la normalisation des dates ;
- la suppression des enregistrements de test ;
- le rapprochement des clients.
Gold
daily_sales_summary
customer_lifetime_value
inventory_forecast_input
merchant_performance
Ces tables sont conçues pour la consommation métier.
Cette progression générale correspond aux exemples Fabric pratiques que Microsoft utilise dans ses recommandations sur l’architecture Medallion.
Chaque couche doit-elle avoir son propre Lakehouse ?
Microsoft recommande de séparer les couches Medallion, et les patterns Fabric courants utilisent un Lakehouse par couche, ou des Lakehouses pour Bronze et Silver avec un Warehouse pour Gold.
Une architecture claire peut ressembler à ceci :
- lh_bronze
- lh_silver
- lh_gold
Cela donne une séparation forte.
Les bénéfices sont notamment :
- une responsabilité plus claire ;
- un contrôle d’accès plus simple ;
- une gestion du cycle de vie plus propre ;
- moins d’écritures accidentelles entre couches ;
- une promotion entre environnements plus simple.
Mais ce n’est pas la seule conception possible.
Quand un seul Lakehouse peut suffire
Pour des charges de travail plus petites, un seul Lakehouse avec des schémas peut être plus simple :
SalesLakehouse
bronze.*
silver.*
gold.*
Fabric prend aussi en charge des flux de type Medallion au sein d’un seul Lakehouse, notamment avec les vues matérialisées de lac (materialized lake views) pour les transformations en plusieurs étapes.
Cela peut réduire la charge opérationnelle.
Le compromis est une séparation physique plus faible entre les couches.
Le choix doit dépendre :
- des frontières de sécurité ;
- de la répartition des responsabilités entre équipes ;
- de l’échelle de la charge ;
- du modèle de déploiement ;
- de la complexité opérationnelle.
Ne créez pas trois Lakehouses uniquement parce qu’un schéma montrait trois cases.
Lakehouse ou Warehouse pour Gold ?
Gold n’a pas besoin d’être un Lakehouse.
Les recommandations de référence actuelles de Microsoft prennent explicitement en charge :
- Bronze
- Lakehouse
- Silver
- Lakehouse
- Gold
- Warehouse
pour les patterns de serving analytique orientés SQL.
Cela peut se justifier lorsque les consommateurs de Gold sont fortement relationnels et orientés SQL.
Par exemple :
- BronzeFichiers bruts / Delta
- SilverTables Delta nettoyées
- Gold Warehouse
- tables de faits
- dimensions
- vues de reporting
- procédures stockées
- consommation T-SQL
C’est souvent un très bon choix pour les plateformes centrées sur la BI.
Une règle de décision pratique
Utilisez un Lakehouse pour Gold lorsque :
- Spark et l’accès ouvert à Delta comptent ;
- la data science consomme la couche ;
- l’interopérabilité au niveau des fichiers compte ;
- la charge de travail reste centrée sur le lac.
Utilisez un Warehouse pour Gold lorsque :
- le modèle de serving est relationnel ;
- T-SQL est l’interface principale ;
- les schémas en étoile dominent ;
- les équipes BI/reporting sont responsables de la couche de consommation.
L’architecture peut combiner les deux.
Fabric est conçu pour offrir cette flexibilité.
La qualité des données se joue entre les couches
Chaque passage d’une couche à l’autre doit avoir un contrat explicite.
Par exemple :
- Bronze
- Silver
pourrait exiger :
schéma valide
clé métier présente
horodatage valide
champs numériques correctement analysés
doublons résolus
valeurs de référence reconnues
Ensuite :
- Silver
- Gold
pourrait exiger :
dimensions harmonisées disponibles
jointures requises valides
règles métier respectées
agrégation complète
aucun fait orphelin
Chaque transition doit rendre les données plus fiables.
Rendre les transformations rejouables
Une bonne implémentation Medallion doit permettre la relecture.
Supposons qu’une règle métier de Silver change.
Vous devez pouvoir reconstruire Silver à partir de Bronze sans retourner au système source.
De même, si la logique de Gold change, vous devez pouvoir reconstruire Gold à partir de Silver.
Cela vous apporte :
indépendance vis-à-vis de la source
reproductibilité
capacité de reprise
transformations auditables
C’est l’une des meilleures raisons de bien conserver Bronze.
Le traitement incrémental compte
Une architecture Medallion peut échouer sur le plan opérationnel si chaque couche effectue toujours des rechargements complets.
À grande échelle, envisagez :
- les watermarks ;
- le CDC ;
- le traitement par partition ;
- les mises à jour par merge ;
- les ID de lot ;
- le suivi des fichiers ;
- un état de checkpoint.
Par exemple :
- BronzeNouveaux fichiers uniquement
- SilverTraiter les partitions modifiées
- GoldRafraîchir les agrégats concernés
L’architecture logique peut rester simple tandis que la stratégie d’exécution est incrémentale.
L’idempotence entre les couches
Chaque passage d’une couche à l’autre doit répondre à cette question :
Que se passe-t-il si le même lot s’exécute deux fois ?
Pour Bronze, les doublons peuvent être conservés volontairement s’ils reflètent la livraison de la source.
Pour Silver, les événements métier en double nécessitent généralement un traitement déterministe.
Pour Gold, les agrégations doivent éviter de compter deux fois.
Une conception utile :
batch_id
source_key
business_key
load_timestamp
combinée à des règles déterministes de merge ou d’écrasement.
La journalisation doit suivre les données
Suivez chaque exécution à travers les couches.
Par exemple :
run_id
pipeline_name
source
layer
table
rows_read
rows_written
rows_rejected
started_at
ended_at
status
Un incident peut alors être retracé :
- Gold incorrect
- Quel lot Silver ?
- Quelle entrée Bronze ?
- Quel fichier ou quelle exécution source ?
C’est de la traçabilité opérationnelle.
La sécurité peut varier selon la couche
Bronze peut contenir :
- des données personnelles brutes ;
- des identifiants propres à la source ;
- des données non masquées ;
- des métadonnées opérationnelles.
Silver peut contenir un détail nettoyé mais toujours sensible.
Gold peut n’exposer que des champs analytiques approuvés.
Les recommandations de sécurité de Fabric montrent explicitement des scénarios où l’accès à Bronze/Silver est réservé aux équipes d’ingénierie, tandis que Gold est exposé aux analystes et utilisateurs métier autorisés.
C’est une raison de plus de traiter les couches comme de vraies frontières de confiance plutôt que comme des conventions de nommage.
Éviter la logique métier dans Bronze
Cela mérite d’être répété.
Ne rendez pas Bronze dépendant de l’interprétation métier d’aujourd’hui.
Si une définition métier change demain, vous voulez pouvoir rejouer à partir de ce qui est réellement arrivé.
Un bon Bronze :
source customer_status = "A"
Une mauvaise transformation dans Bronze :
customer_status = "Active Premium Customer"
sauf si c’est littéralement ce que la source a envoyé.
L’interprétation vient plus tard.
Éviter de copier Bronze dans Silver sans gagner en fiabilité
Un autre anti-pattern courant :
- Table Bronze
- COPIETable Silver
sans réelle validation ni standardisation.
Cela crée une couche de stockage supplémentaire sans créer de valeur.
Silver doit représenter une amélioration mesurable de la qualité.
Éviter de copier Silver dans Gold sans modèle de consommation
De même :
- Silver.sales
- COPIEGold.sales
apporte généralement peu de valeur.
Gold doit représenter un modèle de serving.
Par exemple :
- Silver.sales_transaction
- Gold.fact_sales
- Gold.daily_sales
- Gold.merchant_performance
Gold est l’endroit où les données deviennent faciles à consommer.
Ne pas forcer chaque jeu de données à traverser toutes les couches
Tous les jeux de données n’ont pas besoin de trois copies physiques.
Les données de référence, les petites tables de configuration ou les jeux de données déjà préparés en amont n’ont pas forcément besoin du même traitement.
Le pattern est un outil de conception, pas une loi.
Utilisez-le là où la séparation crée de la valeur.
Les vues matérialisées de lac peuvent simplifier les transformations Medallion
Fabric prend désormais en charge les vues matérialisées de lac (materialized lake views) pour les transformations Lakehouse déclaratives en plusieurs étapes.
Elles peuvent exprimer les dépendances Bronze → Silver → Gold, tandis que Fabric gère l’ordre de rafraîchissement et les résultats persistés.
C’est utile lorsque le graphe de transformations se prête à un pattern déclaratif.
Cela ne dispense pas de définir :
- les responsabilités de chaque couche ;
- les règles de qualité ;
- les responsables ;
- les contrats de serving.
La technologie peut orchestrer les transformations.
L’architecture doit toujours définir ce qu’elles signifient.
Un exemple multi-tenant
Prenons une plateforme qui sert de nombreux clients.
Bronze
tenant_id
source_file
source_row
ingestion_timestamp
raw payload
Silver
tenant_id
legacy_merchant_id
merchant_key
sale_id
sale_timestamp
amount
currency
Règles :
- valider le tenant ;
- normaliser l’identité des marchands ;
- supprimer les événements en double ;
- mettre en quarantaine les lignes mal formées ;
- convertir les types ;
- standardiser les devises.
Gold
fact_sales
dim_merchant
daily_merchant_sales
monthly_tenant_summary
Cela crée une couche de serving stable tout en préservant en amont les différences entre les sources.
Une architecture Fabric pratique
Une conception possible :
- Sources
- SFTP
- APIs
- bases de données SQL
- fichiers
- Fabric Data Factory
- Lakehouse Bronze
- validation / standardisationLakehouse Silver
- modèle métier / agrégationWarehouse Gold
- Consommateurs
- Power BI
- APIs
- rapports
- exports
Ce n’est pas la seule architecture correcte.
C’est un point de départ utile lorsque vous combinez des ingestions variées, des transformations Spark et une consommation SQL/BI.
Liste de contrôle par couche
Bronze
Demandez-vous :
- Puis-je reconstruire ce que la source a envoyé ?
- La traçabilité est-elle préservée ?
- Puis-je rejouer ?
- Les métadonnées d’ingestion sont-elles présentes ?
- Ai-je évité une logique métier prématurée ?
Silver
Demandez-vous :
- Les schémas sont-ils standardisés ?
- Les clés sont-elles validées ?
- Les doublons sont-ils gérés ?
- Les lignes invalides sont-elles en quarantaine ?
- Les entités métier sont-elles harmonisées ?
- S’agit-il de données détaillées réutilisables ?
Gold
Demandez-vous :
- Qui consomme ces données ?
- À quelle question métier répondent-elles ?
- La granularité est-elle explicite ?
- Les dimensions et les faits sont-ils clairs ?
- Est-ce optimisé pour le consommateur ?
- Peut-on le reconstruire à partir de Silver ?
Conclusion
Bronze, Silver et Gold sont utiles parce qu’ils créent des frontières.
Bronze conserve les preuves.
Silver établit la confiance.
Gold crée l’utilisabilité.
Dans Microsoft Fabric, ces frontières peuvent être mises en œuvre avec plusieurs Lakehouses, des schémas dans un Lakehouse, une combinaison de Lakehouse et de Warehouse, ou des mécanismes déclaratifs plus récents comme les vues matérialisées de lac.
La bonne implémentation dépend de l’échelle, de la sécurité, de la répartition des responsabilités et des besoins des consommateurs.
La règle la plus importante n’est pas :
Toujours créer trois couches.
C’est :
Chaque couche doit avoir un objectif clair et rendre les données plus utiles, sans détruire la capacité à comprendre d’où elles viennent.
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoireArchitecture Medallion dans FabricConcevoir une architecture Bronze, Silver et Gold pragmatique dans Microsoft Fabric, avec des contrats de données clairs, la possibilité de rejouer les chargements, un traitement incrémental, des contrôles qualité et des responsabilités de restitution bien définies.Ouvrir l’aide-mémoire
- RessourceContenu en anglaisMedallion Architecture Visual GuideBronze, Silver and Gold on one page: what each layer is for, what belongs in it, and when fewer layers are enough.Voir la ressource
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.