Microsoft Fabric
Architecture Medallion expliquée : Bronze, Silver et Gold
Comprendre le rôle des couches Bronze, Silver et Gold, la progression de la qualité des données et du traitement incrémentiel dans Microsoft Fabric, et les cas où moins de couches conviennent mieux.
Dans cet article
L’architecture Medallion permet d’améliorer progressivement la qualité et l’utilité des données au fil de leur parcours dans une plateforme. Les données arrivent à peu près telles que la source les a produites, sont nettoyées et mises en conformité pour devenir des entités fiables, puis sont préparées pour les personnes et les applications qui les consomment. Ces trois étapes sont généralement appelées Bronze, Silver et Gold.
Il est important de bien définir ce qu’est ce modèle. L’architecture Medallion est un modèle de conception, pas une fonctionnalité produit. Le terme vient de l’écosystème Lakehouse et la documentation Microsoft Fabric la décrit comme une approche recommandée pour les Lakehouses. Mais rien dans Microsoft Fabric ne l’impose, ne l’applique automatiquement, ni ne change le comportement d’une table parce qu’elle se trouve dans un objet nommé « Silver ». Un Lakehouse appelé bronze reste un Lakehouse ordinaire.
Cette distinction compte, car le modèle est facile à appliquer mécaniquement. Trois couches peuvent devenir trois copies de chaque table, trois ensembles de pipelines et trois endroits susceptibles de tomber en panne, même si chaque copie n’apporte rien. Cet article explique le rôle de chaque couche, le fonctionnement de la qualité et du traitement incrémentiel entre elles, et comment déterminer si une architecture plus simple convient mieux.
Le flux de base
- SourcesApplications, fichiers, API, bases de données
- BronzeDéposer les données telles que reçues
- SilverNettoyer, valider, mettre en conformité
- GoldFaçonner pour un besoin métier
- ConsommateursRapports, modèles, API
- Les sources sont les systèmes que la plateforme ne contrôle pas : bases opérationnelles, applications SaaS, fichiers de partenaires et flux d’événements.
- Bronze conserve les données brutes ou peu transformées, avec suffisamment de métadonnées pour les tracer et les rejouer.
- Silver transforme les enregistrements structurés selon la source en entités propres, validées et mises en conformité, auxquelles plusieurs usages en aval peuvent se fier.
- Gold prépare ces entités pour des processus métier précis : modèle de reporting, agrégats ou table derrière une API.
- Les consommateurs lisent Gold, parfois Silver, mais jamais Bronze.
La valeur réside dans les frontières. Chaque flèche représente un point où une transformation définie a lieu, où la qualité peut être vérifiée et où une panne peut être isolée sans corrompre la couche suivante.
Bronze
Alignée sur la source
- Brute ou peu transformée
- Auditable et rejouable
- Structurée comme la source
- Principalement alimentée par ajout
Silver
Alignée sur l’entreprise
- Nettoyée et validée
- Dédupliquée
- Entités et clés mises en conformité
- Réutilisable par plusieurs consommateurs
Gold
Alignée sur les consommateurs
- Prête pour les usages métier
- Modélisée ou agrégée
- Optimisée pour la restitution
- Gérée en fonction de ses consommateurs
Couche Bronze
Bronze contient des données brutes ou peu transformées. Son rôle est de préserver la fidélité à la source : si quelqu’un demande ce qu’un système a réellement envoyé un jour donné, Bronze doit pouvoir répondre.
Une transformation minimale consiste à convertir les données dans un format interrogeable, généralement une table Delta, et à ajouter des métadonnées. Elle ne consiste pas à corriger les valeurs, à renommer les colonnes selon le vocabulaire métier ou à filtrer les enregistrements suspects. Chaque correction faite à ce stade peut effacer des éléments dont on aura besoin plus tard.
Les métadonnées d’ingestion rendent Bronze utile, plutôt que simplement volumineuse. Parmi les colonnes utiles : l’horodatage du chargement, l’identifiant du lot ou de l’exécution, le système source et le nom du fichier ou la fenêtre d’extraction. Elles permettent d’identifier et de retraiter un lot défectueux, et de remonter de chaque ligne Silver à son entrée d’origine.
Cette traçabilité est la base de l’auditabilité. Bronze répond souvent aux exigences de rétention et permet de rejouer un pipeline après la correction d’un bogue dans une logique ultérieure, sans demander à la source de tout renvoyer.
Bronze absorbe également la dérive de schéma. Les sources ajoutent des colonnes, changent des types ou envoient des fichiers mal formés. Une couche Bronze tolérante peut accueillir ces données, par exemple en autorisant les ajouts de colonnes ou en conservant une colonne de contenu brut, puis laisser la logique Silver décider de la signification du changement. C’est préférable à l’échec de l’ingestion et à la perte des données.
Les traitements Bronze sont principalement alimentés par ajout : on ajoute de nouvelles données et on modifie rarement les anciennes. Cela simplifie l’écriture et réduit le coût du chargement, tout en convenant aux tables Delta. Les formats de fichiers source comme CSV, JSON ou Parquet peuvent rester dans la zone Files du Lakehouse pour préserver leur forme d’origine, être chargés dans des tables Delta Bronze, ou les deux. Conserver les fichiers originaux est utile lorsque la conversion de format peut entraîner une perte d’information.
Quand Bronze n’est pas nécessaire. Si la source est déjà durable, interrogeable, versionnée et relisible à la demande, et si personne n’a besoin de l’historique des données reçues, une copie brute distincte apporte parfois peu. Certaines plateformes chargent aussi directement les données dans une table nettoyée lorsque la source est fiable et la transformation triviale. Bronze se justifie lorsque le rejeu, l’audit ou la tolérance aux entrées désordonnées sont importants.
Couche Silver
Silver rend les données fiables. Les opérations typiques sont :
- Nettoyage : suppression des espaces superflus, correction des encodages, gestion des valeurs nulles et sentinelles.
- Validation : rejet ou mise en quarantaine des enregistrements qui enfreignent les règles, au lieu de les laisser passer sans signalement.
- Déduplication : suppression des livraisons répétées et conservation de la dernière version de chaque enregistrement.
- Standardisation : cohérence des types, fuseaux horaires, unités, devises et valeurs de code.
- Mise en conformité : organisation des données en entités communes telles que client, produit ou commande, afin d’aligner les données provenant de plusieurs sources.
- Jointures à finalité technique plutôt que métier, par exemple pour résoudre des codes de référence ou joindre des données de référence.
Les clés métier deviennent centrales dans Silver. Les enregistrements Bronze sont identifiés par leur source et leur lot ; les entités Silver le sont par des clés qui ont un sens entre les systèmes, comme un numéro de client ou un identifiant de commande. Le choix et l’application de ces clés rendent possibles la déduplication, MERGE et le suivi des changements.
Les règles de qualité des données doivent être explicites et testables : unicité des clés, champs obligatoires, plages de valeurs autorisées et intégrité référentielle avec les données de référence. Les enregistrements non conformes peuvent être envoyés dans une table de quarantaine avec leur motif ; les problèmes deviennent visibles au lieu de disparaître.
Le résultat est un ensemble de jeux de données réutilisables et préparés. Silver n’est pas conçue pour un seul rapport. Plusieurs modèles Gold, traitements de data science et analyses ad hoc peuvent s’appuyer sur cette couche, ce qui constitue l’essentiel de sa valeur.
Couche Gold
Gold est destinée aux usages métier. Ses tables existent parce qu’un consommateur identifié en a besoin :
- Reporting : faits et dimensions utilisés par des tableaux de bord et rapports paginés.
- Modèles sémantiques : modèles Power BI, y compris les modèles Direct Lake qui lisent les tables Delta dans OneLake.
- API : tables ou vues stables et ciblées qu’interroge une application.
- Agrégats : totaux précalculés lorsque leur calcul à la demande serait trop lent ou trop coûteux.
Les modèles dimensionnels sont la forme Gold la plus courante, car les analystes les comprennent bien et les outils BI les exploitent efficacement. Les tables larges et dénormalisées sont également légitimes lorsqu’un consommateur en particulier en a besoin.
Les tables Gold sont des tables de restitution optimisées pour les performances. Elles sont conçues en fonction de leur mode de lecture : colonnes filtrées, granularité requise et fraîcheur des données. Contrairement à Silver, une table Gold peut être conçue pour un usage unique, à condition qu’un responsable en assure la gestion et sache qui la consomme.
Faut-il toujours trois couches ?
Non. Le nombre de couches doit découler des problèmes à résoudre, pas du schéma.
Charge simple
Une source fiable, un consommateur
- Source
- Données préparées
- Consommateur
Cela suffit si la source est fiable, la transformation limitée et l’historique brut inutile.
Charge complexe
Plusieurs sources, plusieurs consommateurs
- Source
- Bronze
- Silver
- Gold
- Consommateur
Justifié par le rejeu et l’audit, la mise en conformité entre sources et plusieurs modèles adaptés aux consommateurs.
Voici des cas courants où moins de couches suffisent :
- Bronze + Gold. Une source unique alimente un seul modèle de reporting et le nettoyage est léger. Il peut être fait lors de la construction de Gold ; une copie Silver supplémentaire ne ferait que dupliquer les données.
- Silver + Gold. La source est déjà propre et versionnée, par exemple une base opérationnelle bien gouvernée consultée au moyen du suivi des changements. Charger d’abord une copie intacte peut ajouter du stockage et de la latence sans apporter d’auditabilité.
- Un modèle préparé directement. Pour une petite équipe, quelques sources fiables et un Lakehouse ou Warehouse avec des tables préparées clairement nommées peuvent constituer le bon choix. Un modèle clair et testé vaut mieux que trois couches superficielles.
Les couches supplémentaires ont un coût réel : davantage de stockage, de calcul à chaque étape, de latence de bout en bout, de pipelines à déployer et superviser, et de risques de divergence des définitions. Une couche se justifie lorsqu’elle crée un contrat dont un autre composant dépend : données d’entrée conservées pour le rejeu, mise en conformité partagée entre domaines, isolation de champs sensibles ou modèles différents pour plusieurs consommateurs.
Tables Delta et architecture Medallion
Dans Fabric, les tables Lakehouse et Warehouse sont stockées sous forme de tables Delta dans OneLake. Delta fournit plusieurs propriétés utiles aux traitements en couches :
- Transactions ACID sur chaque table, pour que les lecteurs ne voient jamais un lot à moitié écrit.
MERGEpour les upserts et suppressions, mécanisme utilisé par la plupart des tables Silver pour intégrer les changements.- Application et évolution du schéma, qui aident Bronze à tolérer les ajouts tout en permettant à Silver de rester stricte.
- Prise en charge du traitement incrémentiel, notamment le change data feed lorsqu’il est activé, pour que les couches suivantes ne lisent que les changements.
- Historique des transactions et time travel, utiles pour l’audit et la récupération après une écriture incorrecte.
Delta ne conçoit pas les couches à votre place. Les transactions sont propres à chaque table ; un pipeline qui en écrit plusieurs doit donc gérer lui-même la cohérence et la reprise. Un MERGE sur une grande table peut coûter cher si la condition de correspondance ne permet pas de réduire les fichiers concernés. Le time travel dépend des paramètres de rétention et de la maintenance. Delta rend ce modèle praticable, mais les frontières et la logique restent des décisions d’ingénierie.
Traitement incrémentiel
- Nouvelles données sourceDepuis le dernier watermark
- Ajout dans BronzeNouveau lot avec ses métadonnées
- Enregistrements modifiés dans SilverMERGE à partir de la clé métier
- Agrégats Gold concernésRecalcul des seules tranches touchées
Un rechargement complet reconstruit chaque table à partir de zéro à chaque exécution. C’est simple et cela fonctionne tant que les volumes restent faibles. Lorsque les volumes augmentent, le coût dépend de la taille totale des données plutôt que de celle des changements. Les exécutions durent plus longtemps, se disputent la capacité et multiplient les occasions de panne.
Le traitement incrémentiel évolue avec le volume de changements. Bronze ajoute le nouveau lot. Silver identifie les clés métier concernées et ne fusionne que les enregistrements modifiés. Gold ne recalcule que les agrégats dont les entrées ont changé, par exemple les jours, magasins ou clients touchés par le lot.
Les difficultés concernent surtout la justesse plutôt que la vitesse : données arrivant tardivement, suppressions dans la source, lots renvoyés et maintien d’un watermark fiable. Les pipelines incrémentiels devraient être idempotents, de sorte qu’un nouveau traitement du même lot produise le même résultat. Un rapprochement périodique avec un recalcul complet est également utile.
Partitionnement
Le partitionnement répartit une table en dossiers selon la valeur d’une colonne, afin que les requêtes filtrant sur cette colonne puissent ignorer le reste. Dans les plateformes en couches, il est souvent appliqué trop tôt et trop largement.
- Ne partitionnez que si cela se justifie. Les petites et moyennes tables sont généralement plus rapides sans partitions. Databricks recommande, par exemple, de ne pas partitionner les tables de moins d’environ un téraoctet et de viser des partitions d’environ un gigaoctet ou plus.
- Évitez les clés à forte cardinalité. Un partitionnement par identifiant client ou horodatage crée des milliers de petites partitions et de petits fichiers.
- Les partitions temporelles de granularité assez large, comme le mois ou le jour, sont généralement adaptées aux grandes tables alimentées par ajout, surtout en Bronze où les données arrivent selon leur date de chargement.
- L’élimination de partitions ne fonctionne que si les requêtes filtrent sur la colonne de partitionnement. Une table Gold partitionnée par date de chargement ne gagne rien si les requêtes filtrent par date métier.
- Chaque partition ajoute des fichiers. Plus de partitions signifie plus de fichiers, souvent plus petits ; le partitionnement impose donc toujours un compromis entre l’élagage et le nombre de fichiers.
Les choix peuvent varier selon la couche : la date de chargement peut convenir à Bronze, la date métier à une grande table de faits Silver, tandis que la plupart des tables Gold sont assez petites pour se passer de partitions.
Petits fichiers
Les tables Delta sont constituées de fichiers Parquet, et chaque fichier a un coût : il doit être répertorié, ouvert et lu, et ses métadonnées doivent être suivies dans le journal des transactions. Les ajouts fréquents de petits lots, l’ingestion en streaming, le surpartitionnement et les nombreux petits MERGE créent tous beaucoup de petits fichiers.
Les symptômes sont des requêtes lentes même sur des volumes modestes, un journal des transactions qui grossit et des écritures de plus en plus lentes. Le remède est la compaction : réécrire périodiquement plusieurs petits fichiers en un nombre réduit de fichiers plus grands. Dans Fabric, cela se fait avec OPTIMIZE depuis Spark ou avec la fonctionnalité de maintenance des tables Lakehouse ; Fabric peut également appliquer V-Order pour améliorer les lectures. La compaction est suivie de VACUUM pour supprimer les fichiers qui ne sont plus référencés, tout en respectant la période de rétention nécessaire au time travel.
Les différentes couches produisent de petits fichiers pour des raisons différentes. Planifiez donc la maintenance par table plutôt que de l’appliquer aveuglément partout.
Qualité des données
Les attentes de qualité évoluent avec les données. Chaque couche répond à une question différente.
- ComplétudeBronzeAvons-nous reçu les données ?
- ValiditéSilverLes données sont-elles valides et cohérentes ?
- Adéquation à l’usageGoldLes données répondent-elles au besoin métier ?
- Bronze vérifie la réception : les fichiers ou extractions attendus sont arrivés, le nombre de lignes est plausible et le schéma est lisible. Elle ne juge pas les valeurs.
- Silver vérifie la validité : les clés sont uniques, les champs obligatoires présents, les valeurs dans les plages attendues, les codes résolus et les doublons supprimés. Les enregistrements en échec sont mis en quarantaine avec leur motif.
- Gold vérifie la justesse métier : les totaux correspondent à une source connue, les mesures évoluent comme prévu et la granularité correspond aux attentes des consommateurs.
Les contrôles entre les couches servent de barrières. Un lot qui échoue à la validation Silver ne doit pas alimenter discrètement les rapports Gold.
Exemple d’architecture Fabric
Sources
- Bases opérationnelles
- Fichiers
- API
Ingestion
- Pipeline de données
- Notebook
Bronze
- Lakehouse BronzeTables Delta et fichiers bruts
Transformation
- NotebooksNettoyer, valider, dédupliquer
Silver
- Tables Delta SilverEntités mises en conformité
Transformations métier
- Notebooks ou T-SQLModéliser et agréger
Gold
- Lakehouse ou Warehouse GoldFaits, dimensions et tables de restitution
Restitution
- SQL analytics endpoint
- Modèle sémantique
- API
- Rapports
Cross-cutting concerns
- Intégration Git
- Pipelines de déploiement
- Journalisation des exécutions
- Supervision
- Sécurité des espaces de travail
Quelques remarques de mise en œuvre :
- Les pipelines de données conviennent bien à la copie des données et à l’orchestration des étapes ; les notebooks sont adaptés à la logique de transformation. De nombreuses plateformes utilisent des pipelines pour appeler des notebooks.
- Des Lakehouses séparés par couche clarifient les autorisations et les responsabilités, mais un Lakehouse unique avec une convention de nommage claire peut suffire pour une petite plateforme.
- Gold peut être un Lakehouse lorsque les transformations sont écrites en Spark, ou un Fabric Warehouse si l’équipe préfère T-SQL et a besoin de transactions entre plusieurs tables. Le SQL analytics endpoint d’un Lakehouse est en lecture seule ; les écritures passent donc par Spark.
- La journalisation, la supervision, Git et le déploiement ne sont pas des couches, mais chacune en dépend.
Erreurs fréquentes
- Créer systématiquement trois couches parce que le modèle les montre, sans donner de rôle à chacune.
- Dupliquer les données sans raison, par exemple avec des tables Silver identiques octet pour octet aux tables Bronze.
- Mélanger données brutes et préparées dans les mêmes tables ou le même Lakehouse sans nommage clair, au risque que les consommateurs lisent des données non validées.
- Placer la logique métier dans Bronze, ce qui détruit la fidélité à la source et rend le rejeu impossible.
- Surpartitionner, en particulier par des colonnes à forte cardinalité, ce qui crée de petits fichiers et ralentit les traitements.
- Reconstruire inutilement des tables entières à chaque exécution lorsque les volumes ne le permettent plus.
- Créer une table Gold pour chaque rapport possible, et transformer Gold en collection de doublons sans responsable.
- Omettre les contrôles qualité entre les couches, laissant les problèmes atteindre les rapports avant d’être détectés.
- Négliger l’observabilité : aucun journal d’exécution, aucun nombre de lignes, aucun suivi de fraîcheur et aucun moyen rapide de savoir quelle couche a échoué.
Exemple d’architecture de référence
Le schéma suivant est un point de départ, pas un modèle obligatoire :
Sources
- Bases opérationnelles
- Fichiers
- API
Ingestion
- Pipeline de données
- Notebook
Bronze / brut
- Tables Delta brutesAlignées sur la source, avec métadonnées de lot
Silver / conformité
- Entités mises en conformitéNettoyées, validées, dédupliquées
Gold / données préparées
- Modèles préparésTables de restitution prêtes pour le métier
Restitution
- Warehouse
- SQL analytics endpoint
- Modèles sémantiques
Consommateurs
- API
- Rapports
- Data science
Cross-cutting concerns
- Git
- CI/CD
- Journalisation
- Supervision
- Sécurité
- Configuration
Les flèches doivent correspondre à des contrats observables dont un responsable est identifié. Par exemple, l’ingestion consigne le lot source, les transformations peuvent le rejouer, la couche préparée publie un schéma stable et les consommateurs connaissent les attentes de fraîcheur et de qualité.
Conclusion
L’architecture Medallion est utile lorsque chaque couche a un rôle et une frontière opérationnelle clairs : une entrée définie, une transformation définie, un contrôle qualité et un responsable. Utilisée ainsi, elle facilite la confiance, le diagnostic et les changements. Appliquée comme un modèle fixe, elle multiplie le stockage, les pipelines et les points de défaillance sans améliorer les données.
Partez des problèmes à résoudre — rejeu, mise en conformité entre sources, performances de restitution ou isolation — et ajoutez une couche lorsqu’elle en résout un.
La section Architecture Medallion du parcours Microsoft Fabric propose des articles dédiés. Ces guides approfondissent les modèles d’ingénierie de chaque couche :
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoireArchitecture Medallion dans FabricConcevoir une architecture Bronze, Silver et Gold pragmatique dans Microsoft Fabric, avec des contrats de données clairs, la possibilité de rejouer les chargements, un traitement incrémental, des contrôles qualité et des responsabilités de restitution bien définies.Ouvrir l’aide-mémoire
- ArticleContenu en anglaisIncremental Loads in Microsoft Fabric: Watermarks, CDC and MERGE Without Reprocessing EverythingStop full reloads in Microsoft Fabric without losing correctness: bounded watermark windows, Change Tracking vs CDC, Delta MERGE, deletes, late data and safe reruns.Lire l’article
- Feuille de routeFabric Medallion ArchitectureComprendre le rôle des couches Bronze, Silver et Gold, la progression de la qualité des données et du traitement incrémentiel dans Microsoft Fabric, et les cas où moins de couches conviennent mieux.Voir la feuille de route
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.