Tests et qualité

Tests et qualité des données

Prouver qu’une plateforme de données fonctionne, avant et après la mise en production.

Des stratégies de test pratiques pour SQL Server, Microsoft Fabric, Python, PySpark et les pipelines de données en production : tests unitaires et de transformation, contrôles de qualité des données, tests d’intégration et contrôles CI/CD qui décident si un changement doit être livré.

Stratégie de test d’une plateforme de données, tests de pipelines, tests unitaires PySpark et SQL, contrôles de qualité des données, tests de schéma et de contrats de données, tests des pipelines et notebooks Microsoft Fabric, régressions de performance et tests de fumée après déploiement.

Pour les ingénieurs de données, analytics engineers, ingénieurs de plateforme, architectes et responsables techniques qui gèrent des données en production.

Parcours

Commencer ici

Trois étapes : l’architecture de test et ses contrôles, une vraie livraison avec un déploiement bloqué volontairement, puis les tests de réexécution et de rapprochement qui sécurisent les chargements incrémentiels.

  1. Étape 1 · Stratégie de test

  2. Étape 2 · Contrôles de livraison en pratique

  3. Étape 3 · Réexécutions et rapprochements sûrs

Ce que couvre ce hub

Les tests par préoccupation

Les domaines autour desquels ce hub est organisé. Ceux qui n’ont pas encore de guide dédié renvoient à l’étape de « Commencer ici » qui les couvre aujourd’hui.

Tests unitaires et de transformation

De petits tests déterministes pour la logique, et des tests entrée-sortie pour les jointures, agrégations et dédoublonnages.

  • pytest
  • DataFrames PySpark
  • Procédures T-SQL
  • Cas limites
  • Jeux de test

Qualité des données

Des règles sur les données réellement reçues : complétude, unicité, validité, fraîcheur et rapprochement.

  • Nulls et doublons
  • Fraîcheur
  • Intégrité référentielle
  • Rapprochement
  • Distributions

Tests d’intégration et de pipelines

Les composants ensemble, sur de vrais moteurs et un vrai stockage : pipelines, notebooks, écritures Delta et réexécutions.

  • Pipelines
  • Notebooks
  • Dépendances externes
  • Relance et rejeu
  • Idempotence

Contrôles qualité CI/CD

Quels contrôles s’exécutent où, de la pull request à la production, et lesquels bloquent une livraison.

  • Pull request
  • Build
  • Environnement de test
  • Approbation
  • Tests de fumée

Régressions de performance

Des références, pas des seuils universels : durées des requêtes, de Spark et des pipelines comparées avant et après un changement.

  • Durée des requêtes
  • Jobs Spark
  • Durée des pipelines
  • Débit
  • Concurrence

Tests de sécurité

Prouver que les bonnes identités accèdent aux bonnes données, et personne d’autre.

  • Rôles d’espace de travail
  • RLS et OLS
  • Principaux de service
  • Tests négatifs
  • Isolation des clients

Tests de reprise et de rejeu

Réexécutions, relances, rejeux et reconstructions qui laissent les données correctes.

  • Réexécutions
  • Relances
  • Rejeu
  • Reprise sur point de contrôle
  • Restauration et reconstruction

Schémas et contrats de données

Ce que les producteurs promettent aux consommateurs, et les contrôles qui détectent les changements cassants avant la livraison.

  • Colonnes requises
  • Types et nullabilité
  • Changements cassants
  • Évolution de schéma
  • Changements sémantiques

Couvert aujourd’hui dans « Commencer ici », étape 1.

Voir tous les articles sur les tests →

Par technologie

Parcours par technologie

Chaque parcours commence dans la section correspondante du guide principal (en anglais), puis continue sur le hub de la technologie.

Pratique

Checklists et références rapides

À utiliser pendant le développement et la livraison ; les guides ci-dessus expliquent le raisonnement.

  • Liste de vérificationDevOps & ObservabilityEn anglais

    Fabric CI/CD Deployment Checklist

    What to check before, during and after promoting Microsoft Fabric items from Git to Test and Production.

    • CI/CD
    • Git
    • Microsoft Fabric
    • Fabric Workspace
    • +1

  • Liste de vérificationMicrosoft FabricEn anglais

    Data Platform Security Architecture Review Checklist

    The security architecture questions to verify before approving a production data platform, for single-organization and multi-tenant platforms alike.

    • Security
    • Data Architecture
    • Multi-Tenancy
    • Microsoft Fabric
    • +1

  • Liste de vérificationDevOps & ObservabilityEn anglais

    Data Platform Monitoring Checklist

    A production checklist for application, API, report engine, SQL, Fabric and data-quality monitoring.

    • Observability
    • Monitoring
    • API
    • Reporting
    • +3

  • Ingénierie des donnéesQualité des donnéesIntermédiaire

    Contrôles de qualité des données

    Mettez en place des contrôles de qualité des données concrets pour le schéma, la complétude, l’unicité, la validité, l’intégrité référentielle, la fraîcheur, la réconciliation et la dérive des pipelines, sans vous appuyer sur des seuils universels arbitraires.

  • Ingénierie des donnéesIntégration de donnéesIntermédiaire

    Modèles de chargement incrémental

    Concevez des chargements incrémentaux sûrs avec des watermarks, la CDC, des high-water marks, MERGE, des écritures idempotentes, la gestion des données tardives et des checkpoints rejouables, sans sauter ni dupliquer de données.