Architecture de plateforme

Ingénierie des données

Pipelines, ingestion, architecture et workflows de production.

Des modèles pour l’ingestion, les transformations, l’orchestration, le Medallion et le traitement à grande échelle.

Commencer ici

Parcours conseillé

Préparation aux entretiens

Questions d’entretien en ingénierie des données

Entraînez-vous aux questions d’ingénierie des données sur les pipelines, les chargements incrémentiels, le CDC, l’idempotence, Parquet et Delta Lake, la qualité des données, l’observabilité et la conception de systèmes.

20 questions disponibles · en anglais

S’entraîner en ingénierie des données →

Architecture et conception Medallion

Pipelines et ingestion

Traitement distribué et mise à l’échelle

Fiches pratiques

Tout afficher →
  • Ingénierie des donnéesArchitectureIntermédiaire

    Architecture Medallion : référence rapide

    Concevoir des couches de données Bronze, Silver et Gold avec des responsabilités clairement attribuées, la possibilité de rejouer les chargements, des contrôles qualité, un traitement incrémental et des contrats de restitution, sans réduire l’architecture Medallion à une convention rigide de nommage de dossiers.

  • Ingénierie des donnéesQualité des donnéesIntermédiaire

    Contrôles de qualité des données

    Mettez en place des contrôles de qualité des données concrets pour le schéma, la complétude, l’unicité, la validité, l’intégrité référentielle, la fraîcheur, la réconciliation et la dérive des pipelines, sans vous appuyer sur des seuils universels arbitraires.

  • Ingénierie des donnéesStockage et formats de fichiersIntermédiaire

    CSV, JSON, Parquet ou Delta

    Choisissez entre CSV, JSON, Parquet et Delta selon le schéma, les performances analytiques, la mutabilité, l’interopérabilité, la fiabilité et les exigences d’un data lake en production.

  • Ingénierie des donnéesIntégration de donnéesIntermédiaire

    Modèles de chargement incrémental

    Concevez des chargements incrémentaux sûrs avec des watermarks, la CDC, des high-water marks, MERGE, des écritures idempotentes, la gestion des données tardives et des checkpoints rejouables, sans sauter ni dupliquer de données.

  • Ingénierie des donnéesStockage et performanceIntermédiaire

    Stratégies de partitionnement

    Choisir et valider des stratégies de partitionnement des données qui améliorent l’élagage, le parallélisme, la maintenance et le coût, sans créer de skew, de fichiers minuscules ni d’organisations à forte cardinalité.

  • Ingénierie des donnéesArchitectureIntermédiaire

    Traitement batch ou streaming

    Choisissez entre traitement batch et streaming des données en comparant latence, exactitude, complexité opérationnelle, coût, rejeu, état et reprise après échec pour de vraies charges de production.

Derniers contenus

Tout afficher →