Ingénierie lakehouse

Delta Lake

Lacs de données transactionnels, performance et mise à l’échelle.

Des modèles pour MERGE, l’évolution de schéma, le partitionnement, la compaction et les lakehouses fiables.

Commencer ici

Parcours conseillé

MERGE et évolution des données

Partitionnement et optimisation

Fiabilité et mise à l’échelle

Fiches pratiques

Tout afficher →
  • PySparkTransformation de donnéesIntermédiaire

    Fonctions de fenêtre dans PySpark

    Utilisez les fonctions de fenêtre PySpark en toute sécurité pour le classement, la sélection de la ligne la plus récente, les totaux cumulés, l’analyse lag/lead et les calculs partitionnés, sans réduire la granularité du DataFrame.

  • PySparkTransformation de donnéesIntermédiaire

    GroupBy et agrégations avec PySpark

    Agrégez des DataFrames PySpark en toute sécurité en définissant la granularité de sortie, en traitant les clés de regroupement nulles, en choisissant les bonnes fonctions d’agrégation, en validant les totaux et en maîtrisant les charges de travail groupBy gourmandes en shuffle.

  • PySparkTransformation de donnéesIntermédiaire

    Joindre des DataFrames avec PySpark

    Joignez des DataFrames PySpark en toute sécurité en validant la cardinalité des clés, en choisissant le bon type et la bonne stratégie de jointure, en évitant la multiplication des lignes et en gérant le skew, les valeurs nulles et les colonnes ambiguës.

  • PySparkIngénierie des donnéesIntermédiaire

    Lire et écrire des tables Delta

    Lire et écrire des tables Delta avec PySpark à l’aide de modèles sûrs d’ajout (append), d’écrasement (overwrite), de merge, d’évolution du schéma, de partitionnement et de maintenance pour les pipelines de données en production.

  • PySparkPerformanceIntermédiaire

    PySpark : référence rapide des performances

    Diagnostiquez et optimisez les charges de travail PySpark en distinguant les problèmes de scan, de shuffle, de skew, de partitionnement, de cache, de jointures, de pression sur le driver et d’organisation des fichiers avant de modifier la taille du cluster.

  • PySparkTransformation de donnéesIntermédiaire

    Sélectionner et filtrer des DataFrames

    Sélectionnez, projetez, filtrez et validez efficacement des DataFrames PySpark en évitant les colonnes ambiguës, les erreurs de logique sur les valeurs nulles, les lectures inutiles et le filtrage côté driver.

Derniers contenus

Tout afficher →