Ingeniería lakehouse

Delta Lake

Lagos de datos transaccionales, rendimiento y escala.

Patrones para MERGE, evolución de esquema, particionamiento, compactación y lakehouses fiables.

Empieza aquí

Recorrido recomendado

MERGE y cambios de datos

Particionamiento y optimización

Fiabilidad y escala

Guías rápidas

Ver todo →
  • PySparkTransformación de datosIntermedio

    Funciones de ventana en PySpark

    Usa las funciones de ventana de PySpark de forma segura para clasificar, seleccionar la fila más reciente, calcular totales acumulados, analizar con lag/lead y hacer cálculos por partición sin reducir la granularidad del DataFrame.

  • PySparkTransformación de datosIntermedio

    GroupBy y agregaciones en PySpark

    Agrega DataFrames de PySpark de forma segura definiendo la granularidad de salida, gestionando las claves de agrupación nulas, eligiendo las funciones de agregación correctas, validando los totales y controlando las cargas de trabajo de groupBy con mucho shuffle.

  • PySparkTransformación de datosIntermedio

    Joins de DataFrames en PySpark

    Haz joins de DataFrames de PySpark de forma segura validando la cardinalidad de las claves, eligiendo el tipo y la estrategia de join adecuados, evitando la multiplicación de filas y gestionando el skew, los nulos y las columnas ambiguas.

  • PySparkIngeniería de datosIntermedio

    Leer y escribir tablas Delta

    Lee y escribe tablas Delta con PySpark usando patrones seguros de append, overwrite, merge, evolución del esquema, particionamiento y mantenimiento para pipelines de datos en producción.

  • PySparkRendimientoIntermedio

    Referencia rápida de rendimiento de PySpark

    Diagnostica y optimiza cargas de trabajo de PySpark separando los problemas de lectura, shuffle, skew, particionamiento, caché, joins, presión sobre el driver y diseño de archivos antes de cambiar el tamaño del clúster.

  • PySparkTransformación de datosIntermedio

    Seleccionar y filtrar DataFrames

    Selecciona, proyecta, filtra y valida DataFrames de PySpark de forma eficiente evitando columnas ambiguas, errores en la lógica de nulos, lecturas innecesarias y el filtrado en el driver.

Contenido reciente

Ver todo →