Arquitectura de plataforma

Ingeniería de datos

Pipelines, ingesta, arquitectura y flujos de producción.

Patrones para ingesta, transformaciones, orquestación, diseño Medallion y procesamiento a gran escala.

Empieza aquí

Recorrido recomendado

Preparación de entrevistas

Preguntas de entrevista de ingeniería de datos

Practica preguntas de ingeniería de datos sobre pipelines, cargas incrementales, CDC, idempotencia, Parquet y Delta Lake, calidad de datos, observabilidad y diseño de sistemas.

20 preguntas disponibles · en inglés

Practicar preguntas de ingeniería de datos →

Arquitectura y diseño Medallion

Pipelines e ingesta

Procesamiento distribuido y escala

Guías rápidas

Ver todo →
  • Ingeniería de datosCalidad de datosIntermedio

    Controles de calidad de datos

    Crea controles de calidad de datos prácticos para esquema, completitud, unicidad, validez, integridad referencial, frescura, conciliación y deriva de pipelines sin depender de umbrales universales arbitrarios.

  • Ingeniería de datosAlmacenamiento y formatos de archivoIntermedio

    CSV, JSON, Parquet o Delta

    Elige entre CSV, JSON, Parquet y Delta según el esquema, el rendimiento analítico, la mutabilidad, la interoperabilidad, la fiabilidad y los requisitos de un data lake en producción.

  • Ingeniería de datosAlmacenamiento y rendimientoIntermedio

    Estrategias de particionamiento

    Elige y valida estrategias de particionamiento de datos que mejoren la poda, el paralelismo, el mantenimiento y el costo sin crear skew, archivos diminutos ni organizaciones de alta cardinalidad.

  • Ingeniería de datosIntegración de datosIntermedio

    Patrones de carga incremental

    Diseña cargas incrementales seguras con watermarks, CDC, high-water marks, MERGE, escrituras idempotentes, gestión de datos tardíos y checkpoints reproducibles, sin omitir ni duplicar datos.

  • Ingeniería de datosArquitecturaIntermedio

    Procesamiento batch vs streaming

    Elige entre procesamiento de datos batch y streaming comparando latencia, corrección, complejidad operativa, costo, reproducción, estado y recuperación ante fallos en cargas de trabajo de producción reales.

  • Ingeniería de datosArquitecturaIntermedio

    Referencia rápida de la arquitectura Medallion

    Diseña capas de datos Bronze, Silver y Gold con una propiedad clara, capacidad de reprocesamiento, controles de calidad, procesamiento incremental y contratos de publicación, sin convertir la arquitectura Medallion en una rígida convención de nombres de carpetas.

Contenido reciente

Ver todo →