Pruebas y calidad

Pruebas y calidad de datos

Demuestra que una plataforma de datos funciona, antes y después de llegar a producción.

Estrategias de prueba prácticas para SQL Server, Microsoft Fabric, Python, PySpark y pipelines de datos en producción: pruebas unitarias y de transformación, controles de calidad de datos, pruebas de integración y los controles de CI/CD que deciden si un cambio debe publicarse.

Estrategia de pruebas de una plataforma de datos, pruebas de pipelines, pruebas unitarias de PySpark y SQL, controles de calidad de datos, pruebas de esquema y contratos de datos, pruebas de pipelines y notebooks de Microsoft Fabric, regresiones de rendimiento y pruebas de humo tras el despliegue.

Para ingenieros de datos, analytics engineers, ingenieros de plataforma, arquitectos y responsables técnicos que gestionan datos en producción.

Recorrido

Empieza aquí

Tres pasos: la arquitectura de pruebas y sus controles, un despliegue real con un bloqueo provocado a propósito, y las pruebas de reejecución y conciliación que mantienen seguras las cargas incrementales.

  1. Paso 1 · Estrategia de pruebas

  2. Paso 2 · Controles de publicación en la práctica

  3. Paso 3 · Reejecuciones y conciliación seguras

Qué cubre este hub

Pruebas por área

Las áreas en torno a las que se organiza este hub. Las que aún no tienen una guía propia remiten al paso de «Empieza aquí» que las cubre hoy.

Pruebas unitarias y de transformación

Pruebas pequeñas y deterministas para la lógica, y pruebas de entrada y salida para joins, agregaciones y deduplicación.

  • pytest
  • DataFrames de PySpark
  • Procedimientos T-SQL
  • Casos límite
  • Datos de prueba

Calidad de datos

Reglas sobre los datos que realmente llegaron: completitud, unicidad, validez, frescura y conciliación.

  • Nulos y duplicados
  • Frescura
  • Integridad referencial
  • Conciliación
  • Distribuciones

Pruebas de integración y de pipelines

Los componentes juntos, con motores y almacenamiento reales: pipelines, notebooks, escrituras Delta y reejecuciones.

  • Pipelines
  • Notebooks
  • Dependencias externas
  • Reintentos y reproceso
  • Idempotencia

Controles de calidad CI/CD

Qué controles se ejecutan dónde, de la pull request a producción, y cuáles bloquean una publicación.

  • Pull request
  • Build
  • Entorno de pruebas
  • Aprobación
  • Pruebas de humo

Regresiones de rendimiento

Líneas base, no umbrales universales: tiempos de consultas, Spark y pipelines comparados antes y después de un cambio.

  • Tiempo de consulta
  • Jobs de Spark
  • Duración de pipelines
  • Rendimiento
  • Concurrencia

Pruebas de seguridad

Demostrar que las identidades correctas acceden a los datos correctos, y nadie más.

  • Roles del área de trabajo
  • RLS y OLS
  • Entidades de servicio
  • Pruebas negativas
  • Aislamiento de clientes

Pruebas de recuperación y reproceso

Reejecuciones, reintentos, reprocesos y reconstrucciones que dejan los datos correctos.

  • Reejecuciones
  • Reintentos
  • Reproceso
  • Reinicio desde checkpoint
  • Restauración y reconstrucción

Esquemas y contratos de datos

Lo que los productores prometen a los consumidores, y los controles que detectan cambios incompatibles antes de publicarlos.

  • Columnas obligatorias
  • Tipos y nulabilidad
  • Cambios incompatibles
  • Evolución de esquema
  • Cambios semánticos

Cubierto hoy en «Empieza aquí», paso 1.

Ver todos los artículos sobre pruebas →

Por tecnología

Recorridos por tecnología

Cada recorrido empieza en la sección correspondiente de la guía principal (en inglés) y continúa en el hub de la tecnología.

Práctica

Checklists y referencias rápidas

Úsalas mientras desarrollas y publicas; las guías anteriores explican el razonamiento.

  • Lista de verificaciónDevOps & ObservabilityEn inglés

    Fabric CI/CD Deployment Checklist

    What to check before, during and after promoting Microsoft Fabric items from Git to Test and Production.

    • CI/CD
    • Git
    • Microsoft Fabric
    • Fabric Workspace
    • +1

  • Lista de verificaciónMicrosoft FabricEn inglés

    Data Platform Security Architecture Review Checklist

    The security architecture questions to verify before approving a production data platform, for single-organization and multi-tenant platforms alike.

    • Security
    • Data Architecture
    • Multi-Tenancy
    • Microsoft Fabric
    • +1

  • Lista de verificaciónDevOps & ObservabilityEn inglés

    Data Platform Monitoring Checklist

    A production checklist for application, API, report engine, SQL, Fabric and data-quality monitoring.

    • Observability
    • Monitoring
    • API
    • Reporting
    • +3

  • Ingeniería de datosCalidad de datosIntermedio

    Controles de calidad de datos

    Crea controles de calidad de datos prácticos para esquema, completitud, unicidad, validez, integridad referencial, frescura, conciliación y deriva de pipelines sin depender de umbrales universales arbitrarios.

  • Ingeniería de datosIntegración de datosIntermedio

    Patrones de carga incremental

    Diseña cargas incrementales seguras con watermarks, CDC, high-water marks, MERGE, escrituras idempotentes, gestión de datos tardíos y checkpoints reproducibles, sin omitir ni duplicar datos.