Microsoft Fabric

Reducir el tiempo de inicio de los notebooks de Fabric

Diagnostica la adquisición de sesiones Spark de Microsoft Fabric y reduce el tiempo de inicio evitable mediante pools, entornos y reutilización compatibles.

Por JaviPublicado Actualizado 9 min de lecturaIntermedio

Un reloj de inicio da paso a una sesión Spark activa y a un notebook en ejecución

Respuesta corta: el tiempo que pasa antes de que se ejecute tu código tiene dos causas distintas, y una tercera fase suele confundirse con ellas. El tiempo de cola es la espera de capacidad. El inicio de sesión es Fabric creando o adjuntando una sesión de Spark, incluidas las bibliotecas del entorno. La ejecución del código empieza con tu primera celda. Mide cuál creció antes de cambiar nada: solo los ajustes de pool, entorno y reutilización de este artículo actúan sobre el inicio de sesión.

  1. Inicio de la actividadPipeline, programación o ejecución interactiva
  2. CapacidadTiempo de colaLos trabajos de pipeline y programados esperan mientras los núcleos de Spark están ocupados
  3. Este artículoInicio de sesiónStarter pool o clúster a petición, entorno, bibliotecas
  4. Tu notebookEjecución del códigoDe la primera a la última celda
Cola, inicio y ejecución son tres relojes distintos. Solo la fase central es el inicio de sesión. El tiempo de cola es un problema de capacidad; una ejecución lenta es un problema de datos o de código.

Problema

El código Spark de un notebook termina en menos de un minuto, pero la actividad del pipeline tarda mucho más. Algunas ejecuciones obtienen una sesión enseguida y otras esperan. Aumentar los executors no arregla el tiempo anterior al inicio de los jobs Spark, así que primero separa la adquisición de sesión de la ejecución.

Tiempo de cola, inicio de sesión y ejecución del código

Tiempo de cola

Cuando todos los núcleos de Spark de la capacidad están en uso, los notebooks lanzados por pipelines o por el programador, y las definiciones de trabajos de Spark, se ponen en cola (primero en entrar, primero en salir) y se reintentan automáticamente. Las entradas de la cola caducan 24 horas después de su admisión. Las ejecuciones interactivas y los notebooks enviados mediante la API pública no se ponen en cola: fallan con TooManyRequestsForCapacity (HTTP 430). Los ajustes de pool y de bibliotecas no reducen el tiempo de cola; la capacidad, la programación y las cargas que compiten, sí. Si la cola es habitual, sigue el runbook de saturación de capacidad de Fabric (en inglés) y dimensiona a partir del uso medido con el Fabric Capacity Planner (en inglés).

Inicio de sesión

  • Los starter pools están precalentados y los gestiona Microsoft. Sin bibliotecas adicionales ni propiedades de Spark personalizadas, una sesión suele iniciarse en 5 a 10 segundos, pero es de mejor esfuerzo: la capacidad precalentada no está garantizada y una alta demanda regional puede recurrir a un clúster a petición.
  • El cómputo personalizado (tamaño de nodo, pools personalizados, algunas configuraciones de red) puede impedir la ruta precalentada e iniciar un clúster a petición.
  • Las bibliotecas del entorno dependen del modo de publicación: en modo completo, la instantánea de bibliotecas se despliega al iniciar la sesión y suele añadir de 1 a 3 minutos; en modo rápido, se instalan al ejecutarse la primera celda, por lo que el retraso parece «código» lento.
  • Los custom live pools mantienen clústeres dedicados en caliente durante un horario que tú defines, con las bibliotecas del entorno preinstaladas, así que las sesiones se inician en unos 5 segundos durante esa ventana. El cómputo en caliente consume capacidad: resérvalo para trabajos sensibles a la latencia.

La información de inicio de sesión, en los detalles de la sesión, muestra si la sesión vino de un starter pool o de un clúster a petición, y por qué no se usó la ruta rápida.

Ejecución del código

La ejecución empieza en la primera celda. El tiempo de un %pip install en línea cuenta aquí, igual que una instalación en modo rápido. Todo lo demás (lecturas, shuffles, escrituras) corresponde a acelerar el propio notebook.

Sesiones en caliente, caducidad y reutilización

Una sesión interactiva permanece en caliente hasta que caduca; por defecto, 20 minutos, ajustable en la configuración de Spark del área de trabajo. La siguiente ejecución tras la caducidad vuelve a pagar el inicio.

Los pipelines pueden reutilizar una sesión en curso en lugar de iniciar una por notebook. Con la alta concurrencia habilitada para pipelines, las actividades compatibles que comparten un session tag se unen a una misma sesión; por defecto, hasta cinco notebooks la comparten, y el límite puede elevarse a 50 (en inglés).

Cuidado con encadenar notebooks innecesariamente. Un pipeline que llama a diez notebooks cortos como diez actividades separadas puede pagar diez veces la cola y el inicio. Agrupa las actividades compatibles con un mismo session tag, fusiona los notebooks que siempre se ejecutan juntos o llámalos desde un notebook orquestador: Microsoft documenta que un notebook iniciado con notebook.run() (NotebookUtils, antes MSSparkUtils) se ejecuta en el pool de Spark del notebook que lo llama. runMultiple() ejecuta varios en paralelo y figura como versión preliminar en esa documentación.

Recomendaciones prácticas

Mide el inicio por separado. Registra el comienzo de la actividad del pipeline, el momento en que la sesión está lista si está disponible, el inicio del primer job Spark y el fin del notebook. Usa los detalles de sesión o la experiencia de monitoreo para identificar el origen y el motivo de la demora. Sin esa separación, una primera lectura lenta puede confundirse con un inicio lento.

Prefiere la configuración predeterminada compatible con starter pools cuando satisfaga la carga. No personalices de antemano el tamaño de nodo ni las propiedades Spark. Una configuración personalizada puede ser correcta para un job pesado y sostenido, pero quizá cambie una ejecución más rápida por una adquisición más larga. Evalúa la duración total y la fiabilidad.

Mueve las dependencias estables y compartidas a un Fabric Environment gobernado en lugar de ejecutar %pip install en cada notebook. Elige el comportamiento de publicación del entorno según la velocidad de desarrollo, la reproducibilidad y las necesidades de sesión. Evita importar paquetes pesados que el notebook nunca usa. El trabajo de los paquetes forma parte del costo de ejecución aunque no aparezca como una etapa Spark.

Ejemplo de medición

El código del notebook no puede medir el tiempo anterior al inicio de su propio proceso, pero sí marcar el primer punto ejecutable y cada etapa posterior. Combina esos registros con las marcas de tiempo del pipeline y de la sesión Fabric.

PySpark
from datetime import datetime, timezone
from time import perf_counter

notebook_started_at = datetime.now(timezone.utc).isoformat()
clock = perf_counter()

print({"event": "notebook_code_started", "at": notebook_started_at})

orders = (
    spark.read.table("SalesLakehouse.silver.orders")
    .select("order_id", "order_date", "amount")
    .where("order_date >= '2026-10-01'")
)

row_count = orders.count()
print({
    "event": "input_materialized",
    "elapsed_seconds": round(perf_counter() - clock, 3),
    "rows": row_count,
})
PySpark20 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Si el tiempo entre el pipeline y el inicio del código es alto, pero el intervalo entre el código y la primera acción es normal, investiga la adquisición y la inicialización del entorno. Si el notebook empieza rápido pero la primera acción tarda, revisa el acceso a la tabla, el listado de archivos, la creación del plan y el job Spark.

Crea una tabla pequeña de comparación con varias ejecuciones representativas:

Ejecución Origen de la sesión Adquisición Primera acción Trabajo restante
Referencia Starter o reutilizada medido medido medido
Lenta Bajo demanda o personalizada medido medido medido

No inventes valores objetivo. Establece una referencia para el workspace, la capacidad, la configuración y el intervalo. La demanda regional y el uso concurrente de capacidad pueden cambiar los resultados.

Errores frecuentes

  • Ajustar transformaciones Spark cuando la demora ocurre antes del primer job.
  • Suponer que el inicio mediante starter pool está garantizado en cada ejecución.
  • Añadir cálculo o propiedades personalizadas sin medir su costo de adquisición.
  • Instalar los mismos paquetes en línea en cada notebook.
  • Tratar un live pool como una reducción gratuita de latencia sin considerar el consumo de capacidad.
  • Usar session tags únicos que impiden reutilizar una sesión entre actividades relacionadas del pipeline.
  • Forzar cargas incompatibles a compartir recursos y perder fiabilidad o aislamiento.
  • Medir una ejecución y presentarla como benchmark estable.

Lista de comprobación del inicio

  • ¿El notebook estuvo en cola? Revisa el tiempo de cola antes que nada.
  • ¿Se creó una sesión nueva o se adjuntó a una sesión en caliente o compartida?
  • ¿La sesión vino de un starter pool o de un clúster a petición, y qué motivo da la información de inicio de sesión?
  • ¿Cambió o se volvió a publicar el entorno, y qué modo de publicación de bibliotecas usa?
  • ¿Se instalan bibliotecas personalizadas con %pip en cada ejecución?
  • ¿Está disponible la reutilización de sesión: alta concurrencia habilitada, ajustes compatibles, un session tag común?
  • ¿Se invocan muchos notebooks cortos como actividades separadas?
  • ¿Es la concurrencia en la capacidad el verdadero cuello de botella?

Si la adquisición es normal, lleva la investigación a la primera acción de Spark y al plan ejecutado. La optimización del inicio termina cuando empieza el código; no debe convertirse en una explicación cómoda para lecturas, shuffles o escrituras Delta lentas.

Fuentes

Los tiempos son los valores típicos documentados por Microsoft, revisados en noviembre de 2026; mide tu propia referencia.

Etiquetas

  • Microsoft Fabric
  • Fabric Notebook
  • Rendimiento
  • PySpark
  • Solución de problemas