Explorar guías rápidas · Microsoft Fabric

Tecnología: Microsoft FabricCategoría: RendimientoNivel: IntermedioActualizado

Session tags en Fabric

Usa los session tags de Microsoft Fabric para reutilizar sesiones Spark compatibles entre actividades de notebook, reducir el tiempo de inicio y evitar una fragmentación innecesaria de sesiones.

En esta página
  1. Problema
  2. Respuesta rápida
  3. Código / comandos
  4. 1. Configura un session tag en una actividad Notebook de un pipeline de Fabric
  5. 2. Habilita High Concurrency antes de depender de los session tags
  6. 3. Reutiliza un tag para las actividades de notebook relacionadas
  7. 4. Usa tags distintos para cargas de trabajo sin relación
  8. 5. Mantén una configuración de cómputo compatible
  9. 6. Mantén alineados el Environment y la configuración de Spark
  10. 7. No hagas que los session tags sean únicos por ejecución del pipeline
  11. 8. No uses un único tag global para todos los notebooks
  12. 9. Ajusta la densidad de sesiones solo después de medir la concurrencia
  13. 10. Usa la reutilización de sesión para cadenas de notebooks cortos
  14. 11. Mide el inicio y la ejecución por separado
  15. 12. Confirma la reutilización mediante el monitoreo de Fabric
  16. 13. Entiende el aislamiento REPL en High Concurrency
  17. 14. Pasa el estado de forma explícita entre notebooks
  18. 15. Ten cuidado con las vistas temporales
  19. 16. Usa la caché de forma deliberada
  20. 17. Libera los datos reutilizables cuando termines
  21. 18. No uses los session tags para corregir una consulta de Spark lenta
  22. 19. Evita demasiados notebooks concurrentes en una misma sesión compartida
  23. 20. Usa tags diferentes cuando el aislamiento de las cargas de trabajo sea más importante
  24. 21. Entiende el comportamiento del session tag como una pista de reutilización
  25. 22. No trates el tag como idempotencia
  26. 23. No uses los session tags como mecanismo de bloqueo
  27. 24. Evita depender de rutas relativas en escenarios de High Concurrency
  28. 25. Usa convenciones de nombres significativas para los session tags
  29. 26. Documenta los límites de uso compartido esperados
  30. Qué significa el resultado
  31. Qué revisar
  32. Mismo tag, pero se inicia una nueva sesión Spark
  33. El inicio del pipeline mejora, pero la duración del notebook no
  34. Los notebooks de una sesión compartida se ralentizan entre sí
  35. Los resultados se vuelven incoherentes porque los notebooks dependen de estado en memoria
  36. Una carga de trabajo es corta, pero la duración del pipeline sigue dominada por el inicio
  37. Notas de producción
  38. Los session tags requieren High Concurrency para reutilizar sesiones entre notebooks de pipeline
  39. El uso compartido de sesiones se mantiene dentro de los límites de compatibilidad
  40. Un tag no es una garantía
  41. Las sesiones compartidas usan recursos compartidos
  42. El límite predeterminado de uso compartido de High Concurrency es configurable
  43. La reutilización de sesión y la facturación están relacionadas, pero no equivalen al rendimiento
  44. El código del pipeline debe seguir siendo correcto por sí mismo
  45. Errores comunes
  46. 1. Configurar un session tag sin habilitar High Concurrency
  47. 2. Suponer que el mismo tag garantiza la misma sesión
  48. 3. Asignar un tag único a cada ejecución
  49. 4. Asignar el mismo tag a todos los notebooks del workspace
  50. 5. Compartir variables de Python entre notebooks de forma implícita
  51. 6. Usar los session tags para corregir transformaciones de Spark lentas
  52. 7. Subir spark.highConcurrency.max al máximo de inmediato
  53. 8. Suponer que una sesión compartida implica ejecución serializada
  54. 9. Ignorar las diferencias de configuración del Lakehouse o de Spark
  55. Siguiente paso
  56. Para profundizar

Problema

Un pipeline de Fabric ejecuta varias actividades de notebook, y cada notebook dedica mucho tiempo a adquirir o iniciar el cómputo de Spark antes de que empiece el trabajo real.

En los notebooks cortos, el inicio de la sesión puede convertirse en una parte importante del tiempo total de ejecución.

Los session tags de Fabric pueden ayudar a que actividades de notebook compatibles reutilicen una sesión Spark existente en lugar de iniciar una nueva cada vez.

Las preguntas importantes son:

  • ¿Cuándo permite realmente un session tag la reutilización?
  • ¿Qué debe coincidir entre las actividades de notebook?
  • ¿Cuándo conviene reutilizar el mismo tag?
  • ¿Cuándo deben usar tags distintos las cargas de trabajo?
  • ¿Cómo sabes si la reutilización de sesión está ayudando?
  • ¿Qué problemas no pueden resolver los session tags?

Respuesta rápida

Usa el mismo session tag para las actividades de notebook que forman parte, de forma intencionada, de la misma carga de trabajo compatible.

Ejemplo de diseño lógico:

Pipeline: Daily Sales

Notebook 1: ingest_sales
Session tag: daily-sales

Notebook 2: transform_sales
Session tag: daily-sales

Notebook 3: publish_sales
Session tag: daily-sales

Fabric puede reutilizar una sesión Spark compatible existente para las actividades con el mismo tag en lugar de aprovisionar una sesión nueva.

Para las actividades Notebook de un pipeline, los session tags requieren:

Workspace settings
→ Spark settings
→ High concurrency mode
→ Enable high concurrency for pipelines running multiple notebooks

Un session tag es, ante todo, una optimización del inicio y la reutilización de sesiones Spark.

Por sí solo, no hace más rápidas las transformaciones de Spark ineficientes.

Código / comandos

1. Configura un session tag en una actividad Notebook de un pipeline de Fabric

Los session tags se configuran en la actividad Notebook del pipeline de Fabric.

Conceptualmente:

Notebook activity
→ Settings
→ Session tag
→ daily-sales

El tag puede ser cualquier cadena significativa.

Prefiere nombres estables basados en el propósito de la carga de trabajo:

daily-sales
commission-processing
customer-refresh
reporting-batch

Evita valores aleatorios por ejecución si tu objetivo es reutilizar sesiones.


2. Habilita High Concurrency antes de depender de los session tags

Los session tags para reutilizar sesiones entre notebooks de un pipeline dependen del modo High Concurrency (alta concurrencia).

Habilita la opción del workspace para los notebooks de pipeline:

Workspace settings
→ Data Engineering / Spark settings
→ High concurrency mode
→ Pipelines running multiple notebooks

Si High Concurrency está deshabilitado, configurar un tag no proporciona el comportamiento de sesión compartida esperado.


3. Reutiliza un tag para las actividades de notebook relacionadas

Ejemplo:

Notebook                 Session tag
-----------------------  ----------------
01_ingest_sales          daily-sales
02_transform_sales       daily-sales
03_validate_sales        daily-sales
04_publish_sales         daily-sales

Usa este enfoque cuando los notebooks:

  • pertenecen a una misma carga de trabajo
  • se lanzan con configuraciones de Spark compatibles
  • pueden compartir de forma segura el cómputo de Spark subyacente
  • se benefician de un inicio de sesión más corto

4. Usa tags distintos para cargas de trabajo sin relación

Ejemplo:

Pipeline de ventas      -> daily-sales
Pipeline de comisiones  -> commission
Pipeline de reporting   -> reporting

Los tags distintos ayudan a no agrupar cargas de trabajo sin relación en la misma sesión cuando quieres límites más claros entre ellas.

Un session tag es una pista de reutilización, no un límite de seguridad.


5. Mantén una configuración de cómputo compatible

La reutilización de sesión requiere un contexto de Spark compatible.

Para High Concurrency en notebooks, entre las condiciones de compatibilidad importantes están:

  • el mismo límite de usuario
  • la misma configuración de Lakehouse predeterminado
  • la misma configuración de cómputo de Spark

Si alguna difiere, Fabric puede crear una sesión Spark independiente aunque el tag sea el mismo.

No supongas:

mismo tag = misma sesión Spark garantizada

6. Mantén alineados el Environment y la configuración de Spark

Si se espera que notebooks relacionados compartan una sesión, evita diferencias innecesarias en:

  • la configuración del pool de Spark
  • el Environment
  • las propiedades de Spark
  • el Lakehouse predeterminado

Una diferencia de configuración puede impedir la reutilización de sesión.

Trata la configuración común de la sesión como parte del contrato de la carga de trabajo.


7. No hagas que los session tags sean únicos por ejecución del pipeline

Esto anula la reutilización:

daily-sales-20261004-170001
daily-sales-20261004-171501
daily-sales-20261004-173002

Prefiere:

daily-sales

cuando las actividades repetidas deban reutilizar cómputo de Spark compatible.

Usa tags específicos de cada ejecución solo cuando el aislamiento deliberado sea más importante que la reutilización.


8. No uses un único tag global para todos los notebooks

Mal diseño:

session tag = shared

para todos los pipelines de Data Engineering del workspace.

Esto puede generar contención innecesaria y hace que el comportamiento de las cargas de trabajo sea más difícil de entender.

Usa tags que reflejen agrupaciones reales de cargas de trabajo.


9. Ajusta la densidad de sesiones solo después de medir la concurrencia

Fabric expone el límite de uso compartido de las sesiones High Concurrency mediante la propiedad de Spark del Environment:

spark.highConcurrency.max

Ejemplo:

spark.highConcurrency.max = 10

Esto controla cuántas cargas de trabajo de notebook compatibles pueden compartir una misma sesión Spark de High Concurrency.

El valor predeterminado de la plataforma es inferior al máximo admitido.

No lo aumentes de forma automática.

Una mayor densidad significa que más cargas de trabajo comparten los mismos recursos limitados de Spark.


10. Usa la reutilización de sesión para cadenas de notebooks cortos

Los session tags son especialmente útiles cuando cada notebook es corto.

Ejemplo:

Notebook A – trabajo de Spark: 25 s
Notebook B – trabajo de Spark: 35 s
Notebook C – trabajo de Spark: 20 s

Si cada notebook también necesita un inicio de sesión Spark considerable, la reutilización de sesión puede reducir de forma notable la latencia de extremo a extremo del pipeline.

En un notebook que se ejecuta durante horas, el inicio puede representar una parte mucho menor del tiempo total.


11. Mide el inicio y la ejecución por separado

Registra:

inicio de la actividad
sesión Spark disponible
inicio de la primera acción de Spark
fin de la acción de Spark
fin del notebook

Así puedes distinguir:

sobrecarga de sesión

de:

ejecución real de Spark

No atribuyas toda la duración del notebook al rendimiento de las consultas de Spark.


12. Confirma la reutilización mediante el monitoreo de Fabric

Al diagnosticar la reutilización de sesión, revisa el monitoreo de Fabric y la información de sesiones y jobs de Spark.

Comprueba si las actividades de notebook relacionadas:

  • se conectan a la misma aplicación/sesión Spark subyacente
  • evitan retrasos repetidos de inicio completo
  • siguen ejecutándose en contextos de notebook aislados

Si aparecen varias sesiones Spark nuevas a pesar de usar el mismo tag, revisa las diferencias de compatibilidad.


13. Entiende el aislamiento REPL en High Concurrency

High Concurrency puede alojar varias cargas de trabajo de notebook dentro de una sola aplicación Spark.

Cada carga de trabajo se ejecuta en su propio contexto REPL.

Por eso no debes diseñar pipelines suponiendo que las variables de Python de un notebook existen automáticamente en otro.

Por ejemplo, no dependas de que:

# Notebook A
my_value = 123

esté disponible en:

# Notebook B
print(my_value)

Usa en su lugar persistencia explícita o parámetros.


14. Pasa el estado de forma explícita entre notebooks

Usa mecanismos admitidos como:

  • parámetros del pipeline
  • parámetros del notebook
  • tablas Delta
  • archivos del Lakehouse
  • tablas de control
  • metadatos persistidos

Ejemplo:

# Notebook A
result.write.format("delta").mode("overwrite").saveAsTable(
    "control.daily_sales_stage"
)

Después:

# Notebook B
result = spark.table(
    "control.daily_sales_stage"
)

La reutilización de sesión debe mejorar el inicio, no crear dependencias de estado ocultas entre notebooks.


15. Ten cuidado con las vistas temporales

Una vista temporal está limitada a la sesión:

df.createOrReplaceTempView(
    "sales_stage"
)

Aunque las cargas de trabajo compartan una aplicación Spark subyacente, los contextos REPL aislados implican que el estado temporal de un notebook no debe tratarse como un contrato fiable entre notebooks.

Persiste los datos cuando otro notebook dependa de ellos.


16. Usa la caché de forma deliberada

Una sesión Spark compartida no significa que cada notebook deba usar la caché de forma agresiva.

Ejemplo:

df.cache()
df.count()

La caché consume memoria compartida de los executors.

En una sesión de High Concurrency, el uso excesivo de la caché por parte de varias cargas de trabajo puede generar contención.

Almacena en caché solo los datos costosos de calcular y que se reutilicen lo suficiente como para justificar el costo de memoria.


17. Libera los datos reutilizables cuando termines

df.unpersist()

Hazlo cuando los datos en caché ya no sean necesarios.

Las sesiones compartidas hacen que la higiene de memoria sea más importante, porque varias cargas de trabajo de notebook pueden competir por los mismos recursos de Spark subyacentes.


18. No uses los session tags para corregir una consulta de Spark lenta

Si un notebook dedica:

20 s iniciando la sesión
15 min ejecutando un join con mucho shuffle

la reutilización de sesión puede reducir la parte de 20 segundos correspondiente al inicio.

No corregirá el join de 15 minutos.

Investiga:

  • el volumen escaneado
  • la estrategia de join
  • el shuffle
  • el skew
  • las particiones
  • las operaciones en el driver

por separado.


19. Evita demasiados notebooks concurrentes en una misma sesión compartida

Si muchos notebooks comparten una sesión, compiten por:

  • los executors
  • la CPU
  • la memoria
  • los recursos de shuffle

Más reutilización de sesión no es automáticamente mejor.

Mide:

duración del pipeline
tiempo de adquisición de la sesión
duración de cada notebook
tiempo en cola
duración de los stages de Spark
consumo de capacidad

Optimiza para el rendimiento total (throughput) y no para la densidad máxima.


20. Usa tags diferentes cuando el aislamiento de las cargas de trabajo sea más importante

Los tags distintos pueden ser adecuados cuando los notebooks:

  • tienen perfiles de cómputo muy diferentes
  • ejecutan shuffles grandes que compiten entre sí
  • requieren una configuración de Spark diferente
  • no deben competir intensamente
  • pertenecen a dominios operativos diferentes

Ejemplo:

heavy-monthly-report
realtime-enrichment
daily-ingestion

La reutilización de sesión es una optimización, no un requisito.


21. Entiende el comportamiento del session tag como una pista de reutilización

Un session tag le indica a Fabric que busque una sesión compatible existente.

Si existe una y puede aceptar la carga de trabajo, Fabric puede reutilizarla.

Si no, Fabric puede crear una sesión nueva.

Por lo tanto:

mismo session tag

no significa:

una única sesión Spark física garantizada para siempre

La capacidad, la compatibilidad, el momento de ejecución y los espacios de sesión disponibles siguen siendo importantes.


22. No trates el tag como idempotencia

Un session tag no significa:

ejecutar este notebook solo una vez

ni:

devolver la misma ejecución

Se trata de la ubicación y reutilización de sesiones Spark.

La idempotencia del pipeline debe diseñarse por separado mediante:

  • claves de carga
  • checkpoints
  • lógica de merge
  • logs de ejecución
  • tablas de control

23. No uses los session tags como mecanismo de bloqueo

Un session tag no serializa las cargas de trabajo.

Varias actividades de notebook pueden ejecutarse simultáneamente en la misma aplicación Spark de High Concurrency.

Si varios notebooks modifican la misma tabla Delta, diseña de forma explícita la concurrencia de escritura.

Usa de forma adecuada:

  • el particionamiento
  • la lógica de merge
  • los patrones de transacción
  • el manejo de reintentos y errores

Compartir la sesión no elimina los problemas de concurrencia de Delta.


24. Evita depender de rutas relativas en escenarios de High Concurrency

Fabric documenta limitaciones relacionadas con las rutas relativas en las sesiones de notebook de High Concurrency.

Prefiere, cuando corresponda, rutas explícitas compatibles con Lakehouse/OneLake o referencias a tablas.

Ejemplo:

df = spark.table(
    "sales_curated"
)

en lugar de depender de suposiciones frágiles sobre rutas relativas del sistema de archivos.


25. Usa convenciones de nombres significativas para los session tags

Bien:

sales-daily
commission-daily
reporting-refresh
customer-dim-build

Evita:

test
spark
session1
abc

Un tag útil debe indicarle a un operador a qué carga de trabajo pertenece la sesión compartida.


26. Documenta los límites de uso compartido esperados

Para cada pipeline, documenta:

Session tag:
daily-sales

Notebooks esperados:
- ingest_sales
- transform_sales
- publish_sales

Lakehouse predeterminado:
lh_sales

Environment:
env_sales_prod

High Concurrency:
habilitado

Esto facilita mucho diagnosticar por qué una actividad inicia una sesión nueva de forma inesperada.

Qué significa el resultado

Concepto Significado
Session tag Pista que se usa para reutilizar una sesión existente o agrupar en ella cargas de trabajo de notebook Spark compatibles.
High Concurrency Modo de Fabric que permite que cargas de trabajo de notebook compatibles compartan una aplicación Spark.
REPL Contexto aislado de ejecución de notebook dentro de una aplicación Spark compartida.
Reutilización de sesión Evitar el inicio de una nueva sesión Spark cuando ya existe una sesión compatible.
spark.highConcurrency.max Límite configurable que controla la densidad de notebooks en una sesión de High Concurrency.
Mismo tag Hace posible la reutilización, pero no la garantiza.
Tag diferente Favorece una agrupación de cargas de trabajo y una ubicación de sesión separadas.

Qué revisar

Mismo tag, pero se inicia una nueva sesión Spark

Comprueba:

  • ¿High Concurrency está habilitado?
  • ¿mismo límite de usuario?
  • ¿mismo Lakehouse predeterminado?
  • ¿misma configuración de cómputo de Spark?
  • ¿Environment y configuración compatibles?
  • ¿la sesión sigue activa?
  • ¿hay espacios de High Concurrency disponibles?

El tag por sí solo no es suficiente.

El inicio del pipeline mejora, pero la duración del notebook no

Es lo esperable si el cuello de botella es la propia carga de trabajo de Spark.

Los session tags reducen el tiempo de inicio, no el costo de escaneo, shuffle o cómputo.

Los notebooks de una sesión compartida se ralentizan entre sí

Puede que haya demasiada concurrencia para los recursos disponibles.

Considera:

  • reducir el número de notebooks simultáneos
  • reducir spark.highConcurrency.max
  • usar tags distintos
  • cambiar la orquestación
  • aumentar el cómputo adecuado solo después de revisar el código

Los resultados se vuelven incoherentes porque los notebooks dependen de estado en memoria

Es un problema de arquitectura.

Persiste o pasa el estado de forma explícita.

No uses las sesiones compartidas como sustituto de un contrato de datos.

Una carga de trabajo es corta, pero la duración del pipeline sigue dominada por el inicio

Este es el caso de uso más claro para los session tags y High Concurrency.

Notas de producción

Los session tags requieren High Concurrency para reutilizar sesiones entre notebooks de pipeline

Para las actividades Notebook de los pipelines de Fabric, debe estar habilitada la opción correspondiente de High Concurrency en el workspace.

Sin ella, el diseño basado en session tags no ofrecerá el uso compartido de sesiones esperado.

El uso compartido de sesiones se mantiene dentro de los límites de compatibilidad

High Concurrency en los notebooks de Fabric requiere un contexto de sesión compatible.

Entre los límites importantes están:

  • el usuario
  • el Lakehouse predeterminado
  • la configuración de cómputo de Spark

Las desviaciones de configuración pueden fragmentar las sesiones.

Un tag no es una garantía

Trata el tag como una pista de ubicación y reutilización.

Fabric puede crear igualmente una nueva sesión Spark si no hay ninguna sesión compatible reutilizable disponible.

Las sesiones compartidas usan recursos compartidos

Los contextos de notebook están aislados, pero los executors y los recursos de la aplicación Spark se comparten.

Los notebooks pesados pueden afectar al tiempo de ejecución de los demás.

El límite predeterminado de uso compartido de High Concurrency es configurable

Fabric permite cambiar la densidad de notebooks mediante:

spark.highConcurrency.max

El valor predeterminado es cinco, y Fabric permite aumentarlo hasta el máximo documentado de la plataforma.

Un valor más alto no es automáticamente mejor.

La reutilización de sesión y la facturación están relacionadas, pero no equivalen al rendimiento

High Concurrency en Fabric puede mejorar el aprovechamiento de los recursos y reducir los inicios de sesión repetidos.

No optimices exclusivamente para la densidad de sesiones si eso ralentiza la ejecución por la contención de recursos.

El código del pipeline debe seguir siendo correcto por sí mismo

Un notebook debe seguir funcionando correctamente si Fabric le asigna una sesión Spark nueva.

La reutilización de sesión debe ser una capa de optimización, no una condición para que el resultado sea correcto.

Errores comunes

1. Configurar un session tag sin habilitar High Concurrency

La reutilización de sesión esperada en el pipeline no se producirá.

2. Suponer que el mismo tag garantiza la misma sesión

La compatibilidad y la capacidad disponible siguen determinando si hay reutilización.

3. Asignar un tag único a cada ejecución

Esto impide la reutilización intencionada.

4. Asignar el mismo tag a todos los notebooks del workspace

Esto crea malos límites entre cargas de trabajo y puede aumentar la contención.

5. Compartir variables de Python entre notebooks de forma implícita

Los contextos REPL están aislados.

Persiste o pasa el estado de forma explícita.

6. Usar los session tags para corregir transformaciones de Spark lentas

Los tags ayudan al inicio y a la reutilización de sesiones, no a una ejecución de Spark ineficiente.

7. Subir spark.highConcurrency.max al máximo de inmediato

Una mayor concurrencia puede aumentar la contención de CPU, memoria y shuffle.

Mide primero.

8. Suponer que una sesión compartida implica ejecución serializada

High Concurrency está diseñado precisamente para cargas de trabajo concurrentes.

Diseña las escrituras de datos en consecuencia.

9. Ignorar las diferencias de configuración del Lakehouse o de Spark

Esas diferencias pueden provocar sesiones separadas aunque el tag coincida.

Siguiente paso

Usa el comportamiento observado para elegir la siguiente acción.

  • Cada notebook inicia una nueva sesión Spark → verifica High Concurrency y la configuración de los session tags.
  • El mismo tag no reutiliza la sesión → compara el Lakehouse, el usuario, el Environment y la configuración de cómputo de Spark.
  • El inicio domina la duración del pipeline → agrupa los notebooks cortos compatibles bajo un session tag estable.
  • Los notebooks compartidos compiten intensamente → reduce la concurrencia, baja la densidad de sesiones o separa los tags de las cargas de trabajo.
  • La ejecución de Spark sigue siendo lenta tras la reutilización → pasa al diagnóstico del rendimiento de los notebooks de Fabric.
  • Los notebooks dependen de estado temporal en memoria → sustituye esa dependencia por datos persistidos o parámetros.
  • Las escrituras concurrentes entran en conflicto → revisa los patrones de escritura y concurrencia de Delta.
  • Necesitas demostrar la reutilización → revisa el monitoreo de Fabric y el comportamiento de las aplicaciones/sesiones Spark.

← Todas las guías rápidas