Explorar guías rápidas · Microsoft Fabric
Session tags en Fabric
Usa los session tags de Microsoft Fabric para reutilizar sesiones Spark compatibles entre actividades de notebook, reducir el tiempo de inicio y evitar una fragmentación innecesaria de sesiones.
En esta página
- Problema
- Respuesta rápida
- Código / comandos
- 1. Configura un session tag en una actividad Notebook de un pipeline de Fabric
- 2. Habilita High Concurrency antes de depender de los session tags
- 3. Reutiliza un tag para las actividades de notebook relacionadas
- 4. Usa tags distintos para cargas de trabajo sin relación
- 5. Mantén una configuración de cómputo compatible
- 6. Mantén alineados el Environment y la configuración de Spark
- 7. No hagas que los session tags sean únicos por ejecución del pipeline
- 8. No uses un único tag global para todos los notebooks
- 9. Ajusta la densidad de sesiones solo después de medir la concurrencia
- 10. Usa la reutilización de sesión para cadenas de notebooks cortos
- 11. Mide el inicio y la ejecución por separado
- 12. Confirma la reutilización mediante el monitoreo de Fabric
- 13. Entiende el aislamiento REPL en High Concurrency
- 14. Pasa el estado de forma explícita entre notebooks
- 15. Ten cuidado con las vistas temporales
- 16. Usa la caché de forma deliberada
- 17. Libera los datos reutilizables cuando termines
- 18. No uses los session tags para corregir una consulta de Spark lenta
- 19. Evita demasiados notebooks concurrentes en una misma sesión compartida
- 20. Usa tags diferentes cuando el aislamiento de las cargas de trabajo sea más importante
- 21. Entiende el comportamiento del session tag como una pista de reutilización
- 22. No trates el tag como idempotencia
- 23. No uses los session tags como mecanismo de bloqueo
- 24. Evita depender de rutas relativas en escenarios de High Concurrency
- 25. Usa convenciones de nombres significativas para los session tags
- 26. Documenta los límites de uso compartido esperados
- Qué significa el resultado
- Qué revisar
- Mismo tag, pero se inicia una nueva sesión Spark
- El inicio del pipeline mejora, pero la duración del notebook no
- Los notebooks de una sesión compartida se ralentizan entre sí
- Los resultados se vuelven incoherentes porque los notebooks dependen de estado en memoria
- Una carga de trabajo es corta, pero la duración del pipeline sigue dominada por el inicio
- Notas de producción
- Los session tags requieren High Concurrency para reutilizar sesiones entre notebooks de pipeline
- El uso compartido de sesiones se mantiene dentro de los límites de compatibilidad
- Un tag no es una garantía
- Las sesiones compartidas usan recursos compartidos
- El límite predeterminado de uso compartido de High Concurrency es configurable
- La reutilización de sesión y la facturación están relacionadas, pero no equivalen al rendimiento
- El código del pipeline debe seguir siendo correcto por sí mismo
- Errores comunes
- 1. Configurar un session tag sin habilitar High Concurrency
- 2. Suponer que el mismo tag garantiza la misma sesión
- 3. Asignar un tag único a cada ejecución
- 4. Asignar el mismo tag a todos los notebooks del workspace
- 5. Compartir variables de Python entre notebooks de forma implícita
- 6. Usar los session tags para corregir transformaciones de Spark lentas
- 7. Subir spark.highConcurrency.max al máximo de inmediato
- 8. Suponer que una sesión compartida implica ejecución serializada
- 9. Ignorar las diferencias de configuración del Lakehouse o de Spark
- Siguiente paso
- Para profundizar
Problema
Un pipeline de Fabric ejecuta varias actividades de notebook, y cada notebook dedica mucho tiempo a adquirir o iniciar el cómputo de Spark antes de que empiece el trabajo real.
En los notebooks cortos, el inicio de la sesión puede convertirse en una parte importante del tiempo total de ejecución.
Los session tags de Fabric pueden ayudar a que actividades de notebook compatibles reutilicen una sesión Spark existente en lugar de iniciar una nueva cada vez.
Las preguntas importantes son:
- ¿Cuándo permite realmente un session tag la reutilización?
- ¿Qué debe coincidir entre las actividades de notebook?
- ¿Cuándo conviene reutilizar el mismo tag?
- ¿Cuándo deben usar tags distintos las cargas de trabajo?
- ¿Cómo sabes si la reutilización de sesión está ayudando?
- ¿Qué problemas no pueden resolver los session tags?
Respuesta rápida
Usa el mismo session tag para las actividades de notebook que forman parte, de forma intencionada, de la misma carga de trabajo compatible.
Ejemplo de diseño lógico:
Pipeline: Daily Sales
Notebook 1: ingest_sales
Session tag: daily-sales
Notebook 2: transform_sales
Session tag: daily-sales
Notebook 3: publish_sales
Session tag: daily-sales
Fabric puede reutilizar una sesión Spark compatible existente para las actividades con el mismo tag en lugar de aprovisionar una sesión nueva.
Para las actividades Notebook de un pipeline, los session tags requieren:
Workspace settings
→ Spark settings
→ High concurrency mode
→ Enable high concurrency for pipelines running multiple notebooks
Un session tag es, ante todo, una optimización del inicio y la reutilización de sesiones Spark.
Por sí solo, no hace más rápidas las transformaciones de Spark ineficientes.
Código / comandos
1. Configura un session tag en una actividad Notebook de un pipeline de Fabric
Los session tags se configuran en la actividad Notebook del pipeline de Fabric.
Conceptualmente:
Notebook activity
→ Settings
→ Session tag
→ daily-sales
El tag puede ser cualquier cadena significativa.
Prefiere nombres estables basados en el propósito de la carga de trabajo:
daily-sales
commission-processing
customer-refresh
reporting-batch
Evita valores aleatorios por ejecución si tu objetivo es reutilizar sesiones.
2. Habilita High Concurrency antes de depender de los session tags
Los session tags para reutilizar sesiones entre notebooks de un pipeline dependen del modo High Concurrency (alta concurrencia).
Habilita la opción del workspace para los notebooks de pipeline:
Workspace settings
→ Data Engineering / Spark settings
→ High concurrency mode
→ Pipelines running multiple notebooks
Si High Concurrency está deshabilitado, configurar un tag no proporciona el comportamiento de sesión compartida esperado.
3. Reutiliza un tag para las actividades de notebook relacionadas
Ejemplo:
Notebook Session tag
----------------------- ----------------
01_ingest_sales daily-sales
02_transform_sales daily-sales
03_validate_sales daily-sales
04_publish_sales daily-sales
Usa este enfoque cuando los notebooks:
- pertenecen a una misma carga de trabajo
- se lanzan con configuraciones de Spark compatibles
- pueden compartir de forma segura el cómputo de Spark subyacente
- se benefician de un inicio de sesión más corto
4. Usa tags distintos para cargas de trabajo sin relación
Ejemplo:
Pipeline de ventas -> daily-sales
Pipeline de comisiones -> commission
Pipeline de reporting -> reporting
Los tags distintos ayudan a no agrupar cargas de trabajo sin relación en la misma sesión cuando quieres límites más claros entre ellas.
Un session tag es una pista de reutilización, no un límite de seguridad.
5. Mantén una configuración de cómputo compatible
La reutilización de sesión requiere un contexto de Spark compatible.
Para High Concurrency en notebooks, entre las condiciones de compatibilidad importantes están:
- el mismo límite de usuario
- la misma configuración de Lakehouse predeterminado
- la misma configuración de cómputo de Spark
Si alguna difiere, Fabric puede crear una sesión Spark independiente aunque el tag sea el mismo.
No supongas:
mismo tag = misma sesión Spark garantizada
6. Mantén alineados el Environment y la configuración de Spark
Si se espera que notebooks relacionados compartan una sesión, evita diferencias innecesarias en:
- la configuración del pool de Spark
- el Environment
- las propiedades de Spark
- el Lakehouse predeterminado
Una diferencia de configuración puede impedir la reutilización de sesión.
Trata la configuración común de la sesión como parte del contrato de la carga de trabajo.
7. No hagas que los session tags sean únicos por ejecución del pipeline
Esto anula la reutilización:
daily-sales-20261004-170001
daily-sales-20261004-171501
daily-sales-20261004-173002
Prefiere:
daily-sales
cuando las actividades repetidas deban reutilizar cómputo de Spark compatible.
Usa tags específicos de cada ejecución solo cuando el aislamiento deliberado sea más importante que la reutilización.
8. No uses un único tag global para todos los notebooks
Mal diseño:
session tag = shared
para todos los pipelines de Data Engineering del workspace.
Esto puede generar contención innecesaria y hace que el comportamiento de las cargas de trabajo sea más difícil de entender.
Usa tags que reflejen agrupaciones reales de cargas de trabajo.
9. Ajusta la densidad de sesiones solo después de medir la concurrencia
Fabric expone el límite de uso compartido de las sesiones High Concurrency mediante la propiedad de Spark del Environment:
spark.highConcurrency.max
Ejemplo:
spark.highConcurrency.max = 10
Esto controla cuántas cargas de trabajo de notebook compatibles pueden compartir una misma sesión Spark de High Concurrency.
El valor predeterminado de la plataforma es inferior al máximo admitido.
No lo aumentes de forma automática.
Una mayor densidad significa que más cargas de trabajo comparten los mismos recursos limitados de Spark.
10. Usa la reutilización de sesión para cadenas de notebooks cortos
Los session tags son especialmente útiles cuando cada notebook es corto.
Ejemplo:
Notebook A – trabajo de Spark: 25 s
Notebook B – trabajo de Spark: 35 s
Notebook C – trabajo de Spark: 20 s
Si cada notebook también necesita un inicio de sesión Spark considerable, la reutilización de sesión puede reducir de forma notable la latencia de extremo a extremo del pipeline.
En un notebook que se ejecuta durante horas, el inicio puede representar una parte mucho menor del tiempo total.
11. Mide el inicio y la ejecución por separado
Registra:
inicio de la actividad
sesión Spark disponible
inicio de la primera acción de Spark
fin de la acción de Spark
fin del notebook
Así puedes distinguir:
sobrecarga de sesión
de:
ejecución real de Spark
No atribuyas toda la duración del notebook al rendimiento de las consultas de Spark.
12. Confirma la reutilización mediante el monitoreo de Fabric
Al diagnosticar la reutilización de sesión, revisa el monitoreo de Fabric y la información de sesiones y jobs de Spark.
Comprueba si las actividades de notebook relacionadas:
- se conectan a la misma aplicación/sesión Spark subyacente
- evitan retrasos repetidos de inicio completo
- siguen ejecutándose en contextos de notebook aislados
Si aparecen varias sesiones Spark nuevas a pesar de usar el mismo tag, revisa las diferencias de compatibilidad.
13. Entiende el aislamiento REPL en High Concurrency
High Concurrency puede alojar varias cargas de trabajo de notebook dentro de una sola aplicación Spark.
Cada carga de trabajo se ejecuta en su propio contexto REPL.
Por eso no debes diseñar pipelines suponiendo que las variables de Python de un notebook existen automáticamente en otro.
Por ejemplo, no dependas de que:
# Notebook A
my_value = 123
esté disponible en:
# Notebook B
print(my_value)
Usa en su lugar persistencia explícita o parámetros.
14. Pasa el estado de forma explícita entre notebooks
Usa mecanismos admitidos como:
- parámetros del pipeline
- parámetros del notebook
- tablas Delta
- archivos del Lakehouse
- tablas de control
- metadatos persistidos
Ejemplo:
# Notebook A
result.write.format("delta").mode("overwrite").saveAsTable(
"control.daily_sales_stage"
)
Después:
# Notebook B
result = spark.table(
"control.daily_sales_stage"
)
La reutilización de sesión debe mejorar el inicio, no crear dependencias de estado ocultas entre notebooks.
15. Ten cuidado con las vistas temporales
Una vista temporal está limitada a la sesión:
df.createOrReplaceTempView(
"sales_stage"
)
Aunque las cargas de trabajo compartan una aplicación Spark subyacente, los contextos REPL aislados implican que el estado temporal de un notebook no debe tratarse como un contrato fiable entre notebooks.
Persiste los datos cuando otro notebook dependa de ellos.
16. Usa la caché de forma deliberada
Una sesión Spark compartida no significa que cada notebook deba usar la caché de forma agresiva.
Ejemplo:
df.cache()
df.count()
La caché consume memoria compartida de los executors.
En una sesión de High Concurrency, el uso excesivo de la caché por parte de varias cargas de trabajo puede generar contención.
Almacena en caché solo los datos costosos de calcular y que se reutilicen lo suficiente como para justificar el costo de memoria.
17. Libera los datos reutilizables cuando termines
df.unpersist()
Hazlo cuando los datos en caché ya no sean necesarios.
Las sesiones compartidas hacen que la higiene de memoria sea más importante, porque varias cargas de trabajo de notebook pueden competir por los mismos recursos de Spark subyacentes.
18. No uses los session tags para corregir una consulta de Spark lenta
Si un notebook dedica:
20 s iniciando la sesión
15 min ejecutando un join con mucho shuffle
la reutilización de sesión puede reducir la parte de 20 segundos correspondiente al inicio.
No corregirá el join de 15 minutos.
Investiga:
- el volumen escaneado
- la estrategia de join
- el shuffle
- el skew
- las particiones
- las operaciones en el driver
por separado.
19. Evita demasiados notebooks concurrentes en una misma sesión compartida
Si muchos notebooks comparten una sesión, compiten por:
- los executors
- la CPU
- la memoria
- los recursos de shuffle
Más reutilización de sesión no es automáticamente mejor.
Mide:
duración del pipeline
tiempo de adquisición de la sesión
duración de cada notebook
tiempo en cola
duración de los stages de Spark
consumo de capacidad
Optimiza para el rendimiento total (throughput) y no para la densidad máxima.
20. Usa tags diferentes cuando el aislamiento de las cargas de trabajo sea más importante
Los tags distintos pueden ser adecuados cuando los notebooks:
- tienen perfiles de cómputo muy diferentes
- ejecutan shuffles grandes que compiten entre sí
- requieren una configuración de Spark diferente
- no deben competir intensamente
- pertenecen a dominios operativos diferentes
Ejemplo:
heavy-monthly-report
realtime-enrichment
daily-ingestion
La reutilización de sesión es una optimización, no un requisito.
21. Entiende el comportamiento del session tag como una pista de reutilización
Un session tag le indica a Fabric que busque una sesión compatible existente.
Si existe una y puede aceptar la carga de trabajo, Fabric puede reutilizarla.
Si no, Fabric puede crear una sesión nueva.
Por lo tanto:
mismo session tag
no significa:
una única sesión Spark física garantizada para siempre
La capacidad, la compatibilidad, el momento de ejecución y los espacios de sesión disponibles siguen siendo importantes.
22. No trates el tag como idempotencia
Un session tag no significa:
ejecutar este notebook solo una vez
ni:
devolver la misma ejecución
Se trata de la ubicación y reutilización de sesiones Spark.
La idempotencia del pipeline debe diseñarse por separado mediante:
- claves de carga
- checkpoints
- lógica de merge
- logs de ejecución
- tablas de control
23. No uses los session tags como mecanismo de bloqueo
Un session tag no serializa las cargas de trabajo.
Varias actividades de notebook pueden ejecutarse simultáneamente en la misma aplicación Spark de High Concurrency.
Si varios notebooks modifican la misma tabla Delta, diseña de forma explícita la concurrencia de escritura.
Usa de forma adecuada:
- el particionamiento
- la lógica de merge
- los patrones de transacción
- el manejo de reintentos y errores
Compartir la sesión no elimina los problemas de concurrencia de Delta.
24. Evita depender de rutas relativas en escenarios de High Concurrency
Fabric documenta limitaciones relacionadas con las rutas relativas en las sesiones de notebook de High Concurrency.
Prefiere, cuando corresponda, rutas explícitas compatibles con Lakehouse/OneLake o referencias a tablas.
Ejemplo:
df = spark.table(
"sales_curated"
)
en lugar de depender de suposiciones frágiles sobre rutas relativas del sistema de archivos.
25. Usa convenciones de nombres significativas para los session tags
Bien:
sales-daily
commission-daily
reporting-refresh
customer-dim-build
Evita:
test
spark
session1
abc
Un tag útil debe indicarle a un operador a qué carga de trabajo pertenece la sesión compartida.
26. Documenta los límites de uso compartido esperados
Para cada pipeline, documenta:
Session tag:
daily-sales
Notebooks esperados:
- ingest_sales
- transform_sales
- publish_sales
Lakehouse predeterminado:
lh_sales
Environment:
env_sales_prod
High Concurrency:
habilitado
Esto facilita mucho diagnosticar por qué una actividad inicia una sesión nueva de forma inesperada.
Qué significa el resultado
| Concepto | Significado |
|---|---|
| Session tag | Pista que se usa para reutilizar una sesión existente o agrupar en ella cargas de trabajo de notebook Spark compatibles. |
| High Concurrency | Modo de Fabric que permite que cargas de trabajo de notebook compatibles compartan una aplicación Spark. |
| REPL | Contexto aislado de ejecución de notebook dentro de una aplicación Spark compartida. |
| Reutilización de sesión | Evitar el inicio de una nueva sesión Spark cuando ya existe una sesión compatible. |
spark.highConcurrency.max |
Límite configurable que controla la densidad de notebooks en una sesión de High Concurrency. |
| Mismo tag | Hace posible la reutilización, pero no la garantiza. |
| Tag diferente | Favorece una agrupación de cargas de trabajo y una ubicación de sesión separadas. |
Qué revisar
Mismo tag, pero se inicia una nueva sesión Spark
Comprueba:
- ¿High Concurrency está habilitado?
- ¿mismo límite de usuario?
- ¿mismo Lakehouse predeterminado?
- ¿misma configuración de cómputo de Spark?
- ¿Environment y configuración compatibles?
- ¿la sesión sigue activa?
- ¿hay espacios de High Concurrency disponibles?
El tag por sí solo no es suficiente.
El inicio del pipeline mejora, pero la duración del notebook no
Es lo esperable si el cuello de botella es la propia carga de trabajo de Spark.
Los session tags reducen el tiempo de inicio, no el costo de escaneo, shuffle o cómputo.
Los notebooks de una sesión compartida se ralentizan entre sí
Puede que haya demasiada concurrencia para los recursos disponibles.
Considera:
- reducir el número de notebooks simultáneos
- reducir
spark.highConcurrency.max - usar tags distintos
- cambiar la orquestación
- aumentar el cómputo adecuado solo después de revisar el código
Los resultados se vuelven incoherentes porque los notebooks dependen de estado en memoria
Es un problema de arquitectura.
Persiste o pasa el estado de forma explícita.
No uses las sesiones compartidas como sustituto de un contrato de datos.
Una carga de trabajo es corta, pero la duración del pipeline sigue dominada por el inicio
Este es el caso de uso más claro para los session tags y High Concurrency.
Notas de producción
Los session tags requieren High Concurrency para reutilizar sesiones entre notebooks de pipeline
Para las actividades Notebook de los pipelines de Fabric, debe estar habilitada la opción correspondiente de High Concurrency en el workspace.
Sin ella, el diseño basado en session tags no ofrecerá el uso compartido de sesiones esperado.
El uso compartido de sesiones se mantiene dentro de los límites de compatibilidad
High Concurrency en los notebooks de Fabric requiere un contexto de sesión compatible.
Entre los límites importantes están:
- el usuario
- el Lakehouse predeterminado
- la configuración de cómputo de Spark
Las desviaciones de configuración pueden fragmentar las sesiones.
Un tag no es una garantía
Trata el tag como una pista de ubicación y reutilización.
Fabric puede crear igualmente una nueva sesión Spark si no hay ninguna sesión compatible reutilizable disponible.
Las sesiones compartidas usan recursos compartidos
Los contextos de notebook están aislados, pero los executors y los recursos de la aplicación Spark se comparten.
Los notebooks pesados pueden afectar al tiempo de ejecución de los demás.
El límite predeterminado de uso compartido de High Concurrency es configurable
Fabric permite cambiar la densidad de notebooks mediante:
spark.highConcurrency.max
El valor predeterminado es cinco, y Fabric permite aumentarlo hasta el máximo documentado de la plataforma.
Un valor más alto no es automáticamente mejor.
La reutilización de sesión y la facturación están relacionadas, pero no equivalen al rendimiento
High Concurrency en Fabric puede mejorar el aprovechamiento de los recursos y reducir los inicios de sesión repetidos.
No optimices exclusivamente para la densidad de sesiones si eso ralentiza la ejecución por la contención de recursos.
El código del pipeline debe seguir siendo correcto por sí mismo
Un notebook debe seguir funcionando correctamente si Fabric le asigna una sesión Spark nueva.
La reutilización de sesión debe ser una capa de optimización, no una condición para que el resultado sea correcto.
Errores comunes
1. Configurar un session tag sin habilitar High Concurrency
La reutilización de sesión esperada en el pipeline no se producirá.
2. Suponer que el mismo tag garantiza la misma sesión
La compatibilidad y la capacidad disponible siguen determinando si hay reutilización.
3. Asignar un tag único a cada ejecución
Esto impide la reutilización intencionada.
4. Asignar el mismo tag a todos los notebooks del workspace
Esto crea malos límites entre cargas de trabajo y puede aumentar la contención.
5. Compartir variables de Python entre notebooks de forma implícita
Los contextos REPL están aislados.
Persiste o pasa el estado de forma explícita.
6. Usar los session tags para corregir transformaciones de Spark lentas
Los tags ayudan al inicio y a la reutilización de sesiones, no a una ejecución de Spark ineficiente.
7. Subir spark.highConcurrency.max al máximo de inmediato
Una mayor concurrencia puede aumentar la contención de CPU, memoria y shuffle.
Mide primero.
8. Suponer que una sesión compartida implica ejecución serializada
High Concurrency está diseñado precisamente para cargas de trabajo concurrentes.
Diseña las escrituras de datos en consecuencia.
9. Ignorar las diferencias de configuración del Lakehouse o de Spark
Esas diferencias pueden provocar sesiones separadas aunque el tag coincida.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.