Microsoft Fabric

Utiliser les session tags dans les pipelines Fabric

Utilisez les session tags des pipelines Microsoft Fabric pour regrouper les activités de notebook compatibles, réutiliser les sessions Spark et préserver les frontières entre charges.

Par JaviPublié Mis à jour 9 min de lectureIntermédiaire

Un session tag de pipeline oriente des notebooks compatibles vers une session Spark partagée

Réponse courte : un session tag indique à un pipeline Fabric quelles activités de notebook peuvent partager une même session Spark en haute concurrence. Les activités portant le même tag, exécutées par le même utilisateur avec le même espace de travail, le même Lakehouse par défaut, la même configuration de calcul et les mêmes bibliothèques, peuvent rejoindre une session déjà en cours au lieu d’en démarrer chacune une. On évite ainsi des démarrages répétés et, comme seule l’activité qui démarre la session partagée est facturée, on peut réduire le coût. Utilisez un même tag pour des notebooks courts, liés et compatibles ; donnez leur propre tag aux traitements gourmands en mémoire ou sensibles à l’isolation.

  1. Activité de notebookUn des notebooks d’un pipeline
    • compatible
      Tag partagéMême utilisateur, Lakehouse, calcul et bibliothèques ; étapes courtes
    • lourd
      Tag dédiéGros shuffles ou caches, besoin d’isolation stricte
    • incompatible
      Partage impossibleEnvironnement, Lakehouse ou identité différents
Cette activité doit-elle partager une session ? Ne partagez un tag que si les notebooks sont compatibles et gagnent à éviter le démarrage ; isolez les traitements lourds ou sensibles.

Problème

Un pipeline exécute plusieurs notebooks au sein d’un même flux opérationnel. Chaque notebook est correct pris isolément, mais les démarrages répétés rendent la durée de bout en bout irrégulière. Vous voulez réutiliser les sessions sans mélanger des charges sans rapport et sans supposer qu’une chaîne identique l’emporte sur les règles de compatibilité et d’isolation.

Ce que fait un session tag, et ce qu’il ne fait pas

En haute concurrence, une application Spark héberge plusieurs notebooks, chacun dans son propre cœur REPL : les variables locales d’un notebook n’écrasent pas celles d’un autre. Les exécuteurs sont partagés et répartis entre ces cœurs REPL selon un ordonnancement FAIR.

Un session tag :

  • regroupe les activités de notebook d’un pipeline comme candidates à une même session partagée ;
  • évite les démarrages répétés pour chaque activité qui rejoint une session déjà en cours ;
  • modifie la facturation : seule l’activité qui démarre la session partagée est facturée.

Un session tag ne permet pas :

  • de passer outre la compatibilité. Le partage exige le même utilisateur, le même espace de travail, le même Lakehouse par défaut, la même configuration de calcul Spark et les mêmes bibliothèques. Sinon, Fabric démarre une autre session.
  • de fonctionner seul. Un administrateur de l’espace de travail doit activer For pipeline running multiple notebooks dans les paramètres de haute concurrence.
  • de garantir une seule session. Par défaut, jusqu’à cinq notebooks partagent une session ; la limite est configurable jusqu’à 50 (en anglais). Les règles de capacité et de regroupement peuvent créer des sessions supplémentaires.
  • de partager un état. Les variables sont isolées par notebook ; les données doivent passer par des tables, des fichiers ou des paramètres.

Recommandations pratiques

Choisissez un tag qui représente un groupe de compatibilité d’exécution, pas simplement une étiquette métier. Les notebooks d’un pipeline quotidien de ventes peuvent aller ensemble s’ils utilisent le même Lakehouse, le même environnement, les mêmes paramètres Spark, la même frontière d’identité et une planification qui se chevauche. Une transformation financière et un notebook expérimental de machine learning ne devraient pas partager un tag simplement parce qu’ils s’exécutent dans le même workspace.

Construisez les tags de manière déterministe. Une valeur stable comme sales-daily-standard rend les activités liées candidates à la réutilisation pendant la fenêtre prévue. Ajouter un identifiant d’exécution unique à chaque tag empêche la réutilisation entre activités, puisque chacune présente une valeur différente. À l’inverse, utiliser un tag global unique pour tous les pipelines crée un groupe trop large et rend le comportement plus difficile à comprendre.

Séparez délibérément les charges incompatibles. Un notebook aux besoins de calcul, aux bibliothèques ou au Lakehouse par défaut différents doit utiliser un autre groupe, même s’il fait partie du même processus métier. Pour les travaux gourmands en mémoire ou sensibles à la latence, l’isolation peut aussi compter davantage que le temps de démarrage.

Mesurez aux deux niveaux. Enregistrez la durée de l’activité du pipeline et celle de chaque étape du notebook. En haute concurrence, la supervision fournit des vues par notebook et des journaux séparés, indispensables lorsque plusieurs notebooks partagent l’application sous-jacente. Une session partagée peut améliorer l’acquisition alors que le travail Spark qu’elle exécute reste lent ou en concurrence pour les ressources. Superviser les pipelines et notebooks Microsoft Fabric explique comment séparer ces durées.

Exemple : Valider → Transformer → Fusionner → Résumer

Un pipeline de ventes quotidien exécute quatre notebooks à la suite. Valider contrôle l’arrivée et le schéma des fichiers ; Transformer nettoie et conforme les données Silver ; Fusionner effectue un upsert dans une grande table Delta Gold ; Résumer produit de petits agrégats pour le reporting. Les quatre utilisent le même Lakehouse et le même environnement.

Scénario Réutiliser la session ? Pourquoi
Valider, Transformer et Résumer : courts, séquentiels, mêmes réglages Oui, un tag comme sales-daily-standard Sinon chacun paierait le démarrage de session ; ils consomment peu de mémoire
Fusionner réécrit une grande cible avec un shuffle lourd En général un tag distinct Il partage les exécuteurs avec tous les notebooks de la session ; débordement et contention les ralentissent tous
Une étape a besoin de bibliothèques d’un autre environnement Non, autre tag Des bibliothèques différentes empêchent de toute façon le partage ; un tag commun induit en erreur
Des étapes s’exécutent en parallèle et mettent en cache de gros DataFrames À tester avant de partager Mémoire et exécuteurs sont partagés, même si les variables ne le sont pas
Une étape doit s’exécuter sous une autre identité ou un autre Lakehouse par défaut Non Le partage exige le même utilisateur et le même Lakehouse par défaut
Des étapes doivent échanger des données Ce n’est pas une question de tag Passez par des tables ou des paramètres, jamais par la mémoire de la session

Passez un identifiant de corrélation du pipeline comme paramètre de notebook plutôt que de l’inclure dans le session tag. Le groupe de réutilisation reste stable et les journaux restent traçables.

PythonParamètres9 lignes
Python
# Parameter cell values supplied by the pipeline
pipeline_run_id = ""
processing_date = ""

print({
    "pipeline_run_id": pipeline_run_id,
    "processing_date": processing_date,
    "stage": "build_silver_orders",
})
Python9 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Précautions opérationnelles

  • Environnements incompatibles. Deux notebooks avec le même tag mais des environnements ou des Lakehouses par défaut différents ne partageront pas ; le tag masque alors le vrai regroupement. Gardez un tag par combinaison d’environnement et de Lakehouse.
  • Pression mémoire. Les exécuteurs d’une session servent tous ses notebooks. Une grosse fusion, une jointure large ou un cache peut faire déborder les autres. Mesurez durée des étapes et débordement par notebook avant et après le regroupement.
  • Hypothèses sur l’état partagé. Deux erreurs opposées : compter sur les variables d’un autre notebook (elles sont isolées), et supposer que rien n’est partagé (calcul, mémoire et disque le sont).
  • Sessions de longue durée. Une session partagée reste active tant que des activités la rejoignent, et un notebook long la retient pour tous. Vérifiez la limite de session quand de nombreuses activités tournent en même temps, et attendez-vous à une nouvelle session (et à son démarrage) après la fin de la précédente.
  • Débogage. La supervision montre l’application Spark partagée et des vues par notebook ; vérifiez quelles activités l’ont réellement rejointe avant d’attribuer un gain au tag. Une convention de nommage comme <domaine>-<cadence>-<profil> (sales-daily-standard, sales-daily-heavy) rend le regroupement lisible dans l’historique des exécutions.

Erreurs fréquentes

  • Définir un tag sans activer l’option de haute concurrence des pipelines dans le workspace.
  • Supposer que des tags identiques peuvent passer outre des différences de Lakehouse, de paramètres de calcul, de bibliothèques ou de périmètre utilisateur.
  • Placer un ID d’exécution unique dans le tag de chaque activité et désactiver ainsi la réutilisation sans s’en rendre compte.
  • Attribuer un seul tag à tous les notebooks du workspace.
  • Dépendre des variables en mémoire ou du cache d’un autre notebook comme interface de pipeline.
  • Combiner des activités concurrentes gourmandes en ressources sans mesurer la contention.
  • Ne regarder que la durée de bout en bout sans séparer l’acquisition de session du travail Spark.
  • Supposer qu’un tag correspond toujours à une seule session physique ; la capacité et les règles de regroupement de la plateforme peuvent créer des sessions supplémentaires.

Que vérifier ensuite

Confirmez le paramètre de haute concurrence du workspace, puis examinez pour chaque activité le Lakehouse par défaut, l’environnement, les paramètres de calcul, les bibliothèques, l’identité et le tag. Dans la supervision, vérifiez quelles sessions et quels travaux de notebook ont été créés, et si les activités prévues ont bien été associées à l’exécution partagée.

En l’absence de réutilisation, considérez la compatibilité comme première hypothèse. Si la réutilisation a lieu mais que le pipeline reste lent, examinez la concurrence, les étapes Spark, le shuffle, les E/S et les écritures ; Comment accélérer les notebooks Microsoft Fabric couvre ce diagnostic. Si la fiabilité se dégrade en exécution partagée, réduisez le groupe ou isolez la charge en conflit. La bonne stratégie de session dépend de la compatibilité des charges, de leur comportement en ressources et de la clarté opérationnelle, pas de la recherche d’une réutilisation maximale à tout prix. Pour les autres causes d’un démarrage lent, consultez Réduire le temps de démarrage des notebooks Fabric.

Voir aussi

Sources

Vérifié sur Microsoft Learn en novembre 2026. La page sur les pipelines mentionne encore un maximum de cinq notebooks ; la vue d’ensemble documente la limite configurable.

Étiquettes

  • Microsoft Fabric
  • Fabric Notebook
  • Pipelines de données
  • Performance
  • PySpark