Microsoft Fabric

Microsoft Fabric Runtime 2.0 vs 1.3 vs 1.2 : quelles évolutions et faut-il migrer ?

Comparez Microsoft Fabric Runtime 2.0, 1.3 et 1.2 : Spark, Python, Java, Scala, Delta Lake, performance, cycle de vie et risques de migration.

Par JaviPublié 15 min de lectureIntermédiaire

Microsoft Fabric Runtime 2.0 représente un changement bien plus important que son numéro ne le laisse penser.

Passer de Runtime 1.3 à 2.0, c’est passer d’Apache Spark 3.5.5 à Spark 4.1, de Python 3.11 à 3.13, de Java 11 à 21, de Scala 2.12.17 à 2.13.16 et de Delta Lake 3.2 à 4.2. Depuis Runtime 1.2, l’écart est encore plus grand.

Il ne s’agit donc pas d’une simple mise à jour de plateforme, mais d’une migration de runtime. La question utile est :

Runtime 2.0 apporte-t-il à ma charge suffisamment de performance, de support et de valeur pour justifier les tests de compatibilité ?

Ce guide compare les trois versions dans cette perspective d’ingénierie de production.

En bref

Pour les nouvelles charges de production, Microsoft recommande le runtime GA le plus récent : Runtime 2.0.

Runtime 1.2 n’est plus pris en charge depuis le 31 mars 2026 et ne reçoit plus les correctifs habituels, notamment de sécurité.

Runtime 1.3 est en phase EOSA. Sa date de fin de support annoncée est le 30 septembre 2026, puis il passe en Long Term Support du 1er octobre 2026 à mars 2027.

Runtime 2.0 est GA et sa fin de support actuelle est fixée au 31 août 2028.

Depuis 1.2, la migration est une exigence opérationnelle. Depuis 1.3, il faut désormais déterminer à quelle vitesse valider les charges sur 2.0.

Comparaison rapide

Composant Runtime 1.2 Runtime 1.3 Runtime 2.0
Statut Fin de support EOSA / transition LTS GA
Apache Spark 3.4.1 3.5.5 4.1
Python 3.10 3.11 3.13
Java 11 11 21
Scala 2.12.17 2.12.17 2.13.16
Delta Lake 2.4 3.2 4.2
Système Mariner 2.0 Mariner 2.0 Azure Linux 3.0
Native Execution Engine Non Oui Oui
Recommandation Migrer Sortie progressive Runtime GA privilégié
Horizon Terminé Transition LTS 31 août 2028
  1. Runtime 1.2Spark 3.4 / Python 3.10 / Delta 2.4
  2. Mise à niveau
    Runtime 1.3Spark 3.5 / Python 3.11 / Delta 3.2 / Native Execution Engine
  3. Migration
    Runtime 2.0Spark 4.1 / Python 3.13 / Java 21 / Scala 2.13 / Delta 4.2
Générations de Fabric Runtime

La décision ne concerne donc pas seulement Spark, mais l’ensemble de la pile.

Runtime 1.2 : l’ancien socle

Runtime 1.2 associe Spark 3.4.1, Delta Lake 2.4, Python 3.10, Java 11 et Scala 2.12.17. Il peut encore sembler stable aux équipes qui ont construit leurs charges au début de Fabric Data Engineering.

Mais Microsoft indique une fin de support au 31 mars 2026. Le runtime ne reçoit plus de bug fixes, mises à jour de sécurité ni remédiations de vulnérabilités, et la désactivation progressive des jobs suit cette échéance. Une charge qui démarre encore aujourd’hui n’est pas un socle sur lequel continuer à concevoir.

Runtime 1.3 : une étape importante

Runtime 1.3 a fait évoluer Fabric vers Spark 3.5.5, Delta Lake 3.2 et Python 3.11, tout en conservant Java 11 et Scala 2.12.17. Il est aussi devenu une plateforme importante pour Native Execution Engine.

Il reste capable. La raison de migrer n’est pas qu’il serait obsolète techniquement, mais que son cycle se termine tandis que 2.0 devient le nouveau socle.

Runtime 2.0 : le saut de génération

Runtime 2.0 change simultanément Spark 4.1, Python 3.13, Java 21, Scala 2.13, Delta Lake 4.2 et le système vers Azure Linux 3.0. Un notebook PySpark simple peut migrer facilement ; une plateforme avec packages Python, JAR, dépendances binaires, fonctionnalités Delta et connecteurs tiers exige un cycle de validation délibéré.

Apache Spark 4.1

Spark 4.1 constitue le changement principal. Validez notamment :

  • les changements de comportement SQL ;
  • les API Spark modifiées ou supprimées ;
  • les valeurs de configuration ;
  • les comportements hérités abandonnés par Spark 4.x ;
  • les connecteurs compilés pour d’anciennes versions ;
  • les bibliothèques Scala et Java ;
  • la sérialisation, les UDF, schémas et timestamps.

Un notebook qui compile n’est pas forcément correct. Comparez également ses sorties.

Python 3.13

Le risque vient surtout de la compatibilité des packages : versions épinglées, wheels binaires, extensions compilées, bibliothèques internes ou abandonnées et packages gérés dans un Fabric Environment. Reconstruisez l’environnement au lieu de supposer qu’un ensemble validé en Python 3.11 fonctionne en 3.13.

Java 21

Le passage de Java 11 à 21 concerne les JAR personnalisés, extensions Spark, agents JVM, connecteurs éditeurs et dépendances Java. Vérifiez la compatibilité à la compilation et à l’exécution.

Scala 2.13

Runtime 1.3 utilise Scala 2.12.17 et Runtime 2.0, Scala 2.13.16. La version binaire figure dans de nombreux noms d’artefacts Spark : une dépendance _2.12 ne doit pas simplement être copiée vers 2.13.

Pour chaque JAR, identifiez la cible Scala, obtenez ou reconstruisez l’artefact 2.13, compilez-le avec les dépendances Spark 4.x appropriées et testez-le dans un Fabric Environment.

Delta Lake 4.2

Les fonctions Delta peuvent faire évoluer le protocole de table. Certaines évolutions sont irréversibles et les anciens moteurs peuvent ne pas les comprendre. Avant d’activer une fonction, vérifiez chaque moteur qui lit la table OneLake.

Les fonctions propres à Delta Lake 4.2 sont actuellement expérimentales et limitées aux expériences Spark. Ne les activez pas sur une table partagée entre plusieurs workloads Fabric sans vérifier la matrice d’interopérabilité. Traitez migration du runtime et migration du protocole comme deux décisions distinctes.

Native Execution Engine

Native Execution Engine est pris en charge dans Runtime 1.3 et 2.0. Les opérateurs compatibles quittent le chemin JVM pour une exécution C++ vectorisée fondée sur Apache Gluten et Velox, avec traitement colonnaire et SIMD.

Microsoft publie des gains représentatifs allant jusqu’à six fois sur certains benchmarks TPC-DS par rapport à Spark open source ; son guide de monitoring cite jusqu’à quatre fois sur le benchmark TPC-DS 1 To. Ce ne sont pas des garanties par notebook. Le résultat dépend des opérateurs, formats, formes de requêtes, fallback JVM et du caractère CPU ou I/O bound.

Pour des jointures, agrégations, tris et transformations sur Parquet ou Delta, mesurez votre propre charge.

Analyse CSV vectorisée

Runtime 2.0 inclut un parseur CSV vectorisé dans le chemin natif. Les architectures avec d’importants dépôts CSV doivent donc comparer l’ingestion à leur runtime actuel.

Que mesurer réellement ?

Ne mesurez pas uniquement la durée d’un notebook. Relevez durée du notebook et des jobs, durée des stages, shuffle lu/écrit, tailles d’entrée et de sortie, CPU des executors, fallback natif, retries et consommation de capacité disponible. Utilisez des volumes représentatifs.

Le test doit répondre à deux questions : la charge termine-t-elle plus vite, et utilise-t-elle la plateforme plus efficacement ?

Le cycle de vie compte

Runtime État Fin de support
Runtime 1.2 Non pris en charge 31 mars 2026
Runtime 1.3 EOSA / transition LTS 30 septembre 2026, LTS jusqu’en mars 2027
Runtime 2.0 GA 31 août 2028

Microsoft recommande le runtime GA le plus récent en production. Le support détermine correctifs de sécurité, remédiations, bug fixes et accompagnement de plateforme.

À propos des valeurs par défaut du workspace

Runtime 2.0 est GA et recommandé, mais la documentation indique encore qu’il n’est pas nécessairement le runtime par défaut. Microsoft avait prévu une bascule progressive de l’interface, des nouveaux workspaces et des nouveaux Environment items à partir de fin septembre 2026. Vérifiez donc la sélection explicitement au lieu de la supposer.

Le runtime se contrôle au niveau du workspace ou d’un Fabric Environment.

Vérifier le runtime Fabric

Dans le workspace, ouvrez Workspace settings → Data Engineering/Science → Spark settings → Environment, puis contrôlez la version. En production, les Fabric Environments constituent généralement une meilleure unité de contrôle, car runtime et bibliothèques y sont explicites et répétables.

Pour découvrir ce flux, commencez par le tutoriel notebook Fabric et créer un Lakehouse. Faites ensuite passer le changement par le même processus de CI/CD Fabric que les autres configurations.

Faut-il migrer depuis Runtime 1.2 ?

Oui. Il n’est plus pris en charge. Migrez le runtime, validez Python et Delta, vérifiez les changements Spark, retestez notebooks et jobs critiques et remplacez les packages incompatibles. Le fait qu’un notebook 1.2 démarre encore n’est pas une raison de différer.

Faut-il migrer depuis Runtime 1.3 ?

Dans la plupart des environnements, validez activement Runtime 2.0 maintenant. Les raisons sont le support plus long, Spark 4.1, Python 3.13, Java 21, Scala 2.13, Delta 4.2 et les améliorations de plateforme. Le risque de compatibilité justifie un test prolongé, pas l’absence de test.

Risques à vérifier en premier

  1. Packages Python : reconstruire sous Python 3.13.
  2. Artefacts Scala et Java : remplacer les artefacts 2.12 et valider Java 21.
  3. Spark SQL : exécuter les tests de non-régression métier.
  4. Tables Delta : vérifier protocole et lecteurs.
  5. Connecteurs : tester JAR, JDBC, API et bibliothèques éditeur.
  6. Performance : mesurer des jobs représentatifs.
  7. Environments : cloner ou créer un environnement 2.0 plutôt que modifier la production.

Un processus de migration sûr

  1. Inventoriez les charges 1.3.
  2. Identifiez les dépendances Python, Java et Scala.
  3. Recensez les fonctions Delta et leurs consommateurs.
  4. Créez un Fabric Environment 2.0 distinct.
  5. Installez les bibliothèques équivalentes.
  6. Exécutez tests unitaires et notebooks.
  7. Testez des volumes de production.
  8. Comparez performance et résultats.
  9. Examinez Native Execution Engine et les fallbacks.
  10. Validez les tables et consommateurs aval.
  11. Migrez développement, test, puis production par le processus normal.
  12. Conservez une procédure de retour arrière pendant la fenêtre de validation.

Utilisez la supervision des notebooks et pipelines pour comparer la production et revoyez l’architecture médaillon avant d’activer des fonctions Delta 4.x sur des tables Bronze, Silver ou Gold partagées.

Matrice de décision

Situation Recommandation
Nouvelle charge Spark Fabric Commencer avec Runtime 2.0
Charge Runtime 1.2 Migrer en urgence
Production Runtime 1.3 Valider et planifier 2.0
Charge PySpark importante Benchmarker 2.0 et les packages
JAR Scala personnalisés Reconstruire pour Scala 2.13 et Spark 4.x
Intégrations Java Valider sur Java 21
Tables Delta partagées Vérifier le protocole avant les nouvelles fonctions
Jointures/agrégations/tris lourds Benchmarker Native Execution Engine
Ingestion CSV Benchmarker le parseur vectorisé
Connecteur éditeur Confirmer sa certification

Ma recommandation

Pour une nouvelle charge Fabric Data Engineering, commencez avec Runtime 2.0. Pour 1.2, migrez en urgence. Pour 1.3, ne basculez pas aveuglément, mais faites de la validation 2.0 un chantier actif.

Le bon critère n’est pas seulement « le notebook démarre-t-il ? », mais :

La charge produit-elle le même résultat correct, avec des dépendances compatibles et une performance au moins équivalente, sur le runtime que Fabric prendra en charge à l’avenir ?

Références officielles

Cette comparaison s’appuie sur Microsoft Learn : runtime Apache Spark dans Fabric, pages Runtime 2.0, 1.3 et 1.2, cycle de vie, Native Execution Engine, bonnes pratiques de monitoring et guide de diagnostic Spark SQL. Les versions, valeurs par défaut et dates peuvent évoluer.

Étiquettes

  • Microsoft Fabric
  • Delta Lake
  • Fabric Notebook
  • Python