Microsoft Fabric
Microsoft Fabric Runtime 2.0 vs 1.3 vs 1.2 : quelles évolutions et faut-il migrer ?
Comparez Microsoft Fabric Runtime 2.0, 1.3 et 1.2 : Spark, Python, Java, Scala, Delta Lake, performance, cycle de vie et risques de migration.
Dans cet article
Microsoft Fabric Runtime 2.0 représente un changement bien plus important que son numéro ne le laisse penser.
Passer de Runtime 1.3 à 2.0, c’est passer d’Apache Spark 3.5.5 à Spark 4.1, de Python 3.11 à 3.13, de Java 11 à 21, de Scala 2.12.17 à 2.13.16 et de Delta Lake 3.2 à 4.2. Depuis Runtime 1.2, l’écart est encore plus grand.
Il ne s’agit donc pas d’une simple mise à jour de plateforme, mais d’une migration de runtime. La question utile est :
Runtime 2.0 apporte-t-il à ma charge suffisamment de performance, de support et de valeur pour justifier les tests de compatibilité ?
Ce guide compare les trois versions dans cette perspective d’ingénierie de production.
En bref
Pour les nouvelles charges de production, Microsoft recommande le runtime GA le plus récent : Runtime 2.0.
Runtime 1.2 n’est plus pris en charge depuis le 31 mars 2026 et ne reçoit plus les correctifs habituels, notamment de sécurité.
Runtime 1.3 est en phase EOSA. Sa date de fin de support annoncée est le 30 septembre 2026, puis il passe en Long Term Support du 1er octobre 2026 à mars 2027.
Runtime 2.0 est GA et sa fin de support actuelle est fixée au 31 août 2028.
Depuis 1.2, la migration est une exigence opérationnelle. Depuis 1.3, il faut désormais déterminer à quelle vitesse valider les charges sur 2.0.
Comparaison rapide
| Composant | Runtime 1.2 | Runtime 1.3 | Runtime 2.0 |
|---|---|---|---|
| Statut | Fin de support | EOSA / transition LTS | GA |
| Apache Spark | 3.4.1 | 3.5.5 | 4.1 |
| Python | 3.10 | 3.11 | 3.13 |
| Java | 11 | 11 | 21 |
| Scala | 2.12.17 | 2.12.17 | 2.13.16 |
| Delta Lake | 2.4 | 3.2 | 4.2 |
| Système | Mariner 2.0 | Mariner 2.0 | Azure Linux 3.0 |
| Native Execution Engine | Non | Oui | Oui |
| Recommandation | Migrer | Sortie progressive | Runtime GA privilégié |
| Horizon | Terminé | Transition LTS | 31 août 2028 |
- Runtime 1.2Spark 3.4 / Python 3.10 / Delta 2.4
- Mise à niveauRuntime 1.3Spark 3.5 / Python 3.11 / Delta 3.2 / Native Execution Engine
- MigrationRuntime 2.0Spark 4.1 / Python 3.13 / Java 21 / Scala 2.13 / Delta 4.2
La décision ne concerne donc pas seulement Spark, mais l’ensemble de la pile.
Runtime 1.2 : l’ancien socle
Runtime 1.2 associe Spark 3.4.1, Delta Lake 2.4, Python 3.10, Java 11 et Scala 2.12.17. Il peut encore sembler stable aux équipes qui ont construit leurs charges au début de Fabric Data Engineering.
Mais Microsoft indique une fin de support au 31 mars 2026. Le runtime ne reçoit plus de bug fixes, mises à jour de sécurité ni remédiations de vulnérabilités, et la désactivation progressive des jobs suit cette échéance. Une charge qui démarre encore aujourd’hui n’est pas un socle sur lequel continuer à concevoir.
Runtime 1.3 : une étape importante
Runtime 1.3 a fait évoluer Fabric vers Spark 3.5.5, Delta Lake 3.2 et Python 3.11, tout en conservant Java 11 et Scala 2.12.17. Il est aussi devenu une plateforme importante pour Native Execution Engine.
Il reste capable. La raison de migrer n’est pas qu’il serait obsolète techniquement, mais que son cycle se termine tandis que 2.0 devient le nouveau socle.
Runtime 2.0 : le saut de génération
Runtime 2.0 change simultanément Spark 4.1, Python 3.13, Java 21, Scala 2.13, Delta Lake 4.2 et le système vers Azure Linux 3.0. Un notebook PySpark simple peut migrer facilement ; une plateforme avec packages Python, JAR, dépendances binaires, fonctionnalités Delta et connecteurs tiers exige un cycle de validation délibéré.
Apache Spark 4.1
Spark 4.1 constitue le changement principal. Validez notamment :
- les changements de comportement SQL ;
- les API Spark modifiées ou supprimées ;
- les valeurs de configuration ;
- les comportements hérités abandonnés par Spark 4.x ;
- les connecteurs compilés pour d’anciennes versions ;
- les bibliothèques Scala et Java ;
- la sérialisation, les UDF, schémas et timestamps.
Un notebook qui compile n’est pas forcément correct. Comparez également ses sorties.
Python 3.13
Le risque vient surtout de la compatibilité des packages : versions épinglées, wheels binaires, extensions compilées, bibliothèques internes ou abandonnées et packages gérés dans un Fabric Environment. Reconstruisez l’environnement au lieu de supposer qu’un ensemble validé en Python 3.11 fonctionne en 3.13.
Java 21
Le passage de Java 11 à 21 concerne les JAR personnalisés, extensions Spark, agents JVM, connecteurs éditeurs et dépendances Java. Vérifiez la compatibilité à la compilation et à l’exécution.
Scala 2.13
Runtime 1.3 utilise Scala 2.12.17 et Runtime 2.0, Scala 2.13.16. La version binaire figure dans de nombreux noms d’artefacts Spark : une dépendance _2.12 ne doit pas simplement être copiée vers 2.13.
Pour chaque JAR, identifiez la cible Scala, obtenez ou reconstruisez l’artefact 2.13, compilez-le avec les dépendances Spark 4.x appropriées et testez-le dans un Fabric Environment.
Delta Lake 4.2
Les fonctions Delta peuvent faire évoluer le protocole de table. Certaines évolutions sont irréversibles et les anciens moteurs peuvent ne pas les comprendre. Avant d’activer une fonction, vérifiez chaque moteur qui lit la table OneLake.
Les fonctions propres à Delta Lake 4.2 sont actuellement expérimentales et limitées aux expériences Spark. Ne les activez pas sur une table partagée entre plusieurs workloads Fabric sans vérifier la matrice d’interopérabilité. Traitez migration du runtime et migration du protocole comme deux décisions distinctes.
Native Execution Engine
Native Execution Engine est pris en charge dans Runtime 1.3 et 2.0. Les opérateurs compatibles quittent le chemin JVM pour une exécution C++ vectorisée fondée sur Apache Gluten et Velox, avec traitement colonnaire et SIMD.
Microsoft publie des gains représentatifs allant jusqu’à six fois sur certains benchmarks TPC-DS par rapport à Spark open source ; son guide de monitoring cite jusqu’à quatre fois sur le benchmark TPC-DS 1 To. Ce ne sont pas des garanties par notebook. Le résultat dépend des opérateurs, formats, formes de requêtes, fallback JVM et du caractère CPU ou I/O bound.
Pour des jointures, agrégations, tris et transformations sur Parquet ou Delta, mesurez votre propre charge.
Analyse CSV vectorisée
Runtime 2.0 inclut un parseur CSV vectorisé dans le chemin natif. Les architectures avec d’importants dépôts CSV doivent donc comparer l’ingestion à leur runtime actuel.
Que mesurer réellement ?
Ne mesurez pas uniquement la durée d’un notebook. Relevez durée du notebook et des jobs, durée des stages, shuffle lu/écrit, tailles d’entrée et de sortie, CPU des executors, fallback natif, retries et consommation de capacité disponible. Utilisez des volumes représentatifs.
Le test doit répondre à deux questions : la charge termine-t-elle plus vite, et utilise-t-elle la plateforme plus efficacement ?
Le cycle de vie compte
| Runtime | État | Fin de support |
|---|---|---|
| Runtime 1.2 | Non pris en charge | 31 mars 2026 |
| Runtime 1.3 | EOSA / transition LTS | 30 septembre 2026, LTS jusqu’en mars 2027 |
| Runtime 2.0 | GA | 31 août 2028 |
Microsoft recommande le runtime GA le plus récent en production. Le support détermine correctifs de sécurité, remédiations, bug fixes et accompagnement de plateforme.
À propos des valeurs par défaut du workspace
Runtime 2.0 est GA et recommandé, mais la documentation indique encore qu’il n’est pas nécessairement le runtime par défaut. Microsoft avait prévu une bascule progressive de l’interface, des nouveaux workspaces et des nouveaux Environment items à partir de fin septembre 2026. Vérifiez donc la sélection explicitement au lieu de la supposer.
Le runtime se contrôle au niveau du workspace ou d’un Fabric Environment.
Vérifier le runtime Fabric
Dans le workspace, ouvrez Workspace settings → Data Engineering/Science → Spark settings → Environment, puis contrôlez la version. En production, les Fabric Environments constituent généralement une meilleure unité de contrôle, car runtime et bibliothèques y sont explicites et répétables.
Pour découvrir ce flux, commencez par le tutoriel notebook Fabric et créer un Lakehouse. Faites ensuite passer le changement par le même processus de CI/CD Fabric que les autres configurations.
Faut-il migrer depuis Runtime 1.2 ?
Oui. Il n’est plus pris en charge. Migrez le runtime, validez Python et Delta, vérifiez les changements Spark, retestez notebooks et jobs critiques et remplacez les packages incompatibles. Le fait qu’un notebook 1.2 démarre encore n’est pas une raison de différer.
Faut-il migrer depuis Runtime 1.3 ?
Dans la plupart des environnements, validez activement Runtime 2.0 maintenant. Les raisons sont le support plus long, Spark 4.1, Python 3.13, Java 21, Scala 2.13, Delta 4.2 et les améliorations de plateforme. Le risque de compatibilité justifie un test prolongé, pas l’absence de test.
Risques à vérifier en premier
- Packages Python : reconstruire sous Python 3.13.
- Artefacts Scala et Java : remplacer les artefacts 2.12 et valider Java 21.
- Spark SQL : exécuter les tests de non-régression métier.
- Tables Delta : vérifier protocole et lecteurs.
- Connecteurs : tester JAR, JDBC, API et bibliothèques éditeur.
- Performance : mesurer des jobs représentatifs.
- Environments : cloner ou créer un environnement 2.0 plutôt que modifier la production.
Un processus de migration sûr
- Inventoriez les charges 1.3.
- Identifiez les dépendances Python, Java et Scala.
- Recensez les fonctions Delta et leurs consommateurs.
- Créez un Fabric Environment 2.0 distinct.
- Installez les bibliothèques équivalentes.
- Exécutez tests unitaires et notebooks.
- Testez des volumes de production.
- Comparez performance et résultats.
- Examinez Native Execution Engine et les fallbacks.
- Validez les tables et consommateurs aval.
- Migrez développement, test, puis production par le processus normal.
- Conservez une procédure de retour arrière pendant la fenêtre de validation.
Utilisez la supervision des notebooks et pipelines pour comparer la production et revoyez l’architecture médaillon avant d’activer des fonctions Delta 4.x sur des tables Bronze, Silver ou Gold partagées.
Matrice de décision
| Situation | Recommandation |
|---|---|
| Nouvelle charge Spark Fabric | Commencer avec Runtime 2.0 |
| Charge Runtime 1.2 | Migrer en urgence |
| Production Runtime 1.3 | Valider et planifier 2.0 |
| Charge PySpark importante | Benchmarker 2.0 et les packages |
| JAR Scala personnalisés | Reconstruire pour Scala 2.13 et Spark 4.x |
| Intégrations Java | Valider sur Java 21 |
| Tables Delta partagées | Vérifier le protocole avant les nouvelles fonctions |
| Jointures/agrégations/tris lourds | Benchmarker Native Execution Engine |
| Ingestion CSV | Benchmarker le parseur vectorisé |
| Connecteur éditeur | Confirmer sa certification |
Ma recommandation
Pour une nouvelle charge Fabric Data Engineering, commencez avec Runtime 2.0. Pour 1.2, migrez en urgence. Pour 1.3, ne basculez pas aveuglément, mais faites de la validation 2.0 un chantier actif.
Le bon critère n’est pas seulement « le notebook démarre-t-il ? », mais :
La charge produit-elle le même résultat correct, avec des dépendances compatibles et une performance au moins équivalente, sur le runtime que Fabric prendra en charge à l’avenir ?
Références officielles
Cette comparaison s’appuie sur Microsoft Learn : runtime Apache Spark dans Fabric, pages Runtime 2.0, 1.3 et 1.2, cycle de vie, Native Execution Engine, bonnes pratiques de monitoring et guide de diagnostic Spark SQL. Les versions, valeurs par défaut et dates peuvent évoluer.
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoirePerformance des notebooks FabricDiagnostiquez et améliorez les performances des notebooks Microsoft Fabric en distinguant les goulots d’étranglement liés au démarrage de la session Spark, au scan des données, au shuffle, au skew, à la pression sur le driver, à la concurrence et à l’écriture.Ouvrir l’aide-mémoire
- ArticleContenu en anglaisIncremental Loads in Microsoft Fabric: Watermarks, CDC and MERGE Without Reprocessing EverythingStop full reloads in Microsoft Fabric without losing correctness: bounded watermark windows, Change Tracking vs CDC, Delta MERGE, deletes, late data and safe reruns.Lire l’article
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.