Javi Builds Data • AI • Cloud Engineering

Aide-mémoire

Des réponses rapides à des problèmes d’ingénierie réels.

Des références pratiques pour le dépannage, la mise en œuvre et l’ingénierie de production avec SQL Server, Python, Microsoft Fabric, PySpark, Git, API, Ingénierie des données et Ingénierie IA pour les données.

62 guides disponibles en anglais

Aide-mémoire
62
Technologies
8

Parcourir par technologie

Partir du problème

Vous ne savez pas quelle technologie ouvrir ? Choisissez la situation qui vous correspond.

Tous les aide-mémoire

Recherchez dans tout le site avec Ctrl + K ; le champ ci-dessous filtre uniquement cette liste.

SQL Server 15

  • DépannageIntermédiaire

    Activité par login, hôte et application dans SQL Server

    Regroupez l’activité SQL Server par login, hôte, application et base de données pour identifier le client ou la charge de travail à l’origine des connexions, des requêtes, de la consommation CPU, des lectures ou des blocages.

  • DépannageIntermédiaire

    Démarche de diagnostic des performances SQL Server

    Appliquez une démarche de diagnostic SQL Server reproductible pour distinguer blocages, CPU, E/S, attentes, régressions de requêtes et pression de charge avant de modifier quoi que ce soit.

  • DépannageIntermédiaire

    Inspecter une session SQL Server

    Inspectez en détail une session SQL Server : état de la requête, attentes, contexte transactionnel, métadonnées du client, texte SQL et handles de plan d’exécution.

  • PerformanceIntermédiaire

    Query Store : référence rapide

    Utilisez Query Store dans SQL Server pour trouver les régressions, comparer les plans, analyser l’historique d’exécution, forcer ou annuler le forçage d’un plan sans risque, et savoir quand les données de Query Store peuvent vous induire en erreur.

  • PerformanceIntermédiaire

    Trouver l’utilisation des procédures stockées

    Identifiez les procédures stockées exécutées récemment, comparez leur nombre d’exécutions et leur consommation de ressources, et comprenez les limites des statistiques du cache des procédures de SQL Server.

  • DépannageIntermédiaire

    Trouver les blocages dans SQL Server

    Identifiez les sessions bloquées, les bloqueurs, les attentes de verrou et le bloqueur principal pour diagnostiquer les blocages SQL Server sans tuer la mauvaise session.

  • IndexationIntermédiaire

    Trouver les index manquants

    Utilisez les DMV d’index manquants de SQL Server comme signal de tri, classez les candidats selon leur impact estimé et validez chaque recommandation avant de créer un index.

  • PerformanceIntermédiaire

    Trouver les requêtes à forte lecture

    Identifiez les requêtes SQL Server qui effectuent le plus de lectures logiques et physiques, distinguez la charge de travail dominée par les lectures de celle dominée par le CPU et choisissez la bonne étape d’optimisation suivante.

  • PerformanceIntermédiaire

    Trouver les requêtes de longue durée

    Identifiez les requêtes SQL Server de longue durée en cours et les requêtes lentes historiques, distinguez le temps écoulé du temps CPU et déterminez si le retard provient des attentes, des blocages, des lectures ou d’une régression de plan.

  • PerformanceIntermédiaire

    Trouver les requêtes gourmandes en CPU

    Identifiez les requêtes SQL Server qui consomment le plus de CPU en ce moment et dans l’historique, distinguez le CPU total du CPU par exécution et choisissez la bonne étape d’optimisation suivante.

  • DépannageIntermédiaire

    Trouver les transactions ouvertes

    Identifiez les transactions ouvertes, trouvez les sessions qui les détiennent, mesurez leur ancienneté et reliez les transactions de longue durée aux blocages, à la croissance du journal et au comportement de l’application.

  • PerformanceIntermédiaire

    Types d’attente SQL Server

    Utilisez les statistiques d’attente SQL Server pour identifier où le travail passe son temps, distinguer les attentes en cours des attentes cumulées et choisir la prochaine piste d’investigation des performances.

  • IndexationIntermédiaire

    Vérifier l’utilisation des index

    Examinez l’activité de lecture et d’écriture des index SQL Server, repérez les index à faible valeur et déterminez lesquels méritent une analyse approfondie avant toute suppression.

  • Stockage et capacitéIntermédiaire

    Vérifier la taille des tables SQL Server

    Mesurez le nombre de lignes et l’espace de stockage des tables SQL Server, distinguez l’espace des données de celui des index et identifiez les tables qui font croître la base de données.

  • DépannageIntermédiaire

    Voir ce qui s’exécute dans SQL Server

    Identifiez rapidement les requêtes SQL Server actives : ce qu’elles exécutent, depuis combien de temps, quelles ressources elles consomment et si elles sont en attente ou bloquées.

Python 10

  • DépannageIntermédiaire

    Déboguer les problèmes courants de pandas

    Diagnostiquez les défaillances courantes de pandas liées aux dtypes, aux valeurs manquantes, aux jointures, à l’affectation en chaîne, aux données en double, aux erreurs de dates, à la pression mémoire et aux variations inattendues du nombre de lignes.

  • Analyse de donnéesDébutant

    Filtrer des lignes avec pandas

    Filtrez les lignes d’un DataFrame pandas de façon sûre et lisible grâce aux masques booléens, aux conditions multiples, aux tests d’appartenance, aux filtres sur le texte et les dates, aux contrôles des valeurs nulles et aux expressions query.

  • Nettoyage des donnéesIntermédiaire

    Gérer les valeurs manquantes avec pandas

    Inspectez, filtrez, remplissez, supprimez et validez les valeurs manquantes avec pandas sans modifier silencieusement le sens ni le dtype des données de production.

  • Analyse de donnéesIntermédiaire

    GroupBy et agrégations avec pandas

    Regroupez des données pandas par clés métier, calculez des agrégations fiables, conservez le contexte de chaque ligne avec transform et évitez les erreurs courantes liées aux valeurs nulles, aux doublons et aux logiques d’agrégation mélangées.

  • Analyse de donnéesDébutant

    Inspecter un DataFrame pandas

    Inspectez un DataFrame pandas rapidement et en toute sécurité pour comprendre sa forme, ses colonnes, ses types de données, ses valeurs nulles, ses doublons, ses distributions et ses valeurs suspectes avant de transformer les données.

  • Analyse de donnéesIntermédiaire

    Joindre et fusionner des DataFrames

    Joignez des DataFrames pandas en toute sécurité en validant les clés, la cardinalité, le comportement des valeurs nulles, la multiplication due aux doublons et l’évolution du nombre de lignes avant de vous fier au résultat.

  • Lecture et écriture de donnéesIntermédiaire

    Lire et écrire des fichiers CSV, Parquet et JSON

    Lisez et écrivez des fichiers CSV, Parquet et JSON avec pandas en maîtrisant le schéma, les dates, les valeurs nulles, la compression, l’encodage et un comportement des fichiers sûr en production.

  • Analyse de donnéesIntermédiaire

    Manipuler des dates et des horodatages

    Analysez, comparez, filtrez, normalisez, localisez, convertissez, regroupez et validez des dates et des horodatages avec pandas sans introduire d’erreurs de fuseau horaire ou de bornes.

  • Nettoyage des donnéesIntermédiaire

    Trier, classer et dédoublonner des données

    Triez, classez et dédoublonnez des données pandas en toute sécurité en définissant un ordre déterministe, des clés métier, le traitement des ex aequo et la ligne exacte à conserver.

  • Nettoyage des donnéesIntermédiaire

    Types de données et conversions pandas

    Inspectez et convertissez les types de données pandas en toute sécurité, préservez la nullabilité, détectez les conversions en échec et évitez les changements de schéma silencieux dans les pipelines de données de production.

Microsoft Fabric 9

  • ArchitectureIntermédiaire

    Architecture Medallion dans Fabric

    Concevoir une architecture Bronze, Silver et Gold pragmatique dans Microsoft Fabric, avec des contrats de données clairs, la possibilité de rejouer les chargements, un traitement incrémental, des contrôles qualité et des responsabilités de restitution bien définies.

  • DépannageIntermédiaire

    Déboguer les pipelines Fabric

    Diagnostiquer les échecs de pipelines Microsoft Fabric en isolant l’activité en échec, en distinguant les erreurs transitoires des erreurs déterministes, en validant les paramètres et les identités, et en utilisant les nouvelles tentatives, la journalisation et des relances maîtrisées en toute sécurité.

  • Query LanguageIntermédiaireContenu en anglais

    KQL for Microsoft Fabric Cheat Sheet

    The Kusto Query Language (KQL) a Microsoft Fabric data engineer uses most in Eventhouse and KQL querysets: filter, shape, sort, summarize, time windows with bin(), joins, nulls and dynamic fields, with a SQL-to-KQL mapping and seven practice exercises.

  • ArchitectureIntermédiaire

    Lakehouse ou Warehouse

    Choisissez entre Lakehouse et Warehouse dans Microsoft Fabric en comparant le modèle de développement, les types de données, les capacités SQL, les transactions, les modes d’ingestion et les besoins analytiques en aval.

  • Administration & ConfigurationIntermédiaireContenu en anglais

    Microsoft Fabric Workspace Settings Cheat Sheet

    The Microsoft Fabric workspace settings that change how a data engineering workspace behaves: Spark pools, environments and jobs, domain assignment, OneLake shortcut caching and diagnostics, and data workflow (Apache Airflow job) runtime pools, with what to verify for each.

  • Ingénierie des donnéesIntermédiaire

    Modèles de lecture et d’écriture Delta Lake

    Lire et écrire des tables Delta dans Microsoft Fabric en toute sécurité avec l’ajout (append), l’écrasement (overwrite), MERGE, le partitionnement, le contrôle du schéma, des modèles adaptés à la concurrence et la maintenance des tables.

  • PerformanceIntermédiaire

    Performance des notebooks Fabric

    Diagnostiquez et améliorez les performances des notebooks Microsoft Fabric en distinguant les goulots d’étranglement liés au démarrage de la session Spark, au scan des données, au shuffle, au skew, à la pression sur le driver, à la concurrence et à l’écriture.

  • PerformanceIntermédiaire

    Session tags dans Fabric

    Utilisez les session tags de Microsoft Fabric pour réutiliser des sessions Spark compatibles entre activités de notebook, réduire le temps de démarrage et éviter une fragmentation inutile des sessions.

  • Supervision et observabilitéIntermédiaire

    Superviser les pipelines et notebooks Fabric

    Supervisez les pipelines et notebooks Microsoft Fabric avec le Monitoring hub, Workspace Monitoring, la supervision Spark, KQL, les alertes et la télémétrie de capacité afin de rendre observables les échecs et les régressions de performances.

PySpark 6

  • Transformation de donnéesIntermédiaire

    Fonctions de fenêtre dans PySpark

    Utilisez les fonctions de fenêtre PySpark en toute sécurité pour le classement, la sélection de la ligne la plus récente, les totaux cumulés, l’analyse lag/lead et les calculs partitionnés, sans réduire la granularité du DataFrame.

  • Transformation de donnéesIntermédiaire

    GroupBy et agrégations avec PySpark

    Agrégez des DataFrames PySpark en toute sécurité en définissant la granularité de sortie, en traitant les clés de regroupement nulles, en choisissant les bonnes fonctions d’agrégation, en validant les totaux et en maîtrisant les charges de travail groupBy gourmandes en shuffle.

  • Transformation de donnéesIntermédiaire

    Joindre des DataFrames avec PySpark

    Joignez des DataFrames PySpark en toute sécurité en validant la cardinalité des clés, en choisissant le bon type et la bonne stratégie de jointure, en évitant la multiplication des lignes et en gérant le skew, les valeurs nulles et les colonnes ambiguës.

  • Ingénierie des donnéesIntermédiaire

    Lire et écrire des tables Delta

    Lire et écrire des tables Delta avec PySpark à l’aide de modèles sûrs d’ajout (append), d’écrasement (overwrite), de merge, d’évolution du schéma, de partitionnement et de maintenance pour les pipelines de données en production.

  • PerformanceIntermédiaire

    PySpark : référence rapide des performances

    Diagnostiquez et optimisez les charges de travail PySpark en distinguant les problèmes de scan, de shuffle, de skew, de partitionnement, de cache, de jointures, de pression sur le driver et d’organisation des fichiers avant de modifier la taille du cluster.

  • Transformation de donnéesIntermédiaire

    Sélectionner et filtrer des DataFrames

    Sélectionnez, projetez, filtrez et validez efficacement des DataFrames PySpark en évitant les colonnes ambiguës, les erreurs de logique sur les valeurs nulles, les lectures inutiles et le filtrage côté driver.

Git 6

  • Gestion de versionsIntermédiaire

    Annuler des modifications en toute sécurité

    Annulez des modifications Git en toute sécurité en choisissant la bonne commande pour les modifications non indexées, les modifications indexées, les commits locaux ou l’historique partagé, sans détruire votre travail par accident.

  • Gestion de versionsIntermédiaire

    Branches et fusions

    Créez, mettez à jour, comparez, fusionnez et nettoyez vos branches Git en toute sécurité, en préservant l’historique partagé et en évitant toute divergence accidentelle ou résolution de conflits destructrice.

  • Gestion de versionsDébutant

    Commandes Git du quotidien

    Utilisez les commandes Git dont les ingénieurs ont le plus souvent besoin pour inspecter les modifications, créer des commits, synchroniser les branches, consulter l’historique et réparer les erreurs locales courantes.

  • Gestion de versionsIntermédiaire

    Git stash : mettre des modifications de côté

    Utilisez git stash en toute sécurité pour mettre de côté un travail inachevé, changer de contexte, inspecter et restaurer les modifications remisées, gérer les fichiers non suivis et vous en sortir lorsque l’application d’un stash provoque des conflits.

  • Gestion de versionsIntermédiaire

    Rebase : référence rapide

    Faites un rebase de vos branches Git en toute sécurité pour rejouer vos commits locaux sur une nouvelle base, résoudre les conflits de manière réfléchie, nettoyer un historique privé et récupérer la situation lorsqu’un rebase tourne mal.

  • Gestion de versionsIntermédiaire

    Résoudre les conflits de fusion

    Résolvez les conflits de fusion Git en toute sécurité en identifiant l’opération en cours, en comprenant ours et theirs, en vérifiant le résultat combiné attendu, puis en terminant ou en annulant le merge sans perdre de travail.

API 5

  • Conception HTTP et APIIntermédiaire

    Codes de statut HTTP pour les développeurs

    Interprétez et utilisez correctement les codes de statut HTTP lorsque vous concevez et diagnostiquez des API, avec des conseils pratiques sur les succès, les redirections, les erreurs client, les erreurs serveur, les nouvelles tentatives et les choix de conception d’API.

  • Tests HTTP et APIIntermédiaire

    cURL : référence rapide

    Utilisez cURL pour tester et diagnostiquer des API HTTP grâce à des modèles pratiques couvrant les méthodes, les en-têtes, l’authentification, les corps JSON, les fichiers, les redirections, les délais d’expiration, les nouvelles tentatives, l’inspection des réponses et le diagnostic sûr en production.

  • DépannageIntermédiaire

    Diagnostiquer les requêtes d’API

    Diagnostiquez les requêtes d’API en échec ou lentes en isolant le DNS, le TLS, l’authentification, le routage, les limites de débit, les payloads, les passerelles, les erreurs applicatives, les nouvelles tentatives et les dépendances en aval.

  • SécuritéIntermédiaire

    Modèles d’authentification d’API

    Choisissez et mettez en œuvre l’authentification d’API en toute sécurité en comprenant les clés d’API, l’authentification Basic, les jetons Bearer, OAuth 2.0, les JWT, les identités de service, le mTLS, la durée de vie des jetons et les défaillances courantes en production.

  • Conception d’APIIntermédiaire

    Modèles de pagination d’API

    Concevez et consommez des API paginées en toute sécurité grâce aux modèles offset, numéro de page, curseur, keyset et jeton de continuation, avec un ordre clair, un parcours stable et un comportement client sûr en production.

Ingénierie des données 6

  • ArchitectureIntermédiaire

    Architecture Medallion : référence rapide

    Concevoir des couches de données Bronze, Silver et Gold avec des responsabilités clairement attribuées, la possibilité de rejouer les chargements, des contrôles qualité, un traitement incrémental et des contrats de restitution, sans réduire l’architecture Medallion à une convention rigide de nommage de dossiers.

  • Qualité des donnéesIntermédiaire

    Contrôles de qualité des données

    Mettez en place des contrôles de qualité des données concrets pour le schéma, la complétude, l’unicité, la validité, l’intégrité référentielle, la fraîcheur, la réconciliation et la dérive des pipelines, sans vous appuyer sur des seuils universels arbitraires.

  • Stockage et formats de fichiersIntermédiaire

    CSV, JSON, Parquet ou Delta

    Choisissez entre CSV, JSON, Parquet et Delta selon le schéma, les performances analytiques, la mutabilité, l’interopérabilité, la fiabilité et les exigences d’un data lake en production.

  • Intégration de donnéesIntermédiaire

    Modèles de chargement incrémental

    Concevez des chargements incrémentaux sûrs avec des watermarks, la CDC, des high-water marks, MERGE, des écritures idempotentes, la gestion des données tardives et des checkpoints rejouables, sans sauter ni dupliquer de données.

  • Stockage et performanceIntermédiaire

    Stratégies de partitionnement

    Choisir et valider des stratégies de partitionnement des données qui améliorent l’élagage, le parallélisme, la maintenance et le coût, sans créer de skew, de fichiers minuscules ni d’organisations à forte cardinalité.

  • ArchitectureIntermédiaire

    Traitement batch ou streaming

    Choisissez entre traitement batch et streaming des données en comparant latence, exactitude, complexité opérationnelle, coût, rejeu, état et reprise après échec pour de vraies charges de production.

Ingénierie IA pour les données 5

  • Choix de modèleDébutant

    Choisir le bon modèle d’IA

    Une méthode pratique pour choisir un modèle d’IA pour une application de données : quand ne pas utiliser de LLM, les critères qui comptent, un arbre de décision et l’évaluation des candidats sur la qualité, la latence et le coût par tâche réussie.

  • Maîtrise des coûtsIntermédiaire

    Coût LLM et budget de tokens

    Estimez et maîtrisez le coût d’une charge de travail LLM avec des formules simples par requête, par jour et par mois, des budgets de tokens, le choix du niveau de modèle, la mise en cache, le batch et la supervision.

  • Ingénierie du contexteAvancé

    Ingénierie du contexte pour les LLM

    Décidez quoi envoyer à un LLM et dans quel ordre : modèle de priorité du contexte, budgets de tokens par section, élagage, résumé de l’historique, limites de récupération, contexte périmé ou contradictoire et compromis du contexte long.

  • Optimisation des tokensIntermédiaire

    Optimiser les tokens d’un LLM

    Réduisez la consommation de tokens d’un LLM dans vos applications de données sans perdre le contexte ni la qualité utiles : mesurer d’abord, alléger prompts et historique, limiter la récupération, compacter les sorties, mettre en cache et router.

  • Conception de promptsIntermédiaire

    Patrons de prompts pour l’ingénierie des données

    Des patrons de prompts réutilisables pour l’ingénierie des données : génération SQL, interprétation de schéma, mapping de colonnes, règles de qualité et analyse d’incident, avec sortie structurée, hypothèses explicites et validation.