Python

Inspecter un DataFrame pandas

Profilez un DataFrame pandas de manière systématique avec sa forme, son schéma, des échantillons, les nulls, l’unicité et les distributions avant de le transformer.

Par JaviPublié 11 min de lectureDébutant

Une grille de DataFrame avec des indicateurs de schéma et de profil mis en évidence

L’inspection d’un DataFrame est la courte enquête qui sépare « le fichier s’est chargé » de « la transformation est sûre ». Elle établit la granularité, les types, les valeurs manquantes, les catégories et les enregistrements suspects avant que le code ne transforme des hypothèses en résultats.

Problème

Un CSV de clients s’est chargé sans erreur, mais vous ne savez pas encore si une ligne correspond à un client, si les identifiants sont uniques, si les dates ont été interprétées ni quels champs contiennent des nulls. Appeler head() est utile, mais cinq lignes commodes ne peuvent pas répondre seules à ces questions.

Jeu de données utilisé

Utilisez le Customer Dataset et téléchargez customers.csv. Ses défauts sont maîtrisés : trois e-mails vides, trois libellés de pays incohérents et un doublon exact. Chaque inspection a ainsi un résultat connu.

Code : un premier profil reproductible

Python
from pathlib import Path

import pandas as pd

customers = pd.read_csv(
    Path("data") / "customers.csv",
    parse_dates=["signup_date"],
)

print("shape:", customers.shape)
print("columns:", customers.columns.tolist())
print(customers.dtypes)
print(customers.head(3))
print(customers.tail(3))
Python14 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

La forme (shape) donne les limites de la table. Les noms de colonnes révèlent des espaces inattendus ou une dérive de schéma. Les types de données montrent si les nombres et les dates sont utilisables comme prévu. Les échantillons de head et tail repèrent les problèmes évidents de séparateur, d’en-tête ou de lignes de fin. Aucun des deux échantillons ne prouve la qualité de l’ensemble du fichier.

Résultat

Contrôle Observation attendue
Forme 100 lignes, 6 colonnes
ID client Chargé comme entier dans ce fichier
Date d’inscription datetime64[ns] après parse_dates
E-mail Trois valeurs manquantes
Lignes en double Un doublon exact

Utilisez info() pour un résumé compact du schéma et des valeurs non nulles. Cette méthode écrit dans un buffer ou sur la sortie standard et renvoie None : n’affectez donc pas son résultat au DataFrame.

Python
customers.info()

profile = pd.DataFrame({
    "dtype": customers.dtypes.astype(str),
    "null_count": customers.isna().sum(),
    "null_percent": customers.isna().mean().mul(100).round(1),
    "distinct_count": customers.nunique(dropna=False),
})

print(profile)
Python10 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Ce petit profil est souvent plus utile dans le journal d’un pipeline qu’un rapport descriptif complet. Il garde les comparaisons explicites et fonctionne pour les colonnes de texte, de dates et numériques.

Code : tester la granularité attendue

Si la granularité métier est d’une ligne par client, customer_id doit être unique et non nul. Testez directement cette affirmation.

Python
duplicate_rows = customers[customers.duplicated(keep=False)]
duplicate_ids = customers[customers.duplicated(subset=["customer_id"], keep=False)]

print("null customer IDs:", customers["customer_id"].isna().sum())
print("unique customer IDs:", customers["customer_id"].nunique())
print("exact duplicate rows:", customers.duplicated().sum())
print(duplicate_rows)
Python7 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Le fichier compte 100 lignes, mais seulement 99 identifiants clients uniques, car un enregistrement est répété à l’identique. Dans des données réelles, des identifiants en double peuvent contenir des attributs contradictoires plutôt que des lignes identiques. drop_duplicates() conserverait alors un enregistrement selon l’ordre des lignes, qui peut être arbitraire. L’inspection précède la résolution.

Explication : inspecter les distributions, pas seulement les types

Une colonne de texte peut être techniquement valide tout en étant sémantiquement incohérente. Ne normalisez qu’après avoir vu les valeurs d’origine et leurs effectifs.

Python
country_counts = (
    customers["country"]
    .value_counts(dropna=False)
    .rename_axis("country")
    .reset_index(name="customer_count")
)

print(country_counts.to_string(index=False))
print(customers["segment"].value_counts(dropna=False))
Python9 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

United States et united states apparaissent comme des catégories distinctes. Il en va de même pour Canada et CANADA, ainsi que pour Spain et spain. Cela compte avant tout regroupement ou toute jointure avec des données de référence. Un affichage en minuscules n’est pas forcément la valeur canonique finale ; les systèmes de production associent souvent les variantes de la source à des codes gouvernés.

La sortie numérique de describe() est utile, mais incomplète pour les tables de types mixtes. Ajoutez des percentiles précis lorsqu’ils répondent à une question opérationnelle, et inspectez séparément les fréquences des catégories. Pour les dates, vérifiez le minimum, le maximum, les valeurs futures et les échecs d’interprétation.

Erreurs fréquentes

  • Ne regarder que head() et supposer que l’échantillon représente le fichier.
  • Utiliser describe() comme rapport universel de qualité des données.
  • Considérer un dtype object ou string comme la preuve que les valeurs sont propres.
  • Supprimer les doublons avant d’avoir défini la clé métier attendue.
  • Compter les valeurs distinctes sans décider si le null est une catégorie.
  • Afficher un grand DataFrame en entier et noyer les signaux importants dans le bruit.
  • Modifier des valeurs pendant l’inspection, ce qui complique la comparaison avec les données brutes.

À vous de jouer

Construisez un résumé d’une ligne contenant le nombre total de lignes, les identifiants clients uniques, les e-mails manquants, la première et la dernière date d’inscription, et les doublons exacts. Vérifiez que les colonnes obligatoires existent. Listez ensuite les valeurs de pays dont la forme normalisée correspond à plusieurs écritures d’origine.

Pour aller vers la production, transformez les attentes en contrôles explicites qui lèvent des erreurs utiles. Évitez d’affirmer que les e-mails ne peuvent jamais être nuls : le jeu de données les autorise volontairement. Une bonne validation distingue les valeurs manquantes autorisées des violations de contrat au lieu de traiter chaque imperfection de la même façon.

Notes de production

L’inspection doit produire des éléments comparables d’une exécution à l’autre. Conservez des métriques compactes comme le nombre de lignes, les clés métier distinctes, les pourcentages de nulls, les bornes de dates et les effectifs par catégorie. Un profil isolé décrit le fichier du jour ; une série de profils révèle la dérive. Les seuils d’alerte doivent refléter la tolérance métier : un nouveau pays peut être attendu, alors qu’un taux d’identifiants clients nuls supérieur à zéro peut constituer une violation de contrat.

Soyez prudent lorsque vous profilez des données sensibles. Les journaux doivent contenir des effectifs et des agrégats approuvés, pas des enregistrements clients complets ni des valeurs brutes qui exposent des informations personnelles. N’échantillonnez que les colonnes et les lignes nécessaires au diagnostic, masquez ce qui doit l’être et placez les sorties de profilage sous les mêmes contrôles d’accès que le pipeline.

Pour les grands DataFrames, les comptages exacts de valeurs distinctes et les parcours complets ont un coût. Choisissez les contrôles selon le risque, exécutez une validation légère du contrat à l’ingestion et réservez les analyses de qualité approfondies aux cas où les ressources le permettent. L’objectif n’est pas de produire toutes les statistiques possibles, mais de tester les hypothèses dont dépend la transformation suivante. Pour continuer, consultez Filtrer des lignes avec pandas ou, si le fichier n’est pas encore chargé, Lire des fichiers CSV avec pandas.

Étiquettes

  • Python
  • pandas
  • DataFrames
  • CSV
  • Jeu de données