Python
Filtrer des lignes avec pandas
Construisez des filtres pandas lisibles et sûrs face aux nulls pour des questions réelles sur les commandes, et validez le résultat au lieu de vous fier à des expressions fragiles.
Dans cet article
Le filtrage est le moment où le langage métier devient une logique exécutable. « Les commandes terminées de plus de 100 USD en juillet » paraît simple, mais l’implémentation doit préciser le sort des quantités manquantes, les bornes de dates, les commandes retournées et si le DataFrame d’origine doit être modifié.
Problème
Une équipe des opérations veut les commandes terminées d’une valeur totale d’au moins 100 USD passées en juillet 2025. Il vous faut un filtre lisible, testable et explicite sur les valeurs numériques manquantes.
Jeu de données utilisé
Utilisez l’Orders Dataset et téléchargez orders.csv. Il contient 250 lignes, plusieurs statuts, des quantités et des prix manquants, deux enregistrements en double et des clés client et produit sans correspondance.
Code : charger et préparer les colonnes
from pathlib import Path
import pandas as pd
orders = pd.read_csv(
Path("data") / "orders.csv",
dtype={"order_id": "Int64", "customer_id": "Int64", "product_id": "Int64"},
parse_dates=["order_date"],
)
orders["quantity"] = pd.to_numeric(orders["quantity"], errors="coerce")
orders["unit_price"] = pd.to_numeric(orders["unit_price"], errors="coerce")
orders["order_value"] = orders["quantity"] * orders["unit_price"]errors="coerce" convertit le texte numérique invalide en valeurs manquantes. Ce n’est utile que si le pipeline mesure aussi les échecs de conversion ; sinon, la coercition peut masquer un défaut de la source. Ici, les valeurs vides sont volontaires et restent NaN. La multiplication les propage, ce qui évite d’inventer une valeur de commande.
Code : construire des conditions booléennes nommées
is_completed = orders["status"].eq("Completed")
is_large = orders["order_value"].ge(100)
is_in_july = orders["order_date"].between(
"2025-07-01",
"2025-07-31",
inclusive="both",
)
large_july_orders = orders.loc[
is_completed & is_large & is_in_july,
["order_id", "customer_id", "order_date", "order_value", "status"],
].copy()
print(large_july_orders.head())Les masques nommés rendent la règle relisible. .loc[rows, columns] applique la condition sur les lignes et sélectionne le contrat de sortie en un seul endroit. .copy() crée un résultat indépendant avant tout enrichissement et évite les affectations chaînées ambiguës.
Résultat
Les lignes exactes sont déterministes, mais la validation la plus importante porte sur la condition elle-même :
| Validation | Résultat attendu |
|---|---|
| Valeurs de statut | Uniquement Completed |
| Plage de dates | Du 1er au 31 juillet inclus |
| Valeur minimale de la commande | Au moins 100 |
| Valeurs de commande manquantes | Exclues par la comparaison |
assert large_july_orders["status"].eq("Completed").all()
assert large_july_orders["order_date"].between("2025-07-01", "2025-07-31").all()
assert large_july_orders["order_value"].ge(100).all()Les assertions rendent l’intention de l’exemple concrète. Dans un pipeline de production, remplacez les assert par une validation qui enregistre les effectifs et lève des erreurs propres au domaine, car Python peut désactiver les assertions.
Explication : combiner des conditions
Utilisez & pour ET, | pour OU et ~ pour NON. Chaque comparaison écrite en ligne doit être placée entre parenthèses, car la priorité des opérateurs de Python ne correspond pas à la logique du langage courant.
review_queue = orders.loc[
(orders["status"].isin(["Pending", "Returned"]))
& (orders["order_value"].fillna(0).ge(75))
]
not_cancelled = orders.loc[~orders["status"].eq("Cancelled")]
missing_amount = orders.loc[orders["quantity"].isna() | orders["unit_price"].isna()]fillna(0) est une décision métier, pas une solution générique aux valeurs manquantes. Dans l’exemple de la file de revue, elle signifie que les montants inconnus n’atteignent pas le seuil. Dans un rapport de chiffre d’affaires, traiter silencieusement une valeur inconnue comme zéro pourrait sous-estimer les totaux. Conservez une file explicite pour les données manquantes lorsque l’exhaustivité compte.
Les filtres sur le texte demandent la même vigilance. Utilisez les méthodes .str avec na=False lorsque les chaînes nulles ne doivent pas correspondre. Ne normalisez la casse que si la comparaison doit y être insensible.
completed_case_insensitive = orders.loc[
orders["status"].str.casefold().eq("completed")
]Erreurs fréquentes
- Écrire
andouorentre des Series au lieu de&et|. - Oublier les parenthèses autour des comparaisons écrites en ligne.
- Filtrer des dates sous forme de texte sans valider un format ISO stable ni les convertir en dates.
- Remplacer tous les nulls par zéro et changer le sens métier.
- Modifier une vue filtrée par indexation chaînée.
- Utiliser
.query()avec des entrées non fiables ou des noms de colonnes peu pratiques sans comprendre ses règles d’expression. - Oublier que les lignes en double dans la source dupliquent aussi les résultats filtrés.
À vous de jouer
Créez trois sorties : les commandes en attente d’au moins 150 USD, les commandes retournées des deux derniers mois du fichier et les lignes où la quantité ou le prix unitaire manque. Pour chaque sortie, ne sélectionnez que les colonnes utiles à la revue et affichez son effectif.
Comparez ensuite le nombre de lignes filtrées avant et après drop_duplicates(). Décidez si les deux enregistrements en double doivent être supprimés sur la ligne complète ou seulement sur order_id. Consignez la décision sur la clé métier avant de modifier les données : un identifiant en double avec des attributs différents est un problème distinct d’une ligne répétée à l’identique.
Notes de production
Les filtres doivent être observables. Enregistrez les lignes en entrée, les lignes qui passent chaque règle principale, les lignes rejetées pour des raisons de qualité et les lignes finales en sortie. Une chute soudaine à zéro peut ainsi être distinguée d’une journée réellement calme pour l’activité. Gardez des motifs de rejet clairs et distincts : « statut annulé » et « prix manquant » décrivent des conditions différentes qui peuvent relever de responsables différents.
Évitez d’enchaîner dans une seule expression une longue suite de littéraux inexpliqués. Placez les fenêtres de reporting, les statuts acceptés et les seuils dans une configuration nommée lorsqu’ils varient d’une exécution à l’autre. Validez la configuration avant de l’appliquer, en particulier les dates de début et de fin. Les intervalles semi-ouverts — début inclus et début de la période suivante exclu — sont souvent plus sûrs pour les horodatages que la construction de la dernière seconde d’un mois.
La performance dépend aussi du moment où les colonnes sont créées. Les masques vectorisés sont normalement préférables à un apply ligne par ligne, mais ne calculez pas des dizaines de colonnes dérivées coûteuses avant d’éliminer les enregistrements manifestement hors sujet. Conservez néanmoins les champs nécessaires pour expliquer pourquoi une ligne a été incluse ou exclue. L’optimisation ne doit pas supprimer la piste d’audit. Pour résumer ensuite les commandes filtrées, consultez GroupBy et agrégations avec pandas.
Ce contenu vous a-t-il été utile ?
Que pourrions-nous améliorer ?
Merci — cela m’aide à améliorer Javi Builds.
Continuer à apprendre
- Aide-mémoireLire et écrire des fichiers CSV, Parquet et JSONLisez et écrivez des fichiers CSV, Parquet et JSON avec pandas en maîtrisant le schéma, les dates, les valeurs nulles, la compression, l’encodage et un comportement des fichiers sûr en production.Ouvrir l’aide-mémoire
- Feuille de routePython DataFrames for Data EngineeringConstruisez des filtres pandas lisibles et sûrs face aux nulls pour des questions réelles sur les commandes, et validez le résultat au lieu de vous fier à des expressions fragiles.Voir la feuille de route
Que devrais-je créer ensuite ?
Je développe Javi Builds autour des problèmes concrets rencontrés par les data engineers. Dites-moi quel sujet vous aimeriez voir ensuite.
Restez au courant
Recevez uniquement les nouvelles de Javi Builds qui vous intéressent.
Consultez votre boîte de réception
Je vous ai envoyé un lien de confirmation. Votre abonnement sera actif après confirmation.