Python

Filtrer des lignes avec pandas

Construisez des filtres pandas lisibles et sûrs face aux nulls pour des questions réelles sur les commandes, et validez le résultat au lieu de vous fier à des expressions fragiles.

Par JaviPublié 11 min de lectureDébutant

Des lignes de DataFrame mises en évidence qui passent par un filtre vers une table plus petite

Le filtrage est le moment où le langage métier devient une logique exécutable. « Les commandes terminées de plus de 100 USD en juillet » paraît simple, mais l’implémentation doit préciser le sort des quantités manquantes, les bornes de dates, les commandes retournées et si le DataFrame d’origine doit être modifié.

Problème

Une équipe des opérations veut les commandes terminées d’une valeur totale d’au moins 100 USD passées en juillet 2025. Il vous faut un filtre lisible, testable et explicite sur les valeurs numériques manquantes.

Jeu de données utilisé

Utilisez l’Orders Dataset et téléchargez orders.csv. Il contient 250 lignes, plusieurs statuts, des quantités et des prix manquants, deux enregistrements en double et des clés client et produit sans correspondance.

Code : charger et préparer les colonnes

Python
from pathlib import Path

import pandas as pd

orders = pd.read_csv(
    Path("data") / "orders.csv",
    dtype={"order_id": "Int64", "customer_id": "Int64", "product_id": "Int64"},
    parse_dates=["order_date"],
)

orders["quantity"] = pd.to_numeric(orders["quantity"], errors="coerce")
orders["unit_price"] = pd.to_numeric(orders["unit_price"], errors="coerce")
orders["order_value"] = orders["quantity"] * orders["unit_price"]
Python13 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

errors="coerce" convertit le texte numérique invalide en valeurs manquantes. Ce n’est utile que si le pipeline mesure aussi les échecs de conversion ; sinon, la coercition peut masquer un défaut de la source. Ici, les valeurs vides sont volontaires et restent NaN. La multiplication les propage, ce qui évite d’inventer une valeur de commande.

Code : construire des conditions booléennes nommées

Python
is_completed = orders["status"].eq("Completed")
is_large = orders["order_value"].ge(100)
is_in_july = orders["order_date"].between(
    "2025-07-01",
    "2025-07-31",
    inclusive="both",
)

large_july_orders = orders.loc[
    is_completed & is_large & is_in_july,
    ["order_id", "customer_id", "order_date", "order_value", "status"],
].copy()

print(large_july_orders.head())
Python14 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Les masques nommés rendent la règle relisible. .loc[rows, columns] applique la condition sur les lignes et sélectionne le contrat de sortie en un seul endroit. .copy() crée un résultat indépendant avant tout enrichissement et évite les affectations chaînées ambiguës.

Résultat

Les lignes exactes sont déterministes, mais la validation la plus importante porte sur la condition elle-même :

Validation Résultat attendu
Valeurs de statut Uniquement Completed
Plage de dates Du 1er au 31 juillet inclus
Valeur minimale de la commande Au moins 100
Valeurs de commande manquantes Exclues par la comparaison
Python
assert large_july_orders["status"].eq("Completed").all()
assert large_july_orders["order_date"].between("2025-07-01", "2025-07-31").all()
assert large_july_orders["order_value"].ge(100).all()
Python3 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Les assertions rendent l’intention de l’exemple concrète. Dans un pipeline de production, remplacez les assert par une validation qui enregistre les effectifs et lève des erreurs propres au domaine, car Python peut désactiver les assertions.

Explication : combiner des conditions

Utilisez & pour ET, | pour OU et ~ pour NON. Chaque comparaison écrite en ligne doit être placée entre parenthèses, car la priorité des opérateurs de Python ne correspond pas à la logique du langage courant.

Python
review_queue = orders.loc[
    (orders["status"].isin(["Pending", "Returned"]))
    & (orders["order_value"].fillna(0).ge(75))
]

not_cancelled = orders.loc[~orders["status"].eq("Cancelled")]
missing_amount = orders.loc[orders["quantity"].isna() | orders["unit_price"].isna()]
Python7 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

fillna(0) est une décision métier, pas une solution générique aux valeurs manquantes. Dans l’exemple de la file de revue, elle signifie que les montants inconnus n’atteignent pas le seuil. Dans un rapport de chiffre d’affaires, traiter silencieusement une valeur inconnue comme zéro pourrait sous-estimer les totaux. Conservez une file explicite pour les données manquantes lorsque l’exhaustivité compte.

Les filtres sur le texte demandent la même vigilance. Utilisez les méthodes .str avec na=False lorsque les chaînes nulles ne doivent pas correspondre. Ne normalisez la casse que si la comparaison doit y être insensible.

Python
completed_case_insensitive = orders.loc[
    orders["status"].str.casefold().eq("completed")
]
Python3 lignesCellule d’exemple en lecture seule. Rien sur cette page n’exécute de code.

Erreurs fréquentes

  • Écrire and ou or entre des Series au lieu de & et |.
  • Oublier les parenthèses autour des comparaisons écrites en ligne.
  • Filtrer des dates sous forme de texte sans valider un format ISO stable ni les convertir en dates.
  • Remplacer tous les nulls par zéro et changer le sens métier.
  • Modifier une vue filtrée par indexation chaînée.
  • Utiliser .query() avec des entrées non fiables ou des noms de colonnes peu pratiques sans comprendre ses règles d’expression.
  • Oublier que les lignes en double dans la source dupliquent aussi les résultats filtrés.

À vous de jouer

Créez trois sorties : les commandes en attente d’au moins 150 USD, les commandes retournées des deux derniers mois du fichier et les lignes où la quantité ou le prix unitaire manque. Pour chaque sortie, ne sélectionnez que les colonnes utiles à la revue et affichez son effectif.

Comparez ensuite le nombre de lignes filtrées avant et après drop_duplicates(). Décidez si les deux enregistrements en double doivent être supprimés sur la ligne complète ou seulement sur order_id. Consignez la décision sur la clé métier avant de modifier les données : un identifiant en double avec des attributs différents est un problème distinct d’une ligne répétée à l’identique.

Notes de production

Les filtres doivent être observables. Enregistrez les lignes en entrée, les lignes qui passent chaque règle principale, les lignes rejetées pour des raisons de qualité et les lignes finales en sortie. Une chute soudaine à zéro peut ainsi être distinguée d’une journée réellement calme pour l’activité. Gardez des motifs de rejet clairs et distincts : « statut annulé » et « prix manquant » décrivent des conditions différentes qui peuvent relever de responsables différents.

Évitez d’enchaîner dans une seule expression une longue suite de littéraux inexpliqués. Placez les fenêtres de reporting, les statuts acceptés et les seuils dans une configuration nommée lorsqu’ils varient d’une exécution à l’autre. Validez la configuration avant de l’appliquer, en particulier les dates de début et de fin. Les intervalles semi-ouverts — début inclus et début de la période suivante exclu — sont souvent plus sûrs pour les horodatages que la construction de la dernière seconde d’un mois.

La performance dépend aussi du moment où les colonnes sont créées. Les masques vectorisés sont normalement préférables à un apply ligne par ligne, mais ne calculez pas des dizaines de colonnes dérivées coûteuses avant d’éliminer les enregistrements manifestement hors sujet. Conservez néanmoins les champs nécessaires pour expliquer pourquoi une ligne a été incluse ou exclue. L’optimisation ne doit pas supprimer la piste d’audit. Pour résumer ensuite les commandes filtrées, consultez GroupBy et agrégations avec pandas.

Étiquettes

  • Python
  • pandas
  • DataFrames
  • CSV
  • Jeu de données