Python
Cómo filtrar filas en pandas
Construye filtros de pandas legibles y seguros ante nulos para preguntas reales sobre pedidos, y valida el resultado en lugar de confiar en expresiones frágiles.
En este artículo
Filtrar es el momento en que el lenguaje de negocio se convierte en lógica ejecutable. “Pedidos completados de más de 100 USD durante julio” parece sencillo, pero la implementación debe definir qué pasa con las cantidades faltantes, los límites de fecha, los pedidos devueltos y si el DataFrame original debe cambiar.
Problema
Un equipo de operaciones quiere los pedidos completados con un valor total de al menos 100 USD realizados en julio de 2025. Necesitas un filtro legible, comprobable y explícito sobre los valores numéricos faltantes.
Dataset utilizado
Usa el Orders Dataset y descarga orders.csv. Contiene 250 filas, varios estados, valores faltantes de cantidad y precio, dos registros duplicados y claves de cliente y producto sin correspondencia.
Código: carga y prepara las columnas
from pathlib import Path
import pandas as pd
orders = pd.read_csv(
Path("data") / "orders.csv",
dtype={"order_id": "Int64", "customer_id": "Int64", "product_id": "Int64"},
parse_dates=["order_date"],
)
orders["quantity"] = pd.to_numeric(orders["quantity"], errors="coerce")
orders["unit_price"] = pd.to_numeric(orders["unit_price"], errors="coerce")
orders["order_value"] = orders["quantity"] * orders["unit_price"]errors="coerce" convierte el texto numérico no válido en valores faltantes. Solo es útil si el pipeline también mide los fallos de conversión; de lo contrario, la coerción puede ocultar un defecto del origen. Aquí los valores vacíos son deliberados y se mantienen como NaN. La multiplicación los propaga, lo que evita inventar un valor de pedido.
Código: construye condiciones booleanas con nombre
is_completed = orders["status"].eq("Completed")
is_large = orders["order_value"].ge(100)
is_in_july = orders["order_date"].between(
"2025-07-01",
"2025-07-31",
inclusive="both",
)
large_july_orders = orders.loc[
is_completed & is_large & is_in_july,
["order_id", "customer_id", "order_date", "order_value", "status"],
].copy()
print(large_july_orders.head())Las máscaras con nombre permiten revisar la regla. .loc[rows, columns] aplica la condición de filas y selecciona el contrato de salida en un solo lugar. .copy() crea un resultado independiente antes de enriquecerlo y evita asignaciones encadenadas ambiguas.
Resultado
Las filas exactas son deterministas, pero la validación más importante es la propia condición:
| Validación | Resultado esperado |
|---|---|
| Valores de estado | Solo Completed |
| Intervalo de fechas | Del 1 al 31 de julio, ambos incluidos |
| Valor mínimo del pedido | Al menos 100 |
| Valores de pedido faltantes | Excluidos por la comparación |
assert large_july_orders["status"].eq("Completed").all()
assert large_july_orders["order_date"].between("2025-07-01", "2025-07-31").all()
assert large_july_orders["order_value"].ge(100).all()Las aserciones concretan la intención del ejemplo. En un pipeline de producción, sustituye los assert por validaciones que registren recuentos y lancen errores propios del dominio, porque Python puede desactivar las aserciones.
Explicación: cómo combinar condiciones
Usa & para AND, | para OR y ~ para NOT. Cada comparación escrita en línea debe ir entre paréntesis, porque la precedencia de operadores de Python no coincide con la lógica del lenguaje cotidiano.
review_queue = orders.loc[
(orders["status"].isin(["Pending", "Returned"]))
& (orders["order_value"].fillna(0).ge(75))
]
not_cancelled = orders.loc[~orders["status"].eq("Cancelled")]
missing_amount = orders.loc[orders["quantity"].isna() | orders["unit_price"].isna()]fillna(0) es una decisión de negocio, no una solución genérica para los valores faltantes. En el ejemplo de la cola de revisión significa que los importes desconocidos no alcanzan el umbral. En los informes de ingresos, tratar en silencio un valor desconocido como cero podría subestimar los totales. Mantén una cola explícita de datos faltantes cuando la completitud importe.
Los filtros de texto requieren un cuidado similar. Usa los métodos .str con na=False cuando las cadenas nulas no deban coincidir. Normaliza mayúsculas y minúsculas solo cuando la comparación deba ser insensible a ellas.
completed_case_insensitive = orders.loc[
orders["status"].str.casefold().eq("completed")
]Errores comunes
- Escribir
anduorentre objetos Series en lugar de&y|. - Omitir los paréntesis en las comparaciones escritas en línea.
- Filtrar fechas como texto sin validar antes un formato ISO estable o sin convertirlas a fecha.
- Rellenar todos los nulos con cero y cambiar el significado de negocio.
- Modificar una vista filtrada mediante indexación encadenada.
- Usar
.query()con entradas no confiables o nombres de columna problemáticos sin entender sus reglas de expresión. - Olvidar que las filas duplicadas en el origen también duplican los resultados filtrados.
Pruébalo tú mismo
Crea tres salidas: pedidos pendientes de al menos 150 USD, pedidos devueltos de los dos últimos meses del archivo y filas en las que falta la cantidad o el precio unitario. Para cada salida, selecciona solo las columnas útiles para revisión e imprime su recuento.
Después, compara el número de filas filtradas antes y después de drop_duplicates(). Decide si los dos registros duplicados deben eliminarse usando la fila completa o solo order_id. Anota la decisión sobre la clave de negocio antes de cambiar los datos: un identificador duplicado con atributos distintos es un problema diferente de una fila repetida exactamente.
Notas para producción
Los filtros deben ser observables. Registra las filas de entrada, las filas que superan cada regla principal, las filas rechazadas por motivos de calidad y las filas de salida finales. Así, una caída repentina a cero puede distinguirse de un día de negocio realmente tranquilo. Mantén motivos de rechazo comprensibles y distintos entre sí: “estado cancelado” y “precio faltante” describen condiciones diferentes y pueden requerir responsables distintos.
Evita incluir en una sola expresión una larga cadena de literales sin explicación. Coloca las ventanas de informe, los estados aceptados y los umbrales en una configuración con nombre cuando varíen entre ejecuciones. Valida la configuración antes de aplicarla, sobre todo las fechas de inicio y fin. Los intervalos semiabiertos —inicio incluido y comienzo del periodo siguiente excluido— suelen ser más seguros para marcas de tiempo que construir el último segundo de un mes.
El rendimiento también depende de cuándo se crean las columnas. Las máscaras vectorizadas suelen ser preferibles a apply fila por fila, pero no calcules decenas de columnas derivadas costosas antes de descartar registros claramente irrelevantes. Al mismo tiempo, conserva los campos necesarios para explicar por qué se incluyó o excluyó una fila. La optimización no debe eliminar la trazabilidad. Para resumir después los pedidos filtrados, consulta GroupBy y agregaciones en pandas.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Sigue aprendiendo
- Guía rápidaCombinar DataFrames con merge y joinCombina DataFrames de pandas de forma segura validando claves, cardinalidad, comportamiento de los nulos, multiplicación por duplicados y cambios en el número de filas antes de confiar en el resultado.Abrir guía rápida
- Hoja de rutaPython DataFrames for Data EngineeringConstruye filtros de pandas legibles y seguros ante nulos para preguntas reales sobre pedidos, y valida el resultado en lugar de confiar en expresiones frágiles.Ver hoja de ruta
¿Qué debería crear después?
Estoy construyendo Javi Builds alrededor de problemas reales que enfrentan los ingenieros de datos. Dime qué tema te gustaría ver después.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.