Python
Cómo inspeccionar un DataFrame de pandas
Analiza un DataFrame de pandas de forma sistemática con su forma, esquema, muestras, nulos, unicidad y distribuciones antes de transformarlo.
En este artículo
La inspección de un DataFrame es la breve investigación que separa “el archivo se cargó” de “la transformación es segura”. Establece la granularidad, los tipos, los valores faltantes, las categorías y los registros sospechosos antes de que el código convierta suposiciones en resultados.
Problema
Un CSV de clientes se cargó sin errores, pero todavía no sabes si una fila equivale a un cliente, si los ID son únicos, si las fechas se interpretaron bien ni qué campos contienen nulos. Llamar a head() es útil, pero cinco filas cómodas no pueden responder solas a esas preguntas.
Dataset utilizado
Usa el Customer Dataset y descarga customers.csv. Sus problemas están controlados: tres correos vacíos, tres etiquetas de país inconsistentes y un duplicado exacto. Así, cada inspección tiene un hallazgo conocido.
Código: un primer perfil repetible
from pathlib import Path
import pandas as pd
customers = pd.read_csv(
Path("data") / "customers.csv",
parse_dates=["signup_date"],
)
print("shape:", customers.shape)
print("columns:", customers.columns.tolist())
print(customers.dtypes)
print(customers.head(3))
print(customers.tail(3))La forma (shape) marca los límites de la tabla. Los nombres de columna revelan espacios inesperados o cambios de esquema. Los tipos de datos muestran si los números y las fechas pueden usarse como se pretende. Las muestras de head y tail detectan problemas evidentes de delimitador, encabezado o líneas finales. Ninguna de las dos muestras demuestra la calidad del archivo completo.
Resultado
| Comprobación | Observación esperada |
|---|---|
| Forma | 100 filas, 6 columnas |
| ID de cliente | Cargado como entero en este archivo |
| Fecha de alta | datetime64[ns] después de parse_dates |
| Correo electrónico | Tres valores faltantes |
| Filas duplicadas | Un duplicado exacto |
Usa info() para obtener un resumen compacto del esquema y de los valores no nulos. Escribe en un búfer o en la salida estándar y devuelve None, así que no asignes su resultado al DataFrame.
customers.info()
profile = pd.DataFrame({
"dtype": customers.dtypes.astype(str),
"null_count": customers.isna().sum(),
"null_percent": customers.isna().mean().mul(100).round(1),
"distinct_count": customers.nunique(dropna=False),
})
print(profile)Este pequeño perfil suele ser más útil en el log de un pipeline que un informe descriptivo completo. Mantiene explícitas las comparaciones y funciona con columnas de texto, fechas y números.
Código: comprueba la granularidad esperada
Si la granularidad de negocio es una fila por cliente, customer_id debería ser único y no nulo. Comprueba esa afirmación directamente.
duplicate_rows = customers[customers.duplicated(keep=False)]
duplicate_ids = customers[customers.duplicated(subset=["customer_id"], keep=False)]
print("null customer IDs:", customers["customer_id"].isna().sum())
print("unique customer IDs:", customers["customer_id"].nunique())
print("exact duplicate rows:", customers.duplicated().sum())
print(duplicate_rows)El archivo tiene 100 filas, pero solo 99 ID de cliente únicos porque un registro se repite exactamente. En datos reales, los ID duplicados pueden contener atributos contradictorios en lugar de filas idénticas. En ese caso, drop_duplicates() conservaría un registro según el orden de las filas, que puede ser arbitrario. La inspección va antes de la resolución.
Explicación: inspecciona distribuciones, no solo tipos
Una columna de texto puede ser técnicamente válida y, a la vez, semánticamente inconsistente. Normaliza solo después de ver los valores originales y sus recuentos.
country_counts = (
customers["country"]
.value_counts(dropna=False)
.rename_axis("country")
.reset_index(name="customer_count")
)
print(country_counts.to_string(index=False))
print(customers["segment"].value_counts(dropna=False))United States y united states aparecen como categorías distintas. Lo mismo ocurre con Canada y CANADA, y con Spain y spain. Esto importa antes de agrupar o de combinar con datos de referencia. Mostrar todo en minúsculas no tiene por qué ser el valor canónico final; los sistemas de producción suelen asignar las variantes del origen a códigos gobernados.
La salida numérica de describe() es útil, pero incompleta en tablas con tipos mixtos. Incluye percentiles concretos cuando respondan a una pregunta operativa e inspecciona por separado las frecuencias categóricas. En las fechas, comprueba el mínimo, el máximo, los valores futuros y los errores de interpretación.
Errores comunes
- Mirar solo
head()y suponer que la muestra representa el archivo. - Usar
describe()como informe universal de calidad de datos. - Tomar un dtype object o string como prueba de que los valores están limpios.
- Eliminar duplicados antes de definir la clave de negocio prevista.
- Contar valores distintos sin decidir si el nulo es una categoría.
- Imprimir un DataFrame grande completo y perder las señales importantes entre el ruido.
- Modificar valores durante la inspección, lo que dificulta comparar las evidencias originales.
Pruébalo tú mismo
Construye un resumen de una fila con el total de filas, los ID de cliente únicos, los correos faltantes, la fecha de alta más antigua, la más reciente y los duplicados exactos. Comprueba que existen las columnas obligatorias. Después, enumera los valores de país cuya forma normalizada corresponde a más de una escritura original.
Como ampliación pensada para producción, convierte las expectativas en comprobaciones explícitas que lancen errores útiles. Evita afirmar que los correos nunca pueden ser nulos: el dataset los permite a propósito. Una buena validación distingue los valores faltantes permitidos de las infracciones del contrato en lugar de tratar todas las imperfecciones por igual.
Notas para producción
La inspección debe producir evidencias que puedan compararse entre ejecuciones. Guarda métricas compactas como el número de filas, las claves de negocio distintas, los porcentajes de nulos, los límites de fechas y los recuentos por categoría. Un único perfil describe el archivo de hoy; una serie de perfiles revela la deriva. Los umbrales de alerta deben reflejar la tolerancia del negocio: un país nuevo puede ser esperable, mientras que una tasa de ID de cliente nulos superior a cero puede ser un incumplimiento del contrato.
Ten cuidado al analizar datos sensibles. Los logs deben contener recuentos y agregados aprobados, no registros completos de clientes ni valores originales que expongan información personal. Toma muestras solo de las columnas y filas necesarias para el diagnóstico, redacta lo que corresponda y mantén los resultados del análisis bajo los mismos controles de acceso que el pipeline.
En DataFrames grandes, los recuentos exactos de valores distintos y los recorridos completos tienen un costo. Elige las comprobaciones según el riesgo, ejecuta validaciones ligeras del contrato durante la ingesta y realiza análisis de calidad más profundos donde los recursos lo permitan. El objetivo no es generar todas las estadísticas posibles, sino comprobar las suposiciones de las que depende la siguiente transformación. Para continuar, consulta Cómo filtrar filas en pandas o, si aún no cargaste el archivo, Cómo leer archivos CSV con pandas.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Sigue aprendiendo
- Guía rápidaFiltrar filas en pandasFiltra filas de un DataFrame de pandas de forma segura y clara con máscaras booleanas, condiciones múltiples, pruebas de pertenencia, filtros de texto y fechas, comprobaciones de nulos y expresiones query.Abrir guía rápida
- Hoja de rutaPython DataFrames for Data EngineeringAnaliza un DataFrame de pandas de forma sistemática con su forma, esquema, muestras, nulos, unicidad y distribuciones antes de transformarlo.Ver hoja de ruta
¿Qué debería crear después?
Estoy construyendo Javi Builds alrededor de problemas reales que enfrentan los ingenieros de datos. Dime qué tema te gustaría ver después.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.