Python

Cómo inspeccionar un DataFrame de pandas

Analiza un DataFrame de pandas de forma sistemática con su forma, esquema, muestras, nulos, unicidad y distribuciones antes de transformarlo.

Por JaviPublicado 11 min de lecturaPrincipiante

Una cuadrícula de DataFrame con indicadores destacados de esquema y perfil

La inspección de un DataFrame es la breve investigación que separa “el archivo se cargó” de “la transformación es segura”. Establece la granularidad, los tipos, los valores faltantes, las categorías y los registros sospechosos antes de que el código convierta suposiciones en resultados.

Problema

Un CSV de clientes se cargó sin errores, pero todavía no sabes si una fila equivale a un cliente, si los ID son únicos, si las fechas se interpretaron bien ni qué campos contienen nulos. Llamar a head() es útil, pero cinco filas cómodas no pueden responder solas a esas preguntas.

Dataset utilizado

Usa el Customer Dataset y descarga customers.csv. Sus problemas están controlados: tres correos vacíos, tres etiquetas de país inconsistentes y un duplicado exacto. Así, cada inspección tiene un hallazgo conocido.

Código: un primer perfil repetible

Python
from pathlib import Path

import pandas as pd

customers = pd.read_csv(
    Path("data") / "customers.csv",
    parse_dates=["signup_date"],
)

print("shape:", customers.shape)
print("columns:", customers.columns.tolist())
print(customers.dtypes)
print(customers.head(3))
print(customers.tail(3))
Python14 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

La forma (shape) marca los límites de la tabla. Los nombres de columna revelan espacios inesperados o cambios de esquema. Los tipos de datos muestran si los números y las fechas pueden usarse como se pretende. Las muestras de head y tail detectan problemas evidentes de delimitador, encabezado o líneas finales. Ninguna de las dos muestras demuestra la calidad del archivo completo.

Resultado

Comprobación Observación esperada
Forma 100 filas, 6 columnas
ID de cliente Cargado como entero en este archivo
Fecha de alta datetime64[ns] después de parse_dates
Correo electrónico Tres valores faltantes
Filas duplicadas Un duplicado exacto

Usa info() para obtener un resumen compacto del esquema y de los valores no nulos. Escribe en un búfer o en la salida estándar y devuelve None, así que no asignes su resultado al DataFrame.

Python
customers.info()

profile = pd.DataFrame({
    "dtype": customers.dtypes.astype(str),
    "null_count": customers.isna().sum(),
    "null_percent": customers.isna().mean().mul(100).round(1),
    "distinct_count": customers.nunique(dropna=False),
})

print(profile)
Python10 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Este pequeño perfil suele ser más útil en el log de un pipeline que un informe descriptivo completo. Mantiene explícitas las comparaciones y funciona con columnas de texto, fechas y números.

Código: comprueba la granularidad esperada

Si la granularidad de negocio es una fila por cliente, customer_id debería ser único y no nulo. Comprueba esa afirmación directamente.

Python
duplicate_rows = customers[customers.duplicated(keep=False)]
duplicate_ids = customers[customers.duplicated(subset=["customer_id"], keep=False)]

print("null customer IDs:", customers["customer_id"].isna().sum())
print("unique customer IDs:", customers["customer_id"].nunique())
print("exact duplicate rows:", customers.duplicated().sum())
print(duplicate_rows)
Python7 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

El archivo tiene 100 filas, pero solo 99 ID de cliente únicos porque un registro se repite exactamente. En datos reales, los ID duplicados pueden contener atributos contradictorios en lugar de filas idénticas. En ese caso, drop_duplicates() conservaría un registro según el orden de las filas, que puede ser arbitrario. La inspección va antes de la resolución.

Explicación: inspecciona distribuciones, no solo tipos

Una columna de texto puede ser técnicamente válida y, a la vez, semánticamente inconsistente. Normaliza solo después de ver los valores originales y sus recuentos.

Python
country_counts = (
    customers["country"]
    .value_counts(dropna=False)
    .rename_axis("country")
    .reset_index(name="customer_count")
)

print(country_counts.to_string(index=False))
print(customers["segment"].value_counts(dropna=False))
Python9 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

United States y united states aparecen como categorías distintas. Lo mismo ocurre con Canada y CANADA, y con Spain y spain. Esto importa antes de agrupar o de combinar con datos de referencia. Mostrar todo en minúsculas no tiene por qué ser el valor canónico final; los sistemas de producción suelen asignar las variantes del origen a códigos gobernados.

La salida numérica de describe() es útil, pero incompleta en tablas con tipos mixtos. Incluye percentiles concretos cuando respondan a una pregunta operativa e inspecciona por separado las frecuencias categóricas. En las fechas, comprueba el mínimo, el máximo, los valores futuros y los errores de interpretación.

Errores comunes

  • Mirar solo head() y suponer que la muestra representa el archivo.
  • Usar describe() como informe universal de calidad de datos.
  • Tomar un dtype object o string como prueba de que los valores están limpios.
  • Eliminar duplicados antes de definir la clave de negocio prevista.
  • Contar valores distintos sin decidir si el nulo es una categoría.
  • Imprimir un DataFrame grande completo y perder las señales importantes entre el ruido.
  • Modificar valores durante la inspección, lo que dificulta comparar las evidencias originales.

Pruébalo tú mismo

Construye un resumen de una fila con el total de filas, los ID de cliente únicos, los correos faltantes, la fecha de alta más antigua, la más reciente y los duplicados exactos. Comprueba que existen las columnas obligatorias. Después, enumera los valores de país cuya forma normalizada corresponde a más de una escritura original.

Como ampliación pensada para producción, convierte las expectativas en comprobaciones explícitas que lancen errores útiles. Evita afirmar que los correos nunca pueden ser nulos: el dataset los permite a propósito. Una buena validación distingue los valores faltantes permitidos de las infracciones del contrato en lugar de tratar todas las imperfecciones por igual.

Notas para producción

La inspección debe producir evidencias que puedan compararse entre ejecuciones. Guarda métricas compactas como el número de filas, las claves de negocio distintas, los porcentajes de nulos, los límites de fechas y los recuentos por categoría. Un único perfil describe el archivo de hoy; una serie de perfiles revela la deriva. Los umbrales de alerta deben reflejar la tolerancia del negocio: un país nuevo puede ser esperable, mientras que una tasa de ID de cliente nulos superior a cero puede ser un incumplimiento del contrato.

Ten cuidado al analizar datos sensibles. Los logs deben contener recuentos y agregados aprobados, no registros completos de clientes ni valores originales que expongan información personal. Toma muestras solo de las columnas y filas necesarias para el diagnóstico, redacta lo que corresponda y mantén los resultados del análisis bajo los mismos controles de acceso que el pipeline.

En DataFrames grandes, los recuentos exactos de valores distintos y los recorridos completos tienen un costo. Elige las comprobaciones según el riesgo, ejecuta validaciones ligeras del contrato durante la ingesta y realiza análisis de calidad más profundos donde los recursos lo permitan. El objetivo no es generar todas las estadísticas posibles, sino comprobar las suposiciones de las que depende la siguiente transformación. Para continuar, consulta Cómo filtrar filas en pandas o, si aún no cargaste el archivo, Cómo leer archivos CSV con pandas.

Etiquetas

  • Python
  • pandas
  • DataFrames
  • CSV
  • Conjunto de datos