Python

Cómo leer archivos CSV con pandas

Carga un CSV real en pandas de forma deliberada, valida su forma y sus tipos, y evita las suposiciones de ingesta que provocan problemas de datos más adelante.

Por JaviPublicado 11 min de lecturaPrincipiante

Un documento CSV que fluye hacia una cuadrícula estructurada de DataFrame

Leer un CSV es fácil; saber que se leyó correctamente es el verdadero trabajo de ingeniería. Una llamada a read_csv que termina sin errores puede producir fechas como texto, identificadores mezclados, nulos inesperados, registros duplicados o tipos inferidos en silencio que cambian cuando llegue el archivo de mañana.

Problema

Recibiste una extracción de clientes que más adelante se combinará con pedidos y eventos del sitio web. Antes de construir transformaciones, necesitas un paso de carga reproducible y un pequeño conjunto de comprobaciones que establezcan qué entró en memoria. Esto importa porque cada filtro, join y agregación hereda las decisiones tomadas durante la ingesta.

Dataset utilizado

Este tutorial usa el Customer Dataset: 100 filas sintéticas con identificadores, países, fechas de alta, segmentos de cliente y correos electrónicos. Incluye a propósito tres correos vacíos, países con mayúsculas y minúsculas inconsistentes y una fila duplicada.

Descarga customers.csv y colócalo en un directorio data junto a tu notebook o script. La URL también sirve para un ejercicio breve, pero los pipelines de producción normalmente deberían descargar o depositar los archivos de origen de forma explícita para controlar reintentos, checksums y retención.

Código: la carga mínima útil

Python
from pathlib import Path

import pandas as pd

data_path = Path("data") / "customers.csv"
customers = pd.read_csv(data_path)

print(customers.shape)
print(customers.head(3))
Python9 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Path hace que el ejemplo sea portable entre Windows, macOS y Linux. Evita letras de unidad codificadas a mano y deja visible el directorio esperado. La carga produce un DataFrame, una tabla bidimensional con etiquetas cuyas columnas pueden tener tipos de datos distintos.

Resultado

(100, 6)
   customer_id  customer_name        country signup_date         segment                       email
0            1    Avery Atlas  United States  2023-01-01      Enterprise  customer001@example.test
1            2    Blake Atlas         Canada  2023-02-08  Small Business  customer002@example.test
2            3    Casey Atlas United Kingdom  2023-03-15        Consumer  customer003@example.test

La forma (shape) es una comprobación del contrato de ingesta, no una prueba de que los datos sean correctos. Confirma 100 filas y seis columnas, incluido el duplicado intencional. Si el origen produce de forma inesperada cero filas, siete columnas o una única columna gigante porque cambió el delimitador, detente antes de transformarlo.

Código: haz explícitos los tipos importantes

pandas puede interpretar la fecha y conservar el identificador como entero que admite nulos. Las decisiones explícitas reducen las sorpresas cuando aparece un valor vacío en una entrega posterior.

Python
customers = pd.read_csv(
    data_path,
    dtype={"customer_id": "Int64", "segment": "category"},
    parse_dates=["signup_date"],
    usecols=[
        "customer_id",
        "customer_name",
        "country",
        "signup_date",
        "segment",
        "email",
    ],
)

required = {"customer_id", "customer_name", "country", "signup_date", "segment", "email"}
missing_columns = required.difference(customers.columns)
if missing_columns:
    raise ValueError(f"Missing required columns: {sorted(missing_columns)}")
Python18 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Int64 es el tipo entero de pandas que admite nulos; a diferencia del tipo int64 de NumPy, puede representar valores faltantes sin convertir toda la columna a coma flotante. category puede ser eficiente para etiquetas repetidas y hace visible el dominio previsto. parse_dates convierte el texto ISO en una columna de tipo fecha y hora, lo que permite comparaciones fiables y derivar atributos de fecha.

usecols también actúa como frontera: la transformación lee solo los campos que espera. Esto puede reducir la memoria en archivos con muchas columnas, pero no debe sustituir al monitoreo de cambios de esquema. Si un equipo de origen añade una columna útil, un contrato explícito te avisa de que ocurrió en lugar de cambiar por accidente el comportamiento posterior.

Explicación: rutas, URL y reproducibilidad

Una ruta relativa se resuelve a partir del directorio de trabajo del proceso, no necesariamente del archivo del script. En los notebooks, imprime Path.cwd() cuando no se encuentre un archivo. En pipelines empaquetados, pasa la ubicación de entrada como configuración y registra la ruta resuelta.

Para un ejercicio rápido, pandas puede leer directamente la URL publicada:

customers_url = "https://javibuilds.com/resources/datasets/customers.csv"
customers = pd.read_csv(customers_url, parse_dates=["signup_date"])

Para la lectura en línea, usa el dominio realmente desplegado. Una descarga local es mejor para practicar de forma repetible y funciona sin conexión. En producción, la ingesta HTTP directa también necesita tiempos de espera, autenticación, reintentos, una zona de aterrizaje inmutable y observabilidad: aspectos que read_csv por sí solo no resuelve.

Errores comunes

  • Confiar en los tipos inferidos sin inspeccionarlos.
  • Codificar rutas C:\... que solo funcionan en una máquina.
  • Tratar como equivalentes las cadenas vacías, NA, NULL y los valores centinela propios del dominio sin una regla.
  • Interpretar las fechas solo cuando se necesitan por primera vez, lo que dispersa los errores de conversión por todo el proceso.
  • Suponer que una carga correcta significa que se usó el archivo o el delimitador esperado.
  • Leer todas las columnas de una extracción muy ancha cuando solo se necesita un subconjunto estable.
  • Usar low_memory=False como solución genérica en lugar de definir los tipos ambiguos.

Pruébalo tú mismo

Carga el archivo desde un directorio local data. Confirma el número de filas y columnas, imprime customers.dtypes y cuenta los valores faltantes con customers.isna().sum(). Después, interpreta signup_date, encuentra la fecha de alta más antigua y la más reciente, y verifica que faltan tres correos.

Por último, compara len(customers) con len(customers.drop_duplicates()). No elimines todavía el duplicado. Registra lo que encontraste para que la siguiente transformación pueda tomar una decisión de limpieza deliberada en lugar de cambiar la entrada original de forma invisible. Para seguir, consulta Cómo inspeccionar un DataFrame de pandas y Cómo filtrar filas en pandas.

Notas para producción

Trata los metadatos de ingesta como parte del dataset. Registra el nombre del origen, la hora de llegada, el tamaño en bytes, el número de filas y un checksum cuando los archivos deban ser auditables. Guarda los bytes originales antes de aplicar correcciones para que una transformación fallida pueda volver a ejecutarse sin pedir de nuevo el origen. Si los archivos llegan de forma recurrente, decide si un nombre de archivo representa una entrega inmutable o una ubicación cuyo contenido puede cambiar.

Las suposiciones de codificación y delimitador también forman parte del contrato. UTF-8 es un buen valor predeterminado, pero los sistemas de origen pueden emitir marcas de orden de bytes (BOM) o codificaciones heredadas. Falla con un mensaje útil en lugar de reemplazar en silencio los caracteres desconocidos. En entregas recurrentes, prueba el encabezado antes de cargar el archivo completo y captura por separado las filas rechazadas cuando la política permita una aceptación parcial.

Por último, recuerda que pandas se ejecuta dentro de un único proceso de Python. Estima la memoria que ocupan los datos una vez expandidos, no solo el tamaño del archivo comprimido, y monitorea el proceso durante cargas representativas. Que una lectura del tamaño de un tutorial funcione no demuestra que una entrega de varios gigabytes sea segura en producción.

Etiquetas

  • Python
  • pandas
  • DataFrames
  • CSV
  • Conjunto de datos