Python
Cómo combinar DataFrames con merge y join en pandas
Combina DataFrames de pandas de forma segura con cardinalidad explícita, comprobación de claves sin correspondencia, indicadores y conciliación del número de filas.
En este artículo
Los joins son uno de los lugares donde es más fácil crear datos creíbles pero incorrectos. Un inner join puede eliminar en silencio transacciones sin correspondencia; las claves de referencia duplicadas pueden multiplicar importes; y un merge que termina sin errores puede seguir violando la granularidad prevista.
Problema
Necesitas enriquecer los pedidos con el nombre, el país y el segmento del cliente. La mayoría de los ID de cliente coinciden, pero dos filas de pedidos usan identificadores que no existen en el archivo de clientes. Además, el archivo de clientes contiene un duplicado exacto, que puede convertir una relación prevista de muchos a uno en un comportamiento de muchos a muchos.
Datasets utilizados
Usa el Customer Dataset y el Orders Dataset:
Las imperfecciones son intencionales para que el join produzca evidencias que valga la pena investigar.
Código: inspecciona las claves antes del merge
from pathlib import Path
import pandas as pd
data = Path("data")
customers = pd.read_csv(data / "customers.csv")
orders = pd.read_csv(data / "orders.csv", parse_dates=["order_date"])
print("customer rows:", len(customers))
print("unique customer IDs:", customers["customer_id"].nunique())
print("order rows:", len(orders))
duplicate_customer_keys = customers.loc[
customers.duplicated(subset=["customer_id"], keep=False)
].sort_values("customer_id")
print(duplicate_customer_keys)Hay que resolver la fila de cliente duplicada antes de afirmar que el lado de clientes es único. Como en este archivo de aprendizaje es un duplicado exacto, eliminar los duplicados exactos es una decisión defendible. En producción, las versiones en conflicto requieren una regla de supervivencia basada en marcas de tiempo, prioridad de origen o gobernanza.
Código: left join con validación de cardinalidad
customer_dimension = (
customers
.drop_duplicates()
[["customer_id", "customer_name", "country", "segment"]]
)
enriched_orders = orders.merge(
customer_dimension,
on="customer_id",
how="left",
validate="many_to_one",
indicator=True,
)
print(enriched_orders["_merge"].value_counts())
assert len(enriched_orders) == len(orders)El left join conserva todos los pedidos. validate="many_to_one" establece que muchos pedidos pueden hacer referencia a un mismo cliente, mientras que cada clave de cliente debe aparecer como máximo una vez a la derecha. Si ese contrato no se cumple, pandas lanza un error en lugar de multiplicar filas en silencio.
Resultado
El indicador del merge distingue las filas con y sin correspondencia:
Valor de _merge |
Significado |
|---|---|
both |
El ID de cliente existe en ambos DataFrames |
left_only |
El pedido se conserva, pero no coincidió ningún cliente |
right_only |
Posible con outer o right joins, no con este left join |
Inspecciona las excepciones en lugar de rellenar de inmediato los atributos del cliente.
unmatched_orders = enriched_orders.loc[
enriched_orders["_merge"].eq("left_only"),
["order_id", "customer_id", "order_date", "status"],
]
print(unmatched_orders)Los ID de cliente sin correspondencia son referencias incorrectas controladas. Según el pipeline, podrías poner esos pedidos en cuarentena, conservarlos con un miembro de dimensión Unknown o hacer fallar la carga por encima de un umbral de tolerancia. Un inner join ocultaría el problema y reduciría el número de pedidos.
Explicación: elige el join según la salida que necesitas
Usa un left join cuando debas conservar toda la población del lado izquierdo, por ejemplo, para mantener todos los pedidos y enriquecer los clientes disponibles. Usa un inner join cuando se requieran explícitamente solo los pares con correspondencia. Un outer join es útil para conciliar, porque expone las claves presentes en cualquiera de los dos lados.
pandas también admite joins sobre claves con nombres distintos:
result = orders.merge(
customer_dimension,
left_on="customer_id",
right_on="customer_id",
how="left",
validate="many_to_one",
)Para claves compuestas, pasa listas a on, left_on y right_on. Confirma que los tipos de datos coinciden antes del merge. Un identificador numérico en un lado y uno de texto en el otro puede fallar o provocar una coerción insegura. Conserva los ceros a la izquierda cuando formen parte de un identificador y no de un número.
Después de un merge, concilia el número de filas, las claves de negocio distintas, la tasa de correspondencia y las medidas importantes. El número de filas por sí solo no basta: una referencia duplicada puede multiplicar un subconjunto mientras se pierde otro.
match_rate = enriched_orders["_merge"].eq("both").mean()
print(f"customer match rate: {match_rate:.1%}")
print("distinct orders before:", orders["order_id"].nunique())
print("distinct orders after:", enriched_orders["order_id"].nunique())Errores comunes
- Usar por defecto un inner join y descartar en silencio los hechos sin correspondencia.
- Hacer el merge antes de comprobar la unicidad de las claves.
- Omitir
validateaunque se conozca la cardinalidad. - Rellenar los campos de dimensión faltantes antes de medir la calidad de la correspondencia.
- Combinar columnas con tipos incompatibles o normalización inconsistente.
- Seleccionar todas las columnas del lado derecho y crear sufijos ambiguos.
- Comprobar solo el número final de filas y no conciliar claves ni medidas.
Pruébalo tú mismo
Primero, intenta el merge de muchos a uno sin eliminar la fila de cliente duplicada y observa el error de validación. Después, resuelve solo los duplicados exactos y vuelve a ejecutarlo. Genera un informe de dos filas con los clientes sin correspondencia y calcula el porcentaje de coincidencia.
A continuación, descarga el Products Dataset y enriquece los pedidos con el nombre y la categoría del producto mediante otro left join de muchos a uno validado. Encuentra la clave de producto que no tiene correspondencia a propósito. Por último, compara el número de filas del inner join y del left join y explica qué resultado es aceptable para informar ingresos y cuál es útil para monitorear la calidad de los datos. GroupBy y agregaciones en pandas usa este enriquecimiento para resumir los ingresos por categoría.
Notas para producción
Las métricas de los joins merecen un monitoreo de primer nivel. Registra las filas de la izquierda, las de la derecha, las de salida, las filas con correspondencia, las claves sin correspondencia de cada lado y el número de claves duplicadas antes de la ejecución. Compara esos valores con un rango normal. Un merge que termina sin excepciones puede representar igualmente un cambio grave en el origen si la tasa de correspondencia cae del 99,9 % al 80 %.
Normaliza las claves antes del join solo mediante una regla aprobada. Eliminar espacios o unificar mayúsculas y minúsculas puede ser adecuado para códigos, pero también puede fusionar identificadores realmente distintos. Conserva las claves originales cuando introduzcas versiones normalizadas para poder rastrear las excepciones hasta los registros de origen.
Los joins grandes pueden crear una cantidad considerable de memoria temporal. Selecciona solo las columnas necesarias, resuelve pronto la unicidad del lado derecho y estima la granularidad de la salida. Si ambos lados contienen claves repetidas, calcula la multiplicación potencial antes del merge. En los pipelines que deben conservar los registros incorrectos, escribe las filas sin correspondencia en una salida de revisión con el identificador de ejecución y el motivo, en lugar de limitarte a imprimirlas en una consola transitoria.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Sigue aprendiendo
- Guía rápidaCombinar DataFrames con merge y joinCombina DataFrames de pandas de forma segura validando claves, cardinalidad, comportamiento de los nulos, multiplicación por duplicados y cambios en el número de filas antes de confiar en el resultado.Abrir guía rápida
- Hoja de rutaPython DataFrames for Data EngineeringCombina DataFrames de pandas de forma segura con cardinalidad explícita, comprobación de claves sin correspondencia, indicadores y conciliación del número de filas.Ver hoja de ruta
¿Qué debería crear después?
Estoy construyendo Javi Builds alrededor de problemas reales que enfrentan los ingenieros de datos. Dime qué tema te gustaría ver después.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.