Python

Cómo combinar DataFrames con merge y join en pandas

Combina DataFrames de pandas de forma segura con cardinalidad explícita, comprobación de claves sin correspondencia, indicadores y conciliación del número de filas.

Por JaviPublicado 12 min de lecturaIntermedio

Dos tablas DataFrame que se combinan mediante una clave compartida en un único resultado

Los joins son uno de los lugares donde es más fácil crear datos creíbles pero incorrectos. Un inner join puede eliminar en silencio transacciones sin correspondencia; las claves de referencia duplicadas pueden multiplicar importes; y un merge que termina sin errores puede seguir violando la granularidad prevista.

Problema

Necesitas enriquecer los pedidos con el nombre, el país y el segmento del cliente. La mayoría de los ID de cliente coinciden, pero dos filas de pedidos usan identificadores que no existen en el archivo de clientes. Además, el archivo de clientes contiene un duplicado exacto, que puede convertir una relación prevista de muchos a uno en un comportamiento de muchos a muchos.

Datasets utilizados

Usa el Customer Dataset y el Orders Dataset:

Las imperfecciones son intencionales para que el join produzca evidencias que valga la pena investigar.

Código: inspecciona las claves antes del merge

Python
from pathlib import Path

import pandas as pd

data = Path("data")
customers = pd.read_csv(data / "customers.csv")
orders = pd.read_csv(data / "orders.csv", parse_dates=["order_date"])

print("customer rows:", len(customers))
print("unique customer IDs:", customers["customer_id"].nunique())
print("order rows:", len(orders))

duplicate_customer_keys = customers.loc[
    customers.duplicated(subset=["customer_id"], keep=False)
].sort_values("customer_id")
print(duplicate_customer_keys)
Python16 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Hay que resolver la fila de cliente duplicada antes de afirmar que el lado de clientes es único. Como en este archivo de aprendizaje es un duplicado exacto, eliminar los duplicados exactos es una decisión defendible. En producción, las versiones en conflicto requieren una regla de supervivencia basada en marcas de tiempo, prioridad de origen o gobernanza.

Código: left join con validación de cardinalidad

Python
customer_dimension = (
    customers
    .drop_duplicates()
    [["customer_id", "customer_name", "country", "segment"]]
)

enriched_orders = orders.merge(
    customer_dimension,
    on="customer_id",
    how="left",
    validate="many_to_one",
    indicator=True,
)

print(enriched_orders["_merge"].value_counts())
assert len(enriched_orders) == len(orders)
Python16 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

El left join conserva todos los pedidos. validate="many_to_one" establece que muchos pedidos pueden hacer referencia a un mismo cliente, mientras que cada clave de cliente debe aparecer como máximo una vez a la derecha. Si ese contrato no se cumple, pandas lanza un error en lugar de multiplicar filas en silencio.

Resultado

El indicador del merge distingue las filas con y sin correspondencia:

Valor de _merge Significado
both El ID de cliente existe en ambos DataFrames
left_only El pedido se conserva, pero no coincidió ningún cliente
right_only Posible con outer o right joins, no con este left join

Inspecciona las excepciones en lugar de rellenar de inmediato los atributos del cliente.

Python
unmatched_orders = enriched_orders.loc[
    enriched_orders["_merge"].eq("left_only"),
    ["order_id", "customer_id", "order_date", "status"],
]

print(unmatched_orders)
Python6 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Los ID de cliente sin correspondencia son referencias incorrectas controladas. Según el pipeline, podrías poner esos pedidos en cuarentena, conservarlos con un miembro de dimensión Unknown o hacer fallar la carga por encima de un umbral de tolerancia. Un inner join ocultaría el problema y reduciría el número de pedidos.

Explicación: elige el join según la salida que necesitas

Usa un left join cuando debas conservar toda la población del lado izquierdo, por ejemplo, para mantener todos los pedidos y enriquecer los clientes disponibles. Usa un inner join cuando se requieran explícitamente solo los pares con correspondencia. Un outer join es útil para conciliar, porque expone las claves presentes en cualquiera de los dos lados.

pandas también admite joins sobre claves con nombres distintos:

Python
result = orders.merge(
    customer_dimension,
    left_on="customer_id",
    right_on="customer_id",
    how="left",
    validate="many_to_one",
)
Python7 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Para claves compuestas, pasa listas a on, left_on y right_on. Confirma que los tipos de datos coinciden antes del merge. Un identificador numérico en un lado y uno de texto en el otro puede fallar o provocar una coerción insegura. Conserva los ceros a la izquierda cuando formen parte de un identificador y no de un número.

Después de un merge, concilia el número de filas, las claves de negocio distintas, la tasa de correspondencia y las medidas importantes. El número de filas por sí solo no basta: una referencia duplicada puede multiplicar un subconjunto mientras se pierde otro.

Python
match_rate = enriched_orders["_merge"].eq("both").mean()
print(f"customer match rate: {match_rate:.1%}")
print("distinct orders before:", orders["order_id"].nunique())
print("distinct orders after:", enriched_orders["order_id"].nunique())
Python4 líneasCelda de ejemplo de solo lectura. Nada en esta página ejecuta código.

Errores comunes

  • Usar por defecto un inner join y descartar en silencio los hechos sin correspondencia.
  • Hacer el merge antes de comprobar la unicidad de las claves.
  • Omitir validate aunque se conozca la cardinalidad.
  • Rellenar los campos de dimensión faltantes antes de medir la calidad de la correspondencia.
  • Combinar columnas con tipos incompatibles o normalización inconsistente.
  • Seleccionar todas las columnas del lado derecho y crear sufijos ambiguos.
  • Comprobar solo el número final de filas y no conciliar claves ni medidas.

Pruébalo tú mismo

Primero, intenta el merge de muchos a uno sin eliminar la fila de cliente duplicada y observa el error de validación. Después, resuelve solo los duplicados exactos y vuelve a ejecutarlo. Genera un informe de dos filas con los clientes sin correspondencia y calcula el porcentaje de coincidencia.

A continuación, descarga el Products Dataset y enriquece los pedidos con el nombre y la categoría del producto mediante otro left join de muchos a uno validado. Encuentra la clave de producto que no tiene correspondencia a propósito. Por último, compara el número de filas del inner join y del left join y explica qué resultado es aceptable para informar ingresos y cuál es útil para monitorear la calidad de los datos. GroupBy y agregaciones en pandas usa este enriquecimiento para resumir los ingresos por categoría.

Notas para producción

Las métricas de los joins merecen un monitoreo de primer nivel. Registra las filas de la izquierda, las de la derecha, las de salida, las filas con correspondencia, las claves sin correspondencia de cada lado y el número de claves duplicadas antes de la ejecución. Compara esos valores con un rango normal. Un merge que termina sin excepciones puede representar igualmente un cambio grave en el origen si la tasa de correspondencia cae del 99,9 % al 80 %.

Normaliza las claves antes del join solo mediante una regla aprobada. Eliminar espacios o unificar mayúsculas y minúsculas puede ser adecuado para códigos, pero también puede fusionar identificadores realmente distintos. Conserva las claves originales cuando introduzcas versiones normalizadas para poder rastrear las excepciones hasta los registros de origen.

Los joins grandes pueden crear una cantidad considerable de memoria temporal. Selecciona solo las columnas necesarias, resuelve pronto la unicidad del lado derecho y estima la granularidad de la salida. Si ambos lados contienen claves repetidas, calcula la multiplicación potencial antes del merge. En los pipelines que deben conservar los registros incorrectos, escribe las filas sin correspondencia en una salida de revisión con el identificador de ejecución y el motivo, en lugar de limitarte a imprimirlas en una consola transitoria.

Etiquetas

  • Python
  • pandas
  • DataFrames
  • CSV
  • Conjunto de datos