Explorar guías rápidas · Ingeniería de datos
Procesamiento batch vs streaming
Elige entre procesamiento de datos batch y streaming comparando latencia, corrección, complejidad operativa, costo, reproducción, estado y recuperación ante fallos en cargas de trabajo de producción reales.
En esta página
- Problema
- Respuesta rápida
- Código / comandos
- 1. Patrón de procesamiento batch
- 2. Patrón de procesamiento en streaming
- 3. El micro-batch sigue siendo streaming
- 4. Batch no significa necesariamente «una vez al día»
- 5. Define el requisito de latencia antes de elegir la arquitectura
- 6. Ventana de lote acotada
- 7. Añade un desempate cuando las marcas de tiempo no son únicas
- 8. Ejemplo de watermark batch
- 9. Nunca avances un watermark batch antes del éxito
- 10. Ejemplo de checkpoint de streaming
- 11. Conserva los eventos de origen de forma duradera cuando sea posible
- 12. Separa la ingesta de la transformación de negocio
- 13. Streaming no significa «sin almacenamiento»
- 14. Procesamiento por tiempo de evento
- 15. Datos que llegan tarde
- 16. En streaming, los watermarks no son lo mismo que los checkpoints batch
- 17. No elijas un umbral de retraso arbitrario
- 18. Agregación por ventanas en streaming
- 19. Los joins en streaming requieren estado
- 20. Los joins entre tabla estática y flujo son más sencillos
- 21. Deduplica los eventos de streaming por un ID de evento duradero
- 22. Los destinos idempotentes reducen el riesgo de los reintentos
- 23. Las promesas de «exactly once» requieren un alcance preciso
- 24. La entrega «at-least-once» es habitual
- 25. Las reejecuciones batch también necesitan idempotencia
- 26. Batch con recarga completa
- 27. Batch incremental
- 28. Change Data Capture puede alimentar cualquiera de los dos modelos
- 29. Un origen de eventos no requiere un consumidor en streaming
- 30. Los archivos no requieren una arquitectura solo batch
- 31. Usa batch desencadenado cuando la latencia lo permita
- 32. El streaming es útil para decisiones operativas
- 33. El batch suele bastar para la analítica
- 34. No uses streaming solo para paneles sin un requisito de latencia
- 35. El batch es más fácil de reproducir
- 36. El backfill debe coexistir con el streaming
- 37. Usa controles de backfill separados
- 38. Los fallos batch están acotados de forma natural
- 39. Los fallos en streaming pueden acumular retraso
- 40. El retraso es una métrica central de salud del streaming
- 41. El rendimiento debe superar la tasa de llegada sostenida
- 42. La gestión de ráfagas importa
- 43. El batch también sufre presión en las ventanas de pico
- 44. El streaming puede trasladar carga aguas abajo de forma continua
- 45. El micro-batching puede proteger los sistemas aguas abajo
- 46. Evita una llamada a una API externa por evento con volúmenes altos
- 47. El estado del streaming puede crecer mucho
- 48. El batch también tiene estado, pero suele ser explícito
- 49. Registra los metadatos de ejecución de los lotes
- 50. Registra los metadatos de ejecución del streaming
- 51. Prefiere transformaciones deterministas
- 52. Registra el tiempo de procesamiento por separado del tiempo de evento
- 53. Separa la frescura de negocio de la latencia del pipeline
- 54. Puede que el orden de los eventos no esté garantizado globalmente
- 55. La clave de partición afecta al orden y a la escala del streaming
- 56. Evita una única clave caliente
- 57. El particionamiento batch también afecta al rendimiento
- 58. Los esquemas de streaming también evolucionan
- 59. La deriva de esquema en batch es más fácil de poner en cuarentena
- 60. Usa con cuidado los patrones de dead-letter/cuarentena
- 61. No dejes que un solo registro incorrecto detenga todo el flujo sin necesidad
- 62. Los costos del streaming no son solo de cómputo
- 63. Los costos del batch no son automáticamente menores
- 64. El costo sigue al trabajo realizado
- 65. Batch y streaming pueden compartir transformaciones
- 66. Construye una ruta de reproducción para la lógica de streaming
- 67. La arquitectura Lambda duplica la lógica
- 68. El enfoque tipo Kappa pone el énfasis en flujos reproducibles
- 69. No conviertas las etiquetas de arquitectura en objetivos de diseño
- 70. Usa una arquitectura híbrida cuando los requisitos difieran
- 71. Usa streaming para la señal temprana y batch para la conciliación
- 72. La conciliación debe ser deliberada
- 73. Define la semántica de la fuente de verdad
- 74. Los contratos de datos importan más en streaming
- 75. El streaming requiere un monitoreo operativo más riguroso
- 76. El monitoreo batch debe comprobar la completitud
- 77. Define la recuperación antes de producción
- 78. Prueba los escenarios de fallo
- 79. El streaming no siempre es «tiempo real»
- 80. Elige la arquitectura más sencilla que cumpla el requisito
- Qué significa el resultado
- Qué revisar
- El trabajo de streaming está en ejecución, pero los datos están desactualizados
- El batch termina, pero los datos están incompletos
- El estado del streaming no deja de crecer
- El backfill crea duplicados
- El pipeline se queda atrás repetidamente durante los picos
- Los batches frecuentes cumplen el SLA con holgura
- Notas de producción
- La latencia es un requisito de negocio, no una característica tecnológica
- La capacidad de reproducción es crítica
- El streaming aumenta el estado operativo
- Los sistemas aguas abajo pueden condicionar la elección
- El costo y la complejidad deben medirse juntos
- Lo híbrido es normal
- Errores comunes
- 1. Elegir streaming porque el origen es Kafka/Event Hub
- 2. Decir que un batch horario «no es lo bastante en tiempo real» sin un SLA
- 3. Suponer que el streaming elimina los duplicados
- 4. Suponer que el streaming ofrece consistencia de snapshot
- 5. Avanzar los watermarks batch antes de que las escrituras tengan éxito
- 6. Usar marcas de tiempo sin desempate
- 7. Ignorar los eventos tardíos/fuera de orden
- 8. Dejar que el estado del streaming crezca sin límites
- 9. Tratar los checkpoints de streaming como archivos temporales desechables
- 10. Construir streaming sin un plan de reproducción/backfill
- Siguiente paso
- Para profundizar
Problema
Necesitas mover o transformar datos, pero la decisión de arquitectura no está clara:
¿Debería ejecutarse cada pocos minutos u horas como batch?
¿O los eventos deberían procesarse de forma continua a medida que llegan?
Una mala elección puede generar innecesariamente:
- latencia
- complejidad operativa
- costo
- procesamiento duplicado
- problemas de gestión del estado
- dificultades de recuperación
- presión sobre los sistemas aguas abajo
El objetivo es elegir el modelo de procesamiento más sencillo que cumpla los requisitos reales de latencia y corrección del negocio.
Respuesta rápida
Usa este modelo de decisión:
Son aceptables minutos u horas de latencia
→ el batch suele ser más sencillo
Los datos deben procesarse de forma continua con baja latencia
→ el streaming puede ser adecuado
Se necesita una reproducción fácil y un recálculo determinista
→ el batch suele ser más fácil
Se necesitan alertas inmediatas, detección de fraude, telemetría o estado operativo en vivo
→ el streaming puede estar justificado
Se necesitan tanto corrección histórica como baja latencia
→ combinar la ingesta en streaming con almacenamiento duradero y rutas batch/backfill reproducibles
Una regla útil:
No elijas streaming porque el origen emita eventos.
Elige streaming porque el negocio necesita procesamiento continuo.
Código / comandos
1. Patrón de procesamiento batch
Flujo típico:
origen
→ depositar los datos sin procesar
→ procesar un conjunto de datos acotado
→ escribir la salida depurada
→ registrar un checkpoint de finalización
Ejemplo de pseudoflujo de trabajo:
start = get_last_successful_watermark()
end = get_current_cutoff()
df = read_source(
start_time=start,
end_time=end,
)
clean = transform(df)
validate(clean)
write_output(clean)
save_watermark(end)
La propiedad importante es que el rango de entrada está acotado.
2. Patrón de procesamiento en streaming
Flujo típico:
origen de eventos
→ ingerir de forma continua
→ procesar registros/micro-batches
→ mantener el estado/los checkpoints
→ escribir la salida de forma continua
Ejemplo conceptual con Spark Structured Streaming:
events = (
spark.readStream
.format("delta")
.table("bronze_events")
)
clean = (
events
.filter("event_type IS NOT NULL")
.select(
"event_id",
"event_time",
"event_type",
"customer_id",
)
)
query = (
clean.writeStream
.format("delta")
.option("checkpointLocation", "/checkpoints/silver_events")
.outputMode("append")
.toTable("silver_events")
)
El streaming requiere un diseño duradero de checkpoints y estado, no solo un bucle que se ejecuta continuamente.
3. El micro-batch sigue siendo streaming
Muchos motores de streaming en producción procesan los eventos como pequeños lotes repetidos.
Conceptualmente:
los eventos llegan de forma continua
→ cada intervalo corto, el motor procesa los datos nuevos
→ el checkpoint avanza
Sigue siendo una arquitectura de streaming porque el pipeline es incremental de forma continua.
4. Batch no significa necesariamente «una vez al día»
Un batch puede ejecutarse:
cada 5 minutos
cada 15 minutos
cada hora
cada noche
al llegar un archivo
bajo demanda
Si una latencia de cinco minutos cumple el requisito, un batch pequeño y frecuente puede ser más sencillo que una plataforma de streaming completa.
5. Define el requisito de latencia antes de elegir la arquitectura
Escribe el requisito de forma explícita:
Nueva transacción visible en analítica en menos de:
15 minutos
o:
Alerta de fraude generada en menos de:
5 segundos
No empieces con:
Deberíamos usar Kafka/Spark Streaming porque es moderno.
La arquitectura debe seguir al SLA del negocio.
6. Ventana de lote acotada
Un batch robusto suele definir:
[start, end)
Ejemplo:
WHERE event_time >= @start_time
AND event_time < @end_time
Las ventanas semiabiertas evitan el solapamiento entre lotes adyacentes cuando las marcas de tiempo son el límite incremental.
7. Añade un desempate cuando las marcas de tiempo no son únicas
Estado incremental incorrecto:
last_processed_timestamp
si miles de filas pueden compartir la misma marca de tiempo.
Mejor estado:
last_processed_timestamp
+
last_processed_id
o usa una secuencia/versión proporcionada por el origen.
8. Ejemplo de watermark batch
Checkpoint:
{
"lastSuccessfulEnd": "2026-10-04T14:00:00Z"
}
Siguiente lote:
start = 2026-10-04T14:00:00Z
end = 2026-10-04T15:00:00Z
Avanza el watermark solo después de que el procesamiento duradero tenga éxito.
9. Nunca avances un watermark batch antes del éxito
Incorrecto:
guardar el watermark
→ procesar los datos
→ el pipeline falla
El intervalo fallido puede omitirse en el reintento.
Más seguro:
leer una entrada acotada
→ transformar
→ validar
→ escribir de forma duradera
→ persistir el watermark
10. Ejemplo de checkpoint de streaming
El checkpoint de un motor de streaming suele registrar:
los offsets del origen
el progreso
los metadatos del almacén de estado
la información de commit del destino
El almacenamiento de checkpoints debe ser duradero y estar aislado por cada flujo lógico.
No apuntes trabajos de streaming no relacionados a la misma ubicación de checkpoint.
11. Conserva los eventos de origen de forma duradera cuando sea posible
Patrón útil:
bus de eventos / origen
→ capa Bronze/sin procesar duradera
→ transformación en streaming
Los datos sin procesar duraderos permiten:
- reproducir
- hacer backfill
- depurar
- reconstruir el estado aguas abajo
El streaming sin capacidad de reproducción hace mucho más difícil la recuperación en producción.
12. Separa la ingesta de la transformación de negocio
Una arquitectura sólida suele usar:
Eventos de origen
→ ingesta duradera
→ transformación
→ publicación para consumo
No pongas todas las reglas de negocio en la capa de ingesta si eso impide reproducir más adelante los datos sin procesar del origen.
13. Streaming no significa «sin almacenamiento»
Los sistemas de streaming siguen necesitando estado duradero para:
- offsets
- checkpoints
- deduplicación
- ventanas
- joins
- estado de agregación
- reproducción/backfill
El cómputo continuo aumenta la importancia de la gestión del estado.
14. Procesamiento por tiempo de evento
La lógica de streaming a menudo debería usar:
event_time
en lugar de solo:
processing_time
Ejemplo:
event_time
→ cuándo ocurrió realmente el evento de negocio
processing_time
→ cuándo lo recibió/procesó el motor
Pueden diferir considerablemente.
15. Datos que llegan tarde
Ejemplo:
el evento ocurrió a las 10:00
el evento llegó a las 10:12
Un sistema de streaming debe decidir:
¿aceptar el evento tardío?
¿actualizar el resultado anterior?
¿descartarlo?
¿enviarlo a cuarentena?
Es una decisión de corrección de negocio.
16. En streaming, los watermarks no son lo mismo que los checkpoints batch
En el streaming por tiempo de evento, un watermark suele expresar cuánto retraso respecto al tiempo de evento espera el motor que puedan tener los datos tardíos.
Conceptualmente:
tiempo de evento máximo observado
-
retraso permitido
El motor puede usar ese límite para limpiar el estado antiguo.
La semántica exacta depende del motor de streaming.
17. No elijas un umbral de retraso arbitrario
Usa evidencia del origen y del negocio.
Preguntas de ejemplo:
¿Con cuánto retraso pueden llegar los eventos?
¿Con cuánto retraso llegan realmente en producción?
¿Se pueden actualizar las ventanas antiguas?
¿Qué consumidores aguas abajo esperan correcciones?
No inventes un watermark universal de cinco minutos o de una hora.
18. Agregación por ventanas en streaming
Ejemplo conceptual en PySpark:
from pyspark.sql import functions as F
agg = (
events
.withWatermark("event_time", "30 minutes")
.groupBy(
F.window("event_time", "5 minutes"),
"merchant_id",
)
.agg(
F.count("*").alias("event_count")
)
)
Úsalo solo cuando una política de retraso de 30 minutos sea realmente adecuada para el origen y el negocio.
El número anterior es ilustrativo, no una recomendación universal.
19. Los joins en streaming requieren estado
Hacer join de dos flujos no acotados puede requerir mantener estado histórico.
Ejemplo:
flujo de pedidos
JOIN
flujo de pagos
Sin reglas que acoten el tiempo/el estado, el estado puede crecer indefinidamente.
Usa:
- restricciones de tiempo de evento
- watermarks
- ventanas de correspondencia acotadas
cuando el motor las requiera o las admita.
20. Los joins entre tabla estática y flujo son más sencillos
Patrón común:
flujo de eventos
JOIN
tabla pequeña de referencia/dimensión
Suele ser más sencillo que los joins entre flujos.
Pero decide cómo se hacen visibles los cambios en los datos de referencia:
- recarga
- actualización
- actualización por broadcast
- tabla versionada
21. Deduplica los eventos de streaming por un ID de evento duradero
Conceptualmente:
event_id = identificador de evento de origen estable a nivel global
Así, la deduplicación puede razonar sobre reproducciones y reintentos.
Evita generar un nuevo ID de evento aleatorio cada vez que se vuelve a procesar un evento.
22. Los destinos idempotentes reducen el riesgo de los reintentos
Un pipeline es más fácil de recuperar cuando escribir dos veces el mismo registro lógico no corrompe el estado.
Ejemplos:
MERGE por clave de negocio/evento
upsert por ID estable
append transaccional con deduplicación aguas abajo
No dependas de que «el evento solo llegará una vez».
23. Las promesas de «exactly once» requieren un alcance preciso
«Exactly once» (exactamente una vez) puede referirse a:
el procesamiento de offsets del origen
la actualización del estado
el commit en el destino
el efecto secundario de negocio
No son automáticamente idénticos.
Por ejemplo:
el flujo escribe la fila exactamente una vez
no significa:
el correo electrónico se envía exactamente una vez
Diseña por separado los efectos secundarios externos.
24. La entrega «at-least-once» es habitual
Un reintento puede entregar/procesar de nuevo el mismo evento.
La lógica aguas abajo debería tolerarlo siempre que sea posible.
Usa identificadores estables e idempotencia.
25. Las reejecuciones batch también necesitan idempotencia
El batch no es automáticamente seguro.
Una mala reejecución:
INSERT de todo el intervalo otra vez
puede duplicar la salida.
Opciones más seguras:
sobrescribir una partición acotada
MERGE por clave
eliminar/reconstruir un intervalo controlado
append con ID de lote/evento deterministas
Elige según la semántica de la tabla.
26. Batch con recarga completa
Patrón:
leer todo el origen
→ reconstruir todo el destino
Útil cuando:
- el conjunto de datos es lo bastante pequeño
- la lógica cambia a menudo
- una corrección sencilla importa más que la optimización incremental
No implementes una CDC compleja si una reconstrucción completa segura es barata.
27. Batch incremental
Patrón:
watermark
→ leer solo los datos modificados/nuevos
→ hacer merge en el destino
Útil cuando la recarga completa se vuelve demasiado cara.
El diseño incremental añade complejidad de estado y de recuperación.
28. Change Data Capture puede alimentar cualquiera de los dos modelos
CDC no implica automáticamente streaming.
Los registros de CDC pueden procesarse:
de forma continua
o:
en lotes periódicos
Elige el modo de consumo según el requisito de latencia.
29. Un origen de eventos no requiere un consumidor en streaming
Ejemplo:
origen Kafka / Event Hub / Kinesis
puede consumirse igualmente hacia un almacenamiento duradero y procesarse periódicamente.
No dejes que la tecnología del origen dicte automáticamente la arquitectura aguas abajo.
30. Los archivos no requieren una arquitectura solo batch
Los eventos de llegada de archivos pueden desencadenar un procesamiento casi en tiempo real.
La arquitectura puede ser:
llega un archivo
→ desencadenador de evento
→ procesamiento acotado
Esto es batch impulsado por eventos, no necesariamente streaming continuo.
31. Usa batch desencadenado cuando la latencia lo permita
Ejemplo:
se deposita un archivo nuevo
→ el orquestador desencadena el pipeline
→ procesar solo ese archivo/lote
Esto puede ofrecer baja latencia sin ejecutar continuamente un motor de streaming.
32. El streaming es útil para decisiones operativas
Buenos candidatos:
detección de fraude
alertas de telemetría de dispositivos
eventos de seguridad
personalización en vivo
paneles operativos en tiempo real
señales de inventario
Estos casos de uso pierden valor cuando se procesan demasiado tarde.
33. El batch suele bastar para la analítica
Buenos candidatos:
informes financieros diarios
agregados de negocio por hora
transformaciones del data warehouse
extracciones regulatorias
características históricas para modelos
backfills
Si el consumidor no necesita datos inmediatos, el batch suele reducir la carga operativa.
34. No uses streaming solo para paneles sin un requisito de latencia
Pregúntate:
¿Este panel necesita de verdad una frescura de 2 segundos?
Si una frescura de 5 a 15 minutos es aceptable, un batch incremental frecuente puede ser más sencillo y barato.
35. El batch es más fácil de reproducir
Patrón de reproducción:
elegir un intervalo histórico
→ volver a ejecutar la transformación
→ comparar la salida
Esto es valioso al:
- corregir defectos
- cambiar la lógica de negocio
- reconstruir el historial
Los sistemas de streaming deben conservar una capacidad de reproducción equivalente si importa la corrección del historial.
36. El backfill debe coexistir con el streaming
Requisito habitual de producción:
el flujo en vivo procesa hoy
mientras
el backfill repara el mes pasado
Diseña para:
- conflictos de escritura
- claves duplicadas
- solapamiento de particiones
- actualizaciones aguas abajo
- contención de recursos
No supongas que nunca habrá backfills.
37. Usa controles de backfill separados
Ejemplo:
checkpoint en vivo
!=
checkpoint de backfill
Un backfill histórico no debe hacer retroceder el checkpoint del flujo en vivo ni sobrescribir su estado por accidente.
38. Los fallos batch están acotados de forma natural
Si falla el lote horario de 14:00–15:00:
volver a ejecutar 14:00–15:00
El alcance del fallo es fácil de razonar.
La recuperación en streaming puede implicar:
- offsets
- estado
- compatibilidad de checkpoints
- reproducción de eventos
- datos que llegan tarde
39. Los fallos en streaming pueden acumular retraso
Si el procesamiento se detiene:
los eventos siguen llegando
→ el trabajo acumulado (backlog) crece
La recuperación requiere capacidad suficiente para:
procesar las nuevas llegadas
+
ponerse al día con el backlog
Monitorea explícitamente el retraso (lag) y el backlog del consumidor.
40. El retraso es una métrica central de salud del streaming
Concepto útil:
última posición del origen
-
posición procesada por el consumidor
o su equivalente en tiempo.
Un trabajo de streaming en ejecución puede no estar sano si el retraso sigue aumentando.
41. El rendimiento debe superar la tasa de llegada sostenida
Si el origen produce:
10.000 eventos/s
y el pipeline procesa de forma sostenida:
8.000 eventos/s
el retraso crece indefinidamente.
No dimensiones el streaming solo para el tráfico medio si las cargas reales tienen picos sostenidos.
42. La gestión de ráfagas importa
Un flujo puede recibir normalmente poco tráfico, pero tener picos ocasionales.
Las opciones incluyen:
- búfer en un broker/almacenamiento duradero
- escalado automático
- escalado de particiones
- contrapresión (backpressure) acotada
- capacidad para ponerse al día
43. El batch también sufre presión en las ventanas de pico
Un batch nocturno puede competir con:
- usuarios del data warehouse
- copias de seguridad
- mantenimiento
- informes aguas abajo
El batch simplifica el estado del procesamiento, pero la programación y la contención de recursos siguen importando.
44. El streaming puede trasladar carga aguas abajo de forma continua
Una base de datos aguas abajo que soportaba:
un merge masivo cada hora
puede comportarse de forma diferente con:
pequeñas actualizaciones continuas
Evalúa los patrones de escritura aguas abajo.
Que haya streaming aguas arriba no garantiza que los sistemas aguas abajo estén preparados para escrituras constantes.
45. El micro-batching puede proteger los sistemas aguas abajo
En lugar de escribir cada evento de forma individual:
acumular en búfer durante un intervalo corto
→ escribir el lote
Esto puede reducir la sobrecarga por solicitud/transacción.
Elige el intervalo según la latencia y la capacidad del destino.
46. Evita una llamada a una API externa por evento con volúmenes altos
Patrón:
evento
→ solicitud HTTP
→ evento
→ solicitud HTTP
puede sobrecargar los servicios aguas abajo.
Considera:
- procesamiento por lotes
- colas
- limitación de tasa
- workers asíncronos
- procesamiento deduplicado de efectos secundarios
47. El estado del streaming puede crecer mucho
Las operaciones con estado incluyen:
- ventanas
- deduplicación
- joins entre flujos
- sesionización
Si el estado no está acotado, la presión sobre la memoria/el almacenamiento puede crecer continuamente.
Usa una semántica de retención/watermark adecuada.
48. El batch también tiene estado, pero suele ser explícito
Ejemplos:
tabla de watermarks
manifiesto de archivos procesados
ID de lote
high-water mark
Persiste el estado de forma transaccional cuando sea posible.
49. Registra los metadatos de ejecución de los lotes
Campos útiles:
batch_id
start_watermark
end_watermark
start_time
end_time
row_count
status
source_version
code_version
Esto facilita la reproducción y el análisis de incidentes.
50. Registra los metadatos de ejecución del streaming
Señales útiles:
checkpoint
offset del origen
filas procesadas/s
filas de entrada/s
retraso (lag)
tamaño del estado
duración del lote
lote fallido
commit en el destino
Las métricas exactas dependen de la plataforma.
51. Prefiere transformaciones deterministas
Con la misma entrada:
mismo código
+
mismos datos/versión de referencia
→ misma salida
Esto hace que la reproducción sea más segura.
Evita dependencias ocultas de la hora actual o de un estado de búsqueda mutable, salvo que sean intencionadas.
52. Registra el tiempo de procesamiento por separado del tiempo de evento
Columnas útiles:
event_time
ingestion_time
processed_time
Ayudan a responder:
¿Cuándo ocurrió el evento?
¿Cuándo lo recibió la plataforma?
¿Cuándo terminó la transformación?
53. Separa la frescura de negocio de la latencia del pipeline
Ejemplo:
el pipeline procesó el evento en 5 segundos
pero el propio origen lo entregó con 20 minutos de retraso.
La latencia de tu pipeline es baja, pero la frescura de los datos de negocio no lo es.
Monitorea ambas.
54. Puede que el orden de los eventos no esté garantizado globalmente
Los orígenes distribuidos pueden preservar el orden solo:
- dentro de una partición
- dentro de una clave
- dentro de una sesión de productor
No supongas un orden global salvo que el origen lo garantice.
55. La clave de partición afecta al orden y a la escala del streaming
Una clave de partición controla:
la distribución
el paralelismo
el orden por clave
las particiones calientes
Una mala clave puede crear skew.
56. Evita una única clave caliente
Ejemplo:
partition_key = "all_events"
obliga a que todos los eventos pasen por una sola partición/clave.
Elige una clave alineada con:
- el orden requerido
- la distribución de la carga
- la semántica de los consumidores
57. El particionamiento batch también afecta al rendimiento
Un batch puede ser ineficiente si todo el trabajo cae en:
- un solo archivo
- una sola partición
- un solo intervalo de fechas
- un solo tenant
Particiona según los patrones reales de acceso y procesamiento.
58. Los esquemas de streaming también evolucionan
Los eventos pueden añadir/cambiar campos con el tiempo.
Diseña:
- compatibilidad de esquemas
- valores predeterminados
- adiciones que admiten nulos
- control de versiones
- cuarentena para eventos no válidos
No supongas que los contratos de eventos se mantienen estáticos por ser en tiempo real.
59. La deriva de esquema en batch es más fácil de poner en cuarentena
Un archivo o lote fallido puede aislarse sin detener todo el procesamiento futuro si la orquestación está bien diseñada.
En streaming, los errores de esquema pueden detener o envenenar el procesamiento continuo si no se gestionan.
60. Usa con cuidado los patrones de dead-letter/cuarentena
Para los registros no válidos:
válido
→ ruta normal
no válido
→ cuarentena con motivo/contexto
No descartes en silencio los registros incorrectos si importan para la corrección del negocio.
61. No dejes que un solo registro incorrecto detenga todo el flujo sin necesidad
Cuando la semántica de la plataforma lo permita, aísla los eventos mal formados.
Pero no conviertas fallos graves de esquema/contrato en pérdida silenciosa de datos.
62. Los costos del streaming no son solo de cómputo
Ten en cuenta:
broker de eventos
almacenamiento de estado/checkpoints
cómputo continuo
red
monitoreo
soporte operativo
almacenamiento para reproducción
63. Los costos del batch no son automáticamente menores
Un análisis completo diario mal diseñado de datos masivos puede costar más que un streaming incremental.
Mide la carga de trabajo real.
64. El costo sigue al trabajo realizado
Pregunta útil:
¿Cuántos datos estamos leyendo, redistribuyendo (shuffle), almacenando y escribiendo?
no simplemente:
¿Es batch o streaming?
65. Batch y streaming pueden compartir transformaciones
Un diseño sólido separa:
la lógica de transformación de negocio
del
modo de ejecución
Cuando sea práctico, la misma lógica puede reutilizarse para:
- procesamiento incremental en vivo
- reproducción histórica
- pruebas
66. Construye una ruta de reproducción para la lógica de streaming
Ejemplo:
tabla Delta Bronze
→ lectura batch de un rango histórico
→ misma transformación Silver
Esto ayuda a:
- recuperarse de defectos
- reconstruir el estado
- validar cambios de lógica
67. La arquitectura Lambda duplica la lógica
La arquitectura Lambda clásica usa:
ruta batch
+
ruta rápida/de streaming
Esto puede generar duplicación operativa y lógica incoherente.
Úsala solo cuando esté justificada.
Los diseños modernos suelen preferir una única capa duradera de eventos/datos sin procesar más un procesamiento incremental/batch reutilizable.
68. El enfoque tipo Kappa pone el énfasis en flujos reproducibles
Conceptualmente:
registro de eventos duradero
→ procesamiento en streaming
→ reproducir cuando sea necesario
El requisito práctico no es la etiqueta de la arquitectura.
La capacidad importante es un historial del origen reproducible y un procesamiento determinista.
69. No conviertas las etiquetas de arquitectura en objetivos de diseño
No elijas:
Lambda
Kappa
tiempo real
impulsado por eventos
porque la etiqueta suena moderna.
Define:
latencia
corrección
reproducción
costo
comportamiento ante fallos
responsabilidad operativa
primero.
70. Usa una arquitectura híbrida cuando los requisitos difieran
Ejemplo:
streaming
→ alertas operativas
batch
→ totales financieros diarios de referencia
El mismo origen puede alimentar varias rutas de procesamiento cuando las necesidades del negocio difieren.
71. Usa streaming para la señal temprana y batch para la conciliación
Ejemplo:
flujo
→ panel casi en tiempo real
batch nocturno
→ recálculo/conciliación de referencia
Esto puede ser útil cuando la frescura del streaming importa, pero la corrección final requiere datos que llegan tarde o una conciliación con un origen de referencia.
72. La conciliación debe ser deliberada
Compara:
el agregado de streaming
vs
el agregado batch de referencia
Investiga las divergencias.
No trates la corrección por batch como un permiso para ignorar la calidad del streaming.
73. Define la semántica de la fuente de verdad
Pregúntate:
¿El registro de eventos sin procesar es la referencia?
¿La base de datos de origen es la referencia?
¿La extracción diaria es la referencia?
La recuperación y la conciliación dependen de esta respuesta.
74. Los contratos de datos importan más en streaming
Como los consumidores de streaming reaccionan rápido, los cambios incorrectos del productor se propagan rápido.
Usa:
- contratos de esquema
- control de versiones
- pruebas de compatibilidad
- despliegue gradual
75. El streaming requiere un monitoreo operativo más riguroso
Como mínimo, vigila:
¿el trabajo está activo?
tasa de entrada
tasa de procesamiento
retraso (lag)
progreso del checkpoint
crecimiento del estado
tasa de errores
fallos del destino
Un estado del proceso en verde no basta por sí solo.
76. El monitoreo batch debe comprobar la completitud
Vigila:
¿llegó el lote esperado?
¿el lote tuvo éxito?
¿el número de filas es plausible?
¿avanzó el watermark?
¿lote duplicado?
¿archivo tardío?
Que el programador haya completado una ejecución no garantiza que los datos estén completos.
77. Define la recuperación antes de producción
Para batch:
¿Cómo volvemos a ejecutar un solo intervalo?
Para streaming:
¿Cómo reproducimos desde un punto anterior?
¿Qué pasa con el estado?
¿Cómo evitamos efectos secundarios duplicados?
Si la recuperación no está definida, la arquitectura está incompleta.
78. Prueba los escenarios de fallo
Pruebas útiles:
un worker se cae a mitad del procesamiento
destino no disponible
evento duplicado
evento tardío
evento fuera de orden
cambio de esquema
checkpoint no disponible
un backfill se solapa con los datos en vivo
La resiliencia en producción debe demostrarse, no suponerse.
79. El streaming no siempre es «tiempo real»
La latencia real de extremo a extremo incluye:
retraso del origen
retraso del broker
retraso de procesamiento
retraso del destino
retraso de actualización del consumidor/la caché
Un motor de streaming por sí solo no garantiza una experiencia de usuario en tiempo real.
80. Elige la arquitectura más sencilla que cumpla el requisito
Orden de decisión:
1. Definir la frescura requerida
2. Definir las necesidades de corrección/reproducción
3. Definir el volumen esperado y el comportamiento ante ráfagas
4. Definir las capacidades aguas abajo
5. Definir el modelo de fallo/recuperación
6. Estimar la complejidad/el costo operativo
7. Elegir batch, streaming o híbrido
Qué significa el resultado
| Dimensión | Batch | Streaming |
|---|---|---|
| Entrada | Acotada | No acotada/continua |
| Latencia típica | De minutos a horas, pero puede ser frecuente | De segundos a minutos según la plataforma/el diseño |
| Estado | Watermarks/manifiestos/metadatos de lotes | Offsets/checkpoints/almacenes de estado/watermarks |
| Reproducción | Normalmente sencilla | Requiere un origen duradero + una estrategia de checkpoint/estado |
| Alcance de los fallos | Normalmente un intervalo acotado | Puede generar backlog/retraso y problemas de estado |
| Datos tardíos | Lote siguiente/de conciliación | A menudo se necesita una política explícita de tiempo de evento/retraso |
| Complejidad operativa | Normalmente menor | Normalmente mayor |
| Backfill puntual | Encaje natural | A menudo se gestiona con una ruta separada de reproducción/backfill |
| Alertas en vivo | Poco adecuado si la latencia es alta | Muy adecuado |
| Recálculo histórico a gran escala | Muy adecuado | Normalmente se hace mediante batch/reproducción |
El compromiso central es:
menor latencia
a menudo requiere
más estado + más complejidad operativa
Qué revisar
El trabajo de streaming está en ejecución, pero los datos están desactualizados
Comprueba:
- el retraso del origen
- la tasa de entrada frente a la tasa de procesamiento
- el progreso del checkpoint
- la latencia del destino
- la actualización de la caché/capa de consumo aguas abajo
El batch termina, pero los datos están incompletos
Comprueba:
- la completitud de las llegadas del origen
- el watermark
- los archivos omitidos
- el filtrado de duplicados
- los registros que llegan tarde
El estado del streaming no deja de crecer
Inspecciona:
- joins no acotados
- la retención de la deduplicación
- las definiciones de ventanas
- la política de watermark/retraso
- claves de alta cardinalidad
El backfill crea duplicados
Comprueba:
- la lógica de escritura idempotente
- rangos de fechas solapados
- la coordinación entre el flujo en vivo y el backfill
- las claves de merge
El pipeline se queda atrás repetidamente durante los picos
Comprueba el rendimiento sostenido, el skew de particiones, la capacidad del destino aguas abajo y el margen para ponerse al día.
Los batches frecuentes cumplen el SLA con holgura
El streaming puede añadir complejidad sin suficiente valor de negocio.
Notas de producción
La latencia es un requisito de negocio, no una característica tecnológica
No optimices para una latencia menor de la que necesitan los consumidores.
La capacidad de reproducción es crítica
Ya sea batch o streaming, conserva suficientes datos de origen/historial duraderos para recuperarte de defectos y reconstruir las salidas.
El streaming aumenta el estado operativo
Los checkpoints, offsets, watermarks y almacenes de estado pasan a formar parte de la corrección.
Trátalos como datos de producción.
Los sistemas aguas abajo pueden condicionar la elección
Un origen de eventos continuo no significa que la base de datos/API de destino pueda absorber con seguridad una escritura por evento.
El costo y la complejidad deben medirse juntos
El streaming puede reducir la latencia de frescura y, a la vez, aumentar:
- los servicios de plataforma
- el monitoreo
- la complejidad de los incidentes
- la gestión del estado
Lo híbrido es normal
Muchas plataformas maduras usan ambos:
streaming para la frescura
batch para el recálculo/la conciliación
cuando los requisitos lo justifican.
Errores comunes
1. Elegir streaming porque el origen es Kafka/Event Hub
El transporte del origen no define los requisitos de procesamiento.
2. Decir que un batch horario «no es lo bastante en tiempo real» sin un SLA
Define primero el requisito real de frescura.
3. Suponer que el streaming elimina los duplicados
Los reintentos y la entrega «at-least-once» siguen requiriendo un procesamiento idempotente.
4. Suponer que el streaming ofrece consistencia de snapshot
Los datos en vivo pueden cambiar mientras se procesan.
5. Avanzar los watermarks batch antes de que las escrituras tengan éxito
Esto puede omitir intervalos fallidos.
6. Usar marcas de tiempo sin desempate
Las filas que comparten la misma marca de tiempo pueden omitirse durante el procesamiento incremental.
7. Ignorar los eventos tardíos/fuera de orden
El tiempo de evento y el tiempo de procesamiento son distintos.
8. Dejar que el estado del streaming crezca sin límites
Las ventanas, los joins y la deduplicación necesitan una semántica de retención.
9. Tratar los checkpoints de streaming como archivos temporales desechables
Forman parte de la recuperación/corrección.
10. Construir streaming sin un plan de reproducción/backfill
Tarde o temprano tendrás que reparar el historial.
¿Te resultó útil este contenido?
¿Qué podríamos mejorar?
Gracias — esto me ayuda a mejorar Javi Builds.
Mantente al día
Recibe solo las novedades de Javi Builds que realmente te interesan.
Revisa tu bandeja de entrada
Te he enviado un enlace de confirmación. Tu suscripción se activará cuando la confirmes.