Explorar guías rápidas · Ingeniería de datos

Tecnología: Ingeniería de datosCategoría: ArquitecturaNivel: IntermedioActualizado

Procesamiento batch vs streaming

Elige entre procesamiento de datos batch y streaming comparando latencia, corrección, complejidad operativa, costo, reproducción, estado y recuperación ante fallos en cargas de trabajo de producción reales.

En esta página
  1. Problema
  2. Respuesta rápida
  3. Código / comandos
  4. 1. Patrón de procesamiento batch
  5. 2. Patrón de procesamiento en streaming
  6. 3. El micro-batch sigue siendo streaming
  7. 4. Batch no significa necesariamente «una vez al día»
  8. 5. Define el requisito de latencia antes de elegir la arquitectura
  9. 6. Ventana de lote acotada
  10. 7. Añade un desempate cuando las marcas de tiempo no son únicas
  11. 8. Ejemplo de watermark batch
  12. 9. Nunca avances un watermark batch antes del éxito
  13. 10. Ejemplo de checkpoint de streaming
  14. 11. Conserva los eventos de origen de forma duradera cuando sea posible
  15. 12. Separa la ingesta de la transformación de negocio
  16. 13. Streaming no significa «sin almacenamiento»
  17. 14. Procesamiento por tiempo de evento
  18. 15. Datos que llegan tarde
  19. 16. En streaming, los watermarks no son lo mismo que los checkpoints batch
  20. 17. No elijas un umbral de retraso arbitrario
  21. 18. Agregación por ventanas en streaming
  22. 19. Los joins en streaming requieren estado
  23. 20. Los joins entre tabla estática y flujo son más sencillos
  24. 21. Deduplica los eventos de streaming por un ID de evento duradero
  25. 22. Los destinos idempotentes reducen el riesgo de los reintentos
  26. 23. Las promesas de «exactly once» requieren un alcance preciso
  27. 24. La entrega «at-least-once» es habitual
  28. 25. Las reejecuciones batch también necesitan idempotencia
  29. 26. Batch con recarga completa
  30. 27. Batch incremental
  31. 28. Change Data Capture puede alimentar cualquiera de los dos modelos
  32. 29. Un origen de eventos no requiere un consumidor en streaming
  33. 30. Los archivos no requieren una arquitectura solo batch
  34. 31. Usa batch desencadenado cuando la latencia lo permita
  35. 32. El streaming es útil para decisiones operativas
  36. 33. El batch suele bastar para la analítica
  37. 34. No uses streaming solo para paneles sin un requisito de latencia
  38. 35. El batch es más fácil de reproducir
  39. 36. El backfill debe coexistir con el streaming
  40. 37. Usa controles de backfill separados
  41. 38. Los fallos batch están acotados de forma natural
  42. 39. Los fallos en streaming pueden acumular retraso
  43. 40. El retraso es una métrica central de salud del streaming
  44. 41. El rendimiento debe superar la tasa de llegada sostenida
  45. 42. La gestión de ráfagas importa
  46. 43. El batch también sufre presión en las ventanas de pico
  47. 44. El streaming puede trasladar carga aguas abajo de forma continua
  48. 45. El micro-batching puede proteger los sistemas aguas abajo
  49. 46. Evita una llamada a una API externa por evento con volúmenes altos
  50. 47. El estado del streaming puede crecer mucho
  51. 48. El batch también tiene estado, pero suele ser explícito
  52. 49. Registra los metadatos de ejecución de los lotes
  53. 50. Registra los metadatos de ejecución del streaming
  54. 51. Prefiere transformaciones deterministas
  55. 52. Registra el tiempo de procesamiento por separado del tiempo de evento
  56. 53. Separa la frescura de negocio de la latencia del pipeline
  57. 54. Puede que el orden de los eventos no esté garantizado globalmente
  58. 55. La clave de partición afecta al orden y a la escala del streaming
  59. 56. Evita una única clave caliente
  60. 57. El particionamiento batch también afecta al rendimiento
  61. 58. Los esquemas de streaming también evolucionan
  62. 59. La deriva de esquema en batch es más fácil de poner en cuarentena
  63. 60. Usa con cuidado los patrones de dead-letter/cuarentena
  64. 61. No dejes que un solo registro incorrecto detenga todo el flujo sin necesidad
  65. 62. Los costos del streaming no son solo de cómputo
  66. 63. Los costos del batch no son automáticamente menores
  67. 64. El costo sigue al trabajo realizado
  68. 65. Batch y streaming pueden compartir transformaciones
  69. 66. Construye una ruta de reproducción para la lógica de streaming
  70. 67. La arquitectura Lambda duplica la lógica
  71. 68. El enfoque tipo Kappa pone el énfasis en flujos reproducibles
  72. 69. No conviertas las etiquetas de arquitectura en objetivos de diseño
  73. 70. Usa una arquitectura híbrida cuando los requisitos difieran
  74. 71. Usa streaming para la señal temprana y batch para la conciliación
  75. 72. La conciliación debe ser deliberada
  76. 73. Define la semántica de la fuente de verdad
  77. 74. Los contratos de datos importan más en streaming
  78. 75. El streaming requiere un monitoreo operativo más riguroso
  79. 76. El monitoreo batch debe comprobar la completitud
  80. 77. Define la recuperación antes de producción
  81. 78. Prueba los escenarios de fallo
  82. 79. El streaming no siempre es «tiempo real»
  83. 80. Elige la arquitectura más sencilla que cumpla el requisito
  84. Qué significa el resultado
  85. Qué revisar
  86. El trabajo de streaming está en ejecución, pero los datos están desactualizados
  87. El batch termina, pero los datos están incompletos
  88. El estado del streaming no deja de crecer
  89. El backfill crea duplicados
  90. El pipeline se queda atrás repetidamente durante los picos
  91. Los batches frecuentes cumplen el SLA con holgura
  92. Notas de producción
  93. La latencia es un requisito de negocio, no una característica tecnológica
  94. La capacidad de reproducción es crítica
  95. El streaming aumenta el estado operativo
  96. Los sistemas aguas abajo pueden condicionar la elección
  97. El costo y la complejidad deben medirse juntos
  98. Lo híbrido es normal
  99. Errores comunes
  100. 1. Elegir streaming porque el origen es Kafka/Event Hub
  101. 2. Decir que un batch horario «no es lo bastante en tiempo real» sin un SLA
  102. 3. Suponer que el streaming elimina los duplicados
  103. 4. Suponer que el streaming ofrece consistencia de snapshot
  104. 5. Avanzar los watermarks batch antes de que las escrituras tengan éxito
  105. 6. Usar marcas de tiempo sin desempate
  106. 7. Ignorar los eventos tardíos/fuera de orden
  107. 8. Dejar que el estado del streaming crezca sin límites
  108. 9. Tratar los checkpoints de streaming como archivos temporales desechables
  109. 10. Construir streaming sin un plan de reproducción/backfill
  110. Siguiente paso
  111. Para profundizar

Problema

Necesitas mover o transformar datos, pero la decisión de arquitectura no está clara:

¿Debería ejecutarse cada pocos minutos u horas como batch?
¿O los eventos deberían procesarse de forma continua a medida que llegan?

Una mala elección puede generar innecesariamente:

  • latencia
  • complejidad operativa
  • costo
  • procesamiento duplicado
  • problemas de gestión del estado
  • dificultades de recuperación
  • presión sobre los sistemas aguas abajo

El objetivo es elegir el modelo de procesamiento más sencillo que cumpla los requisitos reales de latencia y corrección del negocio.

Respuesta rápida

Usa este modelo de decisión:

Son aceptables minutos u horas de latencia
→ el batch suele ser más sencillo

Los datos deben procesarse de forma continua con baja latencia
→ el streaming puede ser adecuado

Se necesita una reproducción fácil y un recálculo determinista
→ el batch suele ser más fácil

Se necesitan alertas inmediatas, detección de fraude, telemetría o estado operativo en vivo
→ el streaming puede estar justificado

Se necesitan tanto corrección histórica como baja latencia
→ combinar la ingesta en streaming con almacenamiento duradero y rutas batch/backfill reproducibles

Una regla útil:

No elijas streaming porque el origen emita eventos.

Elige streaming porque el negocio necesita procesamiento continuo.

Código / comandos

1. Patrón de procesamiento batch

Flujo típico:

origen
→ depositar los datos sin procesar
→ procesar un conjunto de datos acotado
→ escribir la salida depurada
→ registrar un checkpoint de finalización

Ejemplo de pseudoflujo de trabajo:

start = get_last_successful_watermark()
end = get_current_cutoff()

df = read_source(
    start_time=start,
    end_time=end,
)

clean = transform(df)

validate(clean)

write_output(clean)

save_watermark(end)

La propiedad importante es que el rango de entrada está acotado.


2. Patrón de procesamiento en streaming

Flujo típico:

origen de eventos
→ ingerir de forma continua
→ procesar registros/micro-batches
→ mantener el estado/los checkpoints
→ escribir la salida de forma continua

Ejemplo conceptual con Spark Structured Streaming:

events = (
    spark.readStream
    .format("delta")
    .table("bronze_events")
)

clean = (
    events
    .filter("event_type IS NOT NULL")
    .select(
        "event_id",
        "event_time",
        "event_type",
        "customer_id",
    )
)

query = (
    clean.writeStream
    .format("delta")
    .option("checkpointLocation", "/checkpoints/silver_events")
    .outputMode("append")
    .toTable("silver_events")
)

El streaming requiere un diseño duradero de checkpoints y estado, no solo un bucle que se ejecuta continuamente.


3. El micro-batch sigue siendo streaming

Muchos motores de streaming en producción procesan los eventos como pequeños lotes repetidos.

Conceptualmente:

los eventos llegan de forma continua
→ cada intervalo corto, el motor procesa los datos nuevos
→ el checkpoint avanza

Sigue siendo una arquitectura de streaming porque el pipeline es incremental de forma continua.


4. Batch no significa necesariamente «una vez al día»

Un batch puede ejecutarse:

cada 5 minutos
cada 15 minutos
cada hora
cada noche
al llegar un archivo
bajo demanda

Si una latencia de cinco minutos cumple el requisito, un batch pequeño y frecuente puede ser más sencillo que una plataforma de streaming completa.


5. Define el requisito de latencia antes de elegir la arquitectura

Escribe el requisito de forma explícita:

Nueva transacción visible en analítica en menos de:
15 minutos

o:

Alerta de fraude generada en menos de:
5 segundos

No empieces con:

Deberíamos usar Kafka/Spark Streaming porque es moderno.

La arquitectura debe seguir al SLA del negocio.


6. Ventana de lote acotada

Un batch robusto suele definir:

[start, end)

Ejemplo:

WHERE event_time >= @start_time
  AND event_time <  @end_time

Las ventanas semiabiertas evitan el solapamiento entre lotes adyacentes cuando las marcas de tiempo son el límite incremental.


7. Añade un desempate cuando las marcas de tiempo no son únicas

Estado incremental incorrecto:

last_processed_timestamp

si miles de filas pueden compartir la misma marca de tiempo.

Mejor estado:

last_processed_timestamp
+
last_processed_id

o usa una secuencia/versión proporcionada por el origen.


8. Ejemplo de watermark batch

Checkpoint:

{
  "lastSuccessfulEnd": "2026-10-04T14:00:00Z"
}

Siguiente lote:

start = 2026-10-04T14:00:00Z
end   = 2026-10-04T15:00:00Z

Avanza el watermark solo después de que el procesamiento duradero tenga éxito.


9. Nunca avances un watermark batch antes del éxito

Incorrecto:

guardar el watermark
→ procesar los datos
→ el pipeline falla

El intervalo fallido puede omitirse en el reintento.

Más seguro:

leer una entrada acotada
→ transformar
→ validar
→ escribir de forma duradera
→ persistir el watermark

10. Ejemplo de checkpoint de streaming

El checkpoint de un motor de streaming suele registrar:

los offsets del origen
el progreso
los metadatos del almacén de estado
la información de commit del destino

El almacenamiento de checkpoints debe ser duradero y estar aislado por cada flujo lógico.

No apuntes trabajos de streaming no relacionados a la misma ubicación de checkpoint.


11. Conserva los eventos de origen de forma duradera cuando sea posible

Patrón útil:

bus de eventos / origen
→ capa Bronze/sin procesar duradera
→ transformación en streaming

Los datos sin procesar duraderos permiten:

  • reproducir
  • hacer backfill
  • depurar
  • reconstruir el estado aguas abajo

El streaming sin capacidad de reproducción hace mucho más difícil la recuperación en producción.


12. Separa la ingesta de la transformación de negocio

Una arquitectura sólida suele usar:

Eventos de origen
→ ingesta duradera
→ transformación
→ publicación para consumo

No pongas todas las reglas de negocio en la capa de ingesta si eso impide reproducir más adelante los datos sin procesar del origen.


13. Streaming no significa «sin almacenamiento»

Los sistemas de streaming siguen necesitando estado duradero para:

  • offsets
  • checkpoints
  • deduplicación
  • ventanas
  • joins
  • estado de agregación
  • reproducción/backfill

El cómputo continuo aumenta la importancia de la gestión del estado.


14. Procesamiento por tiempo de evento

La lógica de streaming a menudo debería usar:

event_time

en lugar de solo:

processing_time

Ejemplo:

event_time
→ cuándo ocurrió realmente el evento de negocio

processing_time
→ cuándo lo recibió/procesó el motor

Pueden diferir considerablemente.


15. Datos que llegan tarde

Ejemplo:

el evento ocurrió a las 10:00
el evento llegó a las 10:12

Un sistema de streaming debe decidir:

¿aceptar el evento tardío?
¿actualizar el resultado anterior?
¿descartarlo?
¿enviarlo a cuarentena?

Es una decisión de corrección de negocio.


16. En streaming, los watermarks no son lo mismo que los checkpoints batch

En el streaming por tiempo de evento, un watermark suele expresar cuánto retraso respecto al tiempo de evento espera el motor que puedan tener los datos tardíos.

Conceptualmente:

tiempo de evento máximo observado
-
retraso permitido

El motor puede usar ese límite para limpiar el estado antiguo.

La semántica exacta depende del motor de streaming.


17. No elijas un umbral de retraso arbitrario

Usa evidencia del origen y del negocio.

Preguntas de ejemplo:

¿Con cuánto retraso pueden llegar los eventos?
¿Con cuánto retraso llegan realmente en producción?
¿Se pueden actualizar las ventanas antiguas?
¿Qué consumidores aguas abajo esperan correcciones?

No inventes un watermark universal de cinco minutos o de una hora.


18. Agregación por ventanas en streaming

Ejemplo conceptual en PySpark:

from pyspark.sql import functions as F

agg = (
    events
    .withWatermark("event_time", "30 minutes")
    .groupBy(
        F.window("event_time", "5 minutes"),
        "merchant_id",
    )
    .agg(
        F.count("*").alias("event_count")
    )
)

Úsalo solo cuando una política de retraso de 30 minutos sea realmente adecuada para el origen y el negocio.

El número anterior es ilustrativo, no una recomendación universal.


19. Los joins en streaming requieren estado

Hacer join de dos flujos no acotados puede requerir mantener estado histórico.

Ejemplo:

flujo de pedidos
JOIN
flujo de pagos

Sin reglas que acoten el tiempo/el estado, el estado puede crecer indefinidamente.

Usa:

  • restricciones de tiempo de evento
  • watermarks
  • ventanas de correspondencia acotadas

cuando el motor las requiera o las admita.


20. Los joins entre tabla estática y flujo son más sencillos

Patrón común:

flujo de eventos
JOIN
tabla pequeña de referencia/dimensión

Suele ser más sencillo que los joins entre flujos.

Pero decide cómo se hacen visibles los cambios en los datos de referencia:

  • recarga
  • actualización
  • actualización por broadcast
  • tabla versionada

21. Deduplica los eventos de streaming por un ID de evento duradero

Conceptualmente:

event_id = identificador de evento de origen estable a nivel global

Así, la deduplicación puede razonar sobre reproducciones y reintentos.

Evita generar un nuevo ID de evento aleatorio cada vez que se vuelve a procesar un evento.


22. Los destinos idempotentes reducen el riesgo de los reintentos

Un pipeline es más fácil de recuperar cuando escribir dos veces el mismo registro lógico no corrompe el estado.

Ejemplos:

MERGE por clave de negocio/evento
upsert por ID estable
append transaccional con deduplicación aguas abajo

No dependas de que «el evento solo llegará una vez».


23. Las promesas de «exactly once» requieren un alcance preciso

«Exactly once» (exactamente una vez) puede referirse a:

el procesamiento de offsets del origen
la actualización del estado
el commit en el destino
el efecto secundario de negocio

No son automáticamente idénticos.

Por ejemplo:

el flujo escribe la fila exactamente una vez

no significa:

el correo electrónico se envía exactamente una vez

Diseña por separado los efectos secundarios externos.


24. La entrega «at-least-once» es habitual

Un reintento puede entregar/procesar de nuevo el mismo evento.

La lógica aguas abajo debería tolerarlo siempre que sea posible.

Usa identificadores estables e idempotencia.


25. Las reejecuciones batch también necesitan idempotencia

El batch no es automáticamente seguro.

Una mala reejecución:

INSERT de todo el intervalo otra vez

puede duplicar la salida.

Opciones más seguras:

sobrescribir una partición acotada
MERGE por clave
eliminar/reconstruir un intervalo controlado
append con ID de lote/evento deterministas

Elige según la semántica de la tabla.


26. Batch con recarga completa

Patrón:

leer todo el origen
→ reconstruir todo el destino

Útil cuando:

  • el conjunto de datos es lo bastante pequeño
  • la lógica cambia a menudo
  • una corrección sencilla importa más que la optimización incremental

No implementes una CDC compleja si una reconstrucción completa segura es barata.


27. Batch incremental

Patrón:

watermark
→ leer solo los datos modificados/nuevos
→ hacer merge en el destino

Útil cuando la recarga completa se vuelve demasiado cara.

El diseño incremental añade complejidad de estado y de recuperación.


28. Change Data Capture puede alimentar cualquiera de los dos modelos

CDC no implica automáticamente streaming.

Los registros de CDC pueden procesarse:

de forma continua

o:

en lotes periódicos

Elige el modo de consumo según el requisito de latencia.


29. Un origen de eventos no requiere un consumidor en streaming

Ejemplo:

origen Kafka / Event Hub / Kinesis

puede consumirse igualmente hacia un almacenamiento duradero y procesarse periódicamente.

No dejes que la tecnología del origen dicte automáticamente la arquitectura aguas abajo.


30. Los archivos no requieren una arquitectura solo batch

Los eventos de llegada de archivos pueden desencadenar un procesamiento casi en tiempo real.

La arquitectura puede ser:

llega un archivo
→ desencadenador de evento
→ procesamiento acotado

Esto es batch impulsado por eventos, no necesariamente streaming continuo.


31. Usa batch desencadenado cuando la latencia lo permita

Ejemplo:

se deposita un archivo nuevo
→ el orquestador desencadena el pipeline
→ procesar solo ese archivo/lote

Esto puede ofrecer baja latencia sin ejecutar continuamente un motor de streaming.


32. El streaming es útil para decisiones operativas

Buenos candidatos:

detección de fraude
alertas de telemetría de dispositivos
eventos de seguridad
personalización en vivo
paneles operativos en tiempo real
señales de inventario

Estos casos de uso pierden valor cuando se procesan demasiado tarde.


33. El batch suele bastar para la analítica

Buenos candidatos:

informes financieros diarios
agregados de negocio por hora
transformaciones del data warehouse
extracciones regulatorias
características históricas para modelos
backfills

Si el consumidor no necesita datos inmediatos, el batch suele reducir la carga operativa.


34. No uses streaming solo para paneles sin un requisito de latencia

Pregúntate:

¿Este panel necesita de verdad una frescura de 2 segundos?

Si una frescura de 5 a 15 minutos es aceptable, un batch incremental frecuente puede ser más sencillo y barato.


35. El batch es más fácil de reproducir

Patrón de reproducción:

elegir un intervalo histórico
→ volver a ejecutar la transformación
→ comparar la salida

Esto es valioso al:

  • corregir defectos
  • cambiar la lógica de negocio
  • reconstruir el historial

Los sistemas de streaming deben conservar una capacidad de reproducción equivalente si importa la corrección del historial.


36. El backfill debe coexistir con el streaming

Requisito habitual de producción:

el flujo en vivo procesa hoy
mientras
el backfill repara el mes pasado

Diseña para:

  • conflictos de escritura
  • claves duplicadas
  • solapamiento de particiones
  • actualizaciones aguas abajo
  • contención de recursos

No supongas que nunca habrá backfills.


37. Usa controles de backfill separados

Ejemplo:

checkpoint en vivo
!=
checkpoint de backfill

Un backfill histórico no debe hacer retroceder el checkpoint del flujo en vivo ni sobrescribir su estado por accidente.


38. Los fallos batch están acotados de forma natural

Si falla el lote horario de 14:00–15:00:

volver a ejecutar 14:00–15:00

El alcance del fallo es fácil de razonar.

La recuperación en streaming puede implicar:

  • offsets
  • estado
  • compatibilidad de checkpoints
  • reproducción de eventos
  • datos que llegan tarde

39. Los fallos en streaming pueden acumular retraso

Si el procesamiento se detiene:

los eventos siguen llegando
→ el trabajo acumulado (backlog) crece

La recuperación requiere capacidad suficiente para:

procesar las nuevas llegadas
+
ponerse al día con el backlog

Monitorea explícitamente el retraso (lag) y el backlog del consumidor.


40. El retraso es una métrica central de salud del streaming

Concepto útil:

última posición del origen
-
posición procesada por el consumidor

o su equivalente en tiempo.

Un trabajo de streaming en ejecución puede no estar sano si el retraso sigue aumentando.


41. El rendimiento debe superar la tasa de llegada sostenida

Si el origen produce:

10.000 eventos/s

y el pipeline procesa de forma sostenida:

8.000 eventos/s

el retraso crece indefinidamente.

No dimensiones el streaming solo para el tráfico medio si las cargas reales tienen picos sostenidos.


42. La gestión de ráfagas importa

Un flujo puede recibir normalmente poco tráfico, pero tener picos ocasionales.

Las opciones incluyen:

  • búfer en un broker/almacenamiento duradero
  • escalado automático
  • escalado de particiones
  • contrapresión (backpressure) acotada
  • capacidad para ponerse al día

43. El batch también sufre presión en las ventanas de pico

Un batch nocturno puede competir con:

  • usuarios del data warehouse
  • copias de seguridad
  • mantenimiento
  • informes aguas abajo

El batch simplifica el estado del procesamiento, pero la programación y la contención de recursos siguen importando.


44. El streaming puede trasladar carga aguas abajo de forma continua

Una base de datos aguas abajo que soportaba:

un merge masivo cada hora

puede comportarse de forma diferente con:

pequeñas actualizaciones continuas

Evalúa los patrones de escritura aguas abajo.

Que haya streaming aguas arriba no garantiza que los sistemas aguas abajo estén preparados para escrituras constantes.


45. El micro-batching puede proteger los sistemas aguas abajo

En lugar de escribir cada evento de forma individual:

acumular en búfer durante un intervalo corto
→ escribir el lote

Esto puede reducir la sobrecarga por solicitud/transacción.

Elige el intervalo según la latencia y la capacidad del destino.


46. Evita una llamada a una API externa por evento con volúmenes altos

Patrón:

evento
→ solicitud HTTP
→ evento
→ solicitud HTTP

puede sobrecargar los servicios aguas abajo.

Considera:

  • procesamiento por lotes
  • colas
  • limitación de tasa
  • workers asíncronos
  • procesamiento deduplicado de efectos secundarios

47. El estado del streaming puede crecer mucho

Las operaciones con estado incluyen:

  • ventanas
  • deduplicación
  • joins entre flujos
  • sesionización

Si el estado no está acotado, la presión sobre la memoria/el almacenamiento puede crecer continuamente.

Usa una semántica de retención/watermark adecuada.


48. El batch también tiene estado, pero suele ser explícito

Ejemplos:

tabla de watermarks
manifiesto de archivos procesados
ID de lote
high-water mark

Persiste el estado de forma transaccional cuando sea posible.


49. Registra los metadatos de ejecución de los lotes

Campos útiles:

batch_id
start_watermark
end_watermark
start_time
end_time
row_count
status
source_version
code_version

Esto facilita la reproducción y el análisis de incidentes.


50. Registra los metadatos de ejecución del streaming

Señales útiles:

checkpoint
offset del origen
filas procesadas/s
filas de entrada/s
retraso (lag)
tamaño del estado
duración del lote
lote fallido
commit en el destino

Las métricas exactas dependen de la plataforma.


51. Prefiere transformaciones deterministas

Con la misma entrada:

mismo código
+
mismos datos/versión de referencia
→ misma salida

Esto hace que la reproducción sea más segura.

Evita dependencias ocultas de la hora actual o de un estado de búsqueda mutable, salvo que sean intencionadas.


52. Registra el tiempo de procesamiento por separado del tiempo de evento

Columnas útiles:

event_time
ingestion_time
processed_time

Ayudan a responder:

¿Cuándo ocurrió el evento?
¿Cuándo lo recibió la plataforma?
¿Cuándo terminó la transformación?

53. Separa la frescura de negocio de la latencia del pipeline

Ejemplo:

el pipeline procesó el evento en 5 segundos

pero el propio origen lo entregó con 20 minutos de retraso.

La latencia de tu pipeline es baja, pero la frescura de los datos de negocio no lo es.

Monitorea ambas.


54. Puede que el orden de los eventos no esté garantizado globalmente

Los orígenes distribuidos pueden preservar el orden solo:

  • dentro de una partición
  • dentro de una clave
  • dentro de una sesión de productor

No supongas un orden global salvo que el origen lo garantice.


55. La clave de partición afecta al orden y a la escala del streaming

Una clave de partición controla:

la distribución
el paralelismo
el orden por clave
las particiones calientes

Una mala clave puede crear skew.


56. Evita una única clave caliente

Ejemplo:

partition_key = "all_events"

obliga a que todos los eventos pasen por una sola partición/clave.

Elige una clave alineada con:

  • el orden requerido
  • la distribución de la carga
  • la semántica de los consumidores

57. El particionamiento batch también afecta al rendimiento

Un batch puede ser ineficiente si todo el trabajo cae en:

  • un solo archivo
  • una sola partición
  • un solo intervalo de fechas
  • un solo tenant

Particiona según los patrones reales de acceso y procesamiento.


58. Los esquemas de streaming también evolucionan

Los eventos pueden añadir/cambiar campos con el tiempo.

Diseña:

  • compatibilidad de esquemas
  • valores predeterminados
  • adiciones que admiten nulos
  • control de versiones
  • cuarentena para eventos no válidos

No supongas que los contratos de eventos se mantienen estáticos por ser en tiempo real.


59. La deriva de esquema en batch es más fácil de poner en cuarentena

Un archivo o lote fallido puede aislarse sin detener todo el procesamiento futuro si la orquestación está bien diseñada.

En streaming, los errores de esquema pueden detener o envenenar el procesamiento continuo si no se gestionan.


60. Usa con cuidado los patrones de dead-letter/cuarentena

Para los registros no válidos:

válido
→ ruta normal

no válido
→ cuarentena con motivo/contexto

No descartes en silencio los registros incorrectos si importan para la corrección del negocio.


61. No dejes que un solo registro incorrecto detenga todo el flujo sin necesidad

Cuando la semántica de la plataforma lo permita, aísla los eventos mal formados.

Pero no conviertas fallos graves de esquema/contrato en pérdida silenciosa de datos.


62. Los costos del streaming no son solo de cómputo

Ten en cuenta:

broker de eventos
almacenamiento de estado/checkpoints
cómputo continuo
red
monitoreo
soporte operativo
almacenamiento para reproducción

63. Los costos del batch no son automáticamente menores

Un análisis completo diario mal diseñado de datos masivos puede costar más que un streaming incremental.

Mide la carga de trabajo real.


64. El costo sigue al trabajo realizado

Pregunta útil:

¿Cuántos datos estamos leyendo, redistribuyendo (shuffle), almacenando y escribiendo?

no simplemente:

¿Es batch o streaming?

65. Batch y streaming pueden compartir transformaciones

Un diseño sólido separa:

la lógica de transformación de negocio
del
modo de ejecución

Cuando sea práctico, la misma lógica puede reutilizarse para:

  • procesamiento incremental en vivo
  • reproducción histórica
  • pruebas

66. Construye una ruta de reproducción para la lógica de streaming

Ejemplo:

tabla Delta Bronze
→ lectura batch de un rango histórico
→ misma transformación Silver

Esto ayuda a:

  • recuperarse de defectos
  • reconstruir el estado
  • validar cambios de lógica

67. La arquitectura Lambda duplica la lógica

La arquitectura Lambda clásica usa:

ruta batch
+
ruta rápida/de streaming

Esto puede generar duplicación operativa y lógica incoherente.

Úsala solo cuando esté justificada.

Los diseños modernos suelen preferir una única capa duradera de eventos/datos sin procesar más un procesamiento incremental/batch reutilizable.


68. El enfoque tipo Kappa pone el énfasis en flujos reproducibles

Conceptualmente:

registro de eventos duradero
→ procesamiento en streaming
→ reproducir cuando sea necesario

El requisito práctico no es la etiqueta de la arquitectura.

La capacidad importante es un historial del origen reproducible y un procesamiento determinista.


69. No conviertas las etiquetas de arquitectura en objetivos de diseño

No elijas:

Lambda
Kappa
tiempo real
impulsado por eventos

porque la etiqueta suena moderna.

Define:

latencia
corrección
reproducción
costo
comportamiento ante fallos
responsabilidad operativa

primero.


70. Usa una arquitectura híbrida cuando los requisitos difieran

Ejemplo:

streaming
→ alertas operativas

batch
→ totales financieros diarios de referencia

El mismo origen puede alimentar varias rutas de procesamiento cuando las necesidades del negocio difieren.


71. Usa streaming para la señal temprana y batch para la conciliación

Ejemplo:

flujo
→ panel casi en tiempo real

batch nocturno
→ recálculo/conciliación de referencia

Esto puede ser útil cuando la frescura del streaming importa, pero la corrección final requiere datos que llegan tarde o una conciliación con un origen de referencia.


72. La conciliación debe ser deliberada

Compara:

el agregado de streaming
vs
el agregado batch de referencia

Investiga las divergencias.

No trates la corrección por batch como un permiso para ignorar la calidad del streaming.


73. Define la semántica de la fuente de verdad

Pregúntate:

¿El registro de eventos sin procesar es la referencia?
¿La base de datos de origen es la referencia?
¿La extracción diaria es la referencia?

La recuperación y la conciliación dependen de esta respuesta.


74. Los contratos de datos importan más en streaming

Como los consumidores de streaming reaccionan rápido, los cambios incorrectos del productor se propagan rápido.

Usa:

  • contratos de esquema
  • control de versiones
  • pruebas de compatibilidad
  • despliegue gradual

75. El streaming requiere un monitoreo operativo más riguroso

Como mínimo, vigila:

¿el trabajo está activo?
tasa de entrada
tasa de procesamiento
retraso (lag)
progreso del checkpoint
crecimiento del estado
tasa de errores
fallos del destino

Un estado del proceso en verde no basta por sí solo.


76. El monitoreo batch debe comprobar la completitud

Vigila:

¿llegó el lote esperado?
¿el lote tuvo éxito?
¿el número de filas es plausible?
¿avanzó el watermark?
¿lote duplicado?
¿archivo tardío?

Que el programador haya completado una ejecución no garantiza que los datos estén completos.


77. Define la recuperación antes de producción

Para batch:

¿Cómo volvemos a ejecutar un solo intervalo?

Para streaming:

¿Cómo reproducimos desde un punto anterior?
¿Qué pasa con el estado?
¿Cómo evitamos efectos secundarios duplicados?

Si la recuperación no está definida, la arquitectura está incompleta.


78. Prueba los escenarios de fallo

Pruebas útiles:

un worker se cae a mitad del procesamiento
destino no disponible
evento duplicado
evento tardío
evento fuera de orden
cambio de esquema
checkpoint no disponible
un backfill se solapa con los datos en vivo

La resiliencia en producción debe demostrarse, no suponerse.


79. El streaming no siempre es «tiempo real»

La latencia real de extremo a extremo incluye:

retraso del origen
retraso del broker
retraso de procesamiento
retraso del destino
retraso de actualización del consumidor/la caché

Un motor de streaming por sí solo no garantiza una experiencia de usuario en tiempo real.


80. Elige la arquitectura más sencilla que cumpla el requisito

Orden de decisión:

1. Definir la frescura requerida
2. Definir las necesidades de corrección/reproducción
3. Definir el volumen esperado y el comportamiento ante ráfagas
4. Definir las capacidades aguas abajo
5. Definir el modelo de fallo/recuperación
6. Estimar la complejidad/el costo operativo
7. Elegir batch, streaming o híbrido

Qué significa el resultado

Dimensión Batch Streaming
Entrada Acotada No acotada/continua
Latencia típica De minutos a horas, pero puede ser frecuente De segundos a minutos según la plataforma/el diseño
Estado Watermarks/manifiestos/metadatos de lotes Offsets/checkpoints/almacenes de estado/watermarks
Reproducción Normalmente sencilla Requiere un origen duradero + una estrategia de checkpoint/estado
Alcance de los fallos Normalmente un intervalo acotado Puede generar backlog/retraso y problemas de estado
Datos tardíos Lote siguiente/de conciliación A menudo se necesita una política explícita de tiempo de evento/retraso
Complejidad operativa Normalmente menor Normalmente mayor
Backfill puntual Encaje natural A menudo se gestiona con una ruta separada de reproducción/backfill
Alertas en vivo Poco adecuado si la latencia es alta Muy adecuado
Recálculo histórico a gran escala Muy adecuado Normalmente se hace mediante batch/reproducción

El compromiso central es:

menor latencia
a menudo requiere
más estado + más complejidad operativa

Qué revisar

El trabajo de streaming está en ejecución, pero los datos están desactualizados

Comprueba:

  • el retraso del origen
  • la tasa de entrada frente a la tasa de procesamiento
  • el progreso del checkpoint
  • la latencia del destino
  • la actualización de la caché/capa de consumo aguas abajo

El batch termina, pero los datos están incompletos

Comprueba:

  • la completitud de las llegadas del origen
  • el watermark
  • los archivos omitidos
  • el filtrado de duplicados
  • los registros que llegan tarde

El estado del streaming no deja de crecer

Inspecciona:

  • joins no acotados
  • la retención de la deduplicación
  • las definiciones de ventanas
  • la política de watermark/retraso
  • claves de alta cardinalidad

El backfill crea duplicados

Comprueba:

  • la lógica de escritura idempotente
  • rangos de fechas solapados
  • la coordinación entre el flujo en vivo y el backfill
  • las claves de merge

El pipeline se queda atrás repetidamente durante los picos

Comprueba el rendimiento sostenido, el skew de particiones, la capacidad del destino aguas abajo y el margen para ponerse al día.

Los batches frecuentes cumplen el SLA con holgura

El streaming puede añadir complejidad sin suficiente valor de negocio.

Notas de producción

La latencia es un requisito de negocio, no una característica tecnológica

No optimices para una latencia menor de la que necesitan los consumidores.

La capacidad de reproducción es crítica

Ya sea batch o streaming, conserva suficientes datos de origen/historial duraderos para recuperarte de defectos y reconstruir las salidas.

El streaming aumenta el estado operativo

Los checkpoints, offsets, watermarks y almacenes de estado pasan a formar parte de la corrección.

Trátalos como datos de producción.

Los sistemas aguas abajo pueden condicionar la elección

Un origen de eventos continuo no significa que la base de datos/API de destino pueda absorber con seguridad una escritura por evento.

El costo y la complejidad deben medirse juntos

El streaming puede reducir la latencia de frescura y, a la vez, aumentar:

  • los servicios de plataforma
  • el monitoreo
  • la complejidad de los incidentes
  • la gestión del estado

Lo híbrido es normal

Muchas plataformas maduras usan ambos:

streaming para la frescura
batch para el recálculo/la conciliación

cuando los requisitos lo justifican.

Errores comunes

1. Elegir streaming porque el origen es Kafka/Event Hub

El transporte del origen no define los requisitos de procesamiento.

2. Decir que un batch horario «no es lo bastante en tiempo real» sin un SLA

Define primero el requisito real de frescura.

3. Suponer que el streaming elimina los duplicados

Los reintentos y la entrega «at-least-once» siguen requiriendo un procesamiento idempotente.

4. Suponer que el streaming ofrece consistencia de snapshot

Los datos en vivo pueden cambiar mientras se procesan.

5. Avanzar los watermarks batch antes de que las escrituras tengan éxito

Esto puede omitir intervalos fallidos.

6. Usar marcas de tiempo sin desempate

Las filas que comparten la misma marca de tiempo pueden omitirse durante el procesamiento incremental.

7. Ignorar los eventos tardíos/fuera de orden

El tiempo de evento y el tiempo de procesamiento son distintos.

8. Dejar que el estado del streaming crezca sin límites

Las ventanas, los joins y la deduplicación necesitan una semántica de retención.

9. Tratar los checkpoints de streaming como archivos temporales desechables

Forman parte de la recuperación/corrección.

10. Construir streaming sin un plan de reproducción/backfill

Tarde o temprano tendrás que reparar el historial.

Siguiente paso

Usa el requisito para elegir la ruta de implementación.

  • Son aceptables minutos/horas de latencia → empieza con batch.
  • Se requieren decisiones en menos de un minuto/continuas → evalúa streaming.
  • El batch solo es demasiado lento durante las ventanas de pico de datos → optimiza el alcance incremental antes de cambiar de arquitectura.
  • El streaming se queda atrás → inspecciona el retraso, el rendimiento, el particionamiento, el skew y la capacidad del destino.
  • Los datos tardíos importan → define una política de tiempo de evento y de retraso.
  • Aparecen duplicados → añade claves estables de evento/negocio y escrituras idempotentes.
  • Necesitas reparar el historial → construye una ruta de reproducción/backfill a partir de datos sin procesar duraderos.
  • Necesitas resultados frescos y de referencia a la vez → considera streaming para la frescura más una conciliación batch.
  • No sabes qué modelo elegir → cuantifica primero la latencia, la corrección, la reproducción, el volumen, la responsabilidad operativa y las restricciones aguas abajo.

← Todas las guías rápidas