APIs de origen
mercado + chain
- alimenta
- Kafkaingesta
Todos los casos de estudio
Pipelines de datosMétricasBI3 meses
USDDub
Los dashboards iban seis horas por detrás de la realidad. Ahora van cinco minutos por detrás.
Frescura de datos
5 minutos
Streaming con etapas re-ejecutables
Antes
6 horas
Extracciones batch programadas
En términos claros
Qué es esto.
Sin jerga en esta sección. La descripción técnica está más abajo.
Qué estaba fallando
Los datos llegaban más rápido de lo que los procesos nocturnos podían procesarlos, así que quien abría un dashboard veía, en el mejor de los casos, los datos de esa mañana. Cuando algo necesitaba reprocesarse, un ingeniero lo hacía a mano, a menudo en fin de semana.
Qué construimos
Sustituimos los procesos nocturnos programados por un flujo continuo que se puede re-ejecutar desde cualquier punto, y pusimos cada cifra detrás de una única definición compartida.
Qué cambió
Las decisiones se toman con datos de hace minutos y no de hace horas, reprocesar ya no le cuesta a nadie un fin de semana y todos los equipos leen las mismas cifras.
Arquitectura
Cómo encaja todo.
Recorra las etapas. Todo lo marcado como añadido es un componente que no existía antes de este proyecto.
Kafka
particionado
- recibe de
- APIs de origeningesta
- alimenta
- ClickHouse
ClickHouse
columnar
- recibe de
- Kafka
- alimenta
- modelos dbttransformar
modelos dbt
incremental
- recibe de
- ClickHousetransformar
- alimenta
- Capa de BI
Capa de BI
gobernado
- recibe de
- modelos dbt
APIs de origen
mercado + chain
- alimenta
- Kafkaingesta
Kafka
particionado
Esto lo añadimos nosotros- recibe de
- APIs de origeningesta
- alimenta
- ClickHouse
ClickHouse
columnar
Esto lo añadimos nosotros- recibe de
- Kafka
- alimenta
- modelos dbttransformar
modelos dbt
incremental
Esto lo añadimos nosotros- recibe de
- ClickHousetransformar
- alimenta
- Capa de BI
Capa de BI
gobernado
- recibe de
- modelos dbt
La descripción
Cómo se construiría.
Dataset, enfoque, métricas objetivo y stack. Escrito para quien tenga que revisarlo.
Pipelines de datosMétricasBI3 meses
USDDub
Datos de mercado y señales canónicos que se mantienen consistentes entre fuentes y en el tiempo.
Problema
Los datos de mercado y de eventos llegaban más rápido de lo que los procesos batch existentes podían procesarlos, así que los dashboards iban horas atrasados y los backfills requerían re-ejecuciones manuales.
Dataset
- filas
- 14M eventos / día
- features
- 203
- fuentes
- APIs de mercado, on-chain, servicios internos
- ventana
- 90 días móviles
Enfoque
- 01Sustituimos las extracciones batch por una capa de ingesta en streaming
- 02Modelamos un warehouse columnar ajustado a los patrones de consulta reales
- 03Hicimos idempotente cada etapa para que un backfill sea una re-ejecución, no un rescate
- 04Publicamos un conjunto de métricas gobernado detrás de una capa de BI
Métricas
- 14M+
- eventos / día sostenido
- 5 min
- frescura de datos desde 6 horas
- 410ms
- p95 de consultas -8.4s
- automatizado
- esfuerzo de backfill antes manual
Evidencia
- fuente
- Diseño de referencia
- cifras
- Ilustrativo: valores típicos para este diseño
- medición
- No medido. Valores típicos para un diseño de referencia de este tipo, no observados en el sistema de un cliente.
- referencia
- No disponible para este proyecto
- última revisión
- 2026-08-25
Impacto en el negocio
- Decisiones tomadas con datos de hace minutos en lugar de horas
- Los backfills dejaron de consumir fines de semana de ingeniería
- Una capa de métricas compartida por todos los consumidores internos
Stack tecnológico
- Python
- TimescaleDB
- Kafka
- Prefect
- Grafana
- dbt
- Web3.py
Siguiente paso
¿Necesita un sistema como este?
Responda seis preguntas y le diremos si este planteamiento encaja con su problema, también cuando no encaja.