O problema
Os dados chegavam mais depressa do que os jobs noturnos os conseguiam processar, por isso quem abria um dashboard via, na melhor das hipóteses, o estado dessa manhã. Quando algo precisava de ser reprocessado, um engenheiro fazia-o à mão — muitas vezes ao fim de semana.
O que foi construído
Substituímos os jobs noturnos agendados por um fluxo contínuo que pode ser reexecutado a partir de qualquer ponto, e pusemos cada número por trás de uma definição partilhada.
O que mudou
As decisões são tomadas com dados de há minutos e não de há horas, o reprocessamento já não custa um fim de semana a ninguém, e todas as equipas leem os mesmos números.