Das Problem
Die Daten kamen schneller an, als die nächtlichen Jobs sie verarbeiten konnten, sodass man beim Öffnen eines Dashboards bestenfalls den Stand von heute Morgen sah. Musste etwas neu verarbeitet werden, erledigte das ein Engineer von Hand – oft am Wochenende.
Was gebaut wurde
Wir haben die geplanten nächtlichen Jobs durch einen kontinuierlichen Fluss ersetzt, der sich ab jedem Punkt erneut abspielen lässt, und jede Zahl an eine gemeinsame Definition gebunden.
Was sich geändert hat
Entscheidungen werden auf Daten getroffen, die Minuten statt Stunden alt sind, Neuverarbeitung kostet niemanden mehr ein Wochenende, und alle Teams lesen dieselben Zahlen.