SDK klienckie
4 platformy
- zasila
- Kafkawalidacja
Wszystkie case studies
Analityka produktowaEksperymentyPersonalizacja6 miesięcy
Masters
Cztery narzędzia analityczne podawały różne wartości tych samych liczb. Teraz jest jeden zestaw, któremu ufają wszyscy.
CTR oferty
6.4%
Uszeregowane oferty z kontrolą eksperymentów
Było
4.5%
Statyczne reguły, ta sama oferta dla wszystkich
Prostymi słowami
Czym to jest.
W tej sekcji nie ma żargonu. Opis techniczny jest niżej.
Co szło nie tak
Firma działała na czterech różnych platformach, z których każda inaczej liczyła użytkowników, więc dwa dashboardy mogły różnić się o jedną piątą i nikt nie potrafił powiedzieć, który ma rację. O decyzjach produktowych się dyskutowało, zamiast je mierzyć.
Co zbudowaliśmy
Wspólnie z zespołami produktu, wzrostu i finansów uzgodniliśmy jedną definicję każdej ważnej liczby, przebudowaliśmy raportowanie na tych definicjach i dodaliśmy mechanizmy kontrolne potrzebne do rzetelnego testowania zmian.
Co się zmieniło
Jeden wspólny zestaw liczb, dziewięć testów prowadzonych jednocześnie zamiast dwóch i spory o atrybucję zdjęte z porządku spotkań. Odsetek osób klikających ofertę wzrósł z 4,5% do 6,4%.
Architektura
Jak to się ze sobą łączy.
Proszę przewinąć etapy. Wszystko oznaczone jako dodane to komponent, który nie istniał przed tym projektem.
Kafka
kontrakty
- otrzymuje z
- SDK klienckiewalidacja
- zasila
- ClickHouse
ClickHouse
surowe + marty
- otrzymuje z
- Kafka
- zasila
- metryki dbt
metryki dbt
zarządzane
- otrzymuje z
- ClickHouse
- zasila
- LightGBMcechy
LightGBM
ranking ofert
- otrzymuje z
- metryki dbtcechy
- zasila
- Eksperymentyserwowanie
Eksperymenty
lift + bias
- otrzymuje z
- LightGBMserwowanie
SDK klienckie
4 platformy
- zasila
- Kafkawalidacja
Kafka
kontrakty
- otrzymuje z
- SDK klienckiewalidacja
- zasila
- ClickHouse
ClickHouse
surowe + marty
- otrzymuje z
- Kafka
- zasila
- metryki dbt
metryki dbt
zarządzane
To dodaliśmy- otrzymuje z
- ClickHouse
- zasila
- LightGBMcechy
LightGBM
ranking ofert
To dodaliśmy- otrzymuje z
- metryki dbtcechy
- zasila
- Eksperymentyserwowanie
Eksperymenty
lift + bias
To dodaliśmy- otrzymuje z
- LightGBMserwowanie
Opis
Jak by to zbudować.
Zbiór danych, podejście, docelowe metryki i stack. Napisane dla tego, kto będzie to weryfikował.
Analityka produktowaEksperymentyPersonalizacja6 miesięcy
Masters
Ujednolicona analityka i personalizacja, dzięki którym zespoły prowadzą wiarygodne eksperymenty i działają szybciej.
Problem
Cztery platformy wysyłały zdarzenia w niezgodnych schematach, więc nikt nie potrafił uzgodnić, kim jest użytkownik utrzymany. Decyzje produktowe zapadały na podstawie dashboardów, które różniły się między sobą nawet o 20%.
Zbiór danych
- wiersze
- 412 mln zdarzeń
- cechy
- 86
- źródła
- iOS, Android, Web, CRM
- okno
- 24 miesiące
Podejście
- 01Zdefiniowaliśmy jedną taksonomię zdarzeń z kontraktami trackingu egzekwowanymi w CI
- 02Przesłaliśmy strumieniowo wszystkie źródła do jednej hurtowni z łączeniem tożsamości
- 03Zbudowaliśmy widoki kohort i retencji na zarządzanej warstwie metryk
- 04Wdrożyliśmy model rankingu ofert za frameworkiem eksperymentów
Metryki
- 0.87
- AUC rankingu +0.11
- 6.4%
- CTR oferty +1.9pp
- <1%
- rozjazd metryk między zespołami
- 340ms
- zapytanie p95 -2.1s
Dowody
- źródło
- Projekt referencyjny
- liczby
- Poglądowe — typowe wartości dla tego projektu
- pomiar
- Nie mierzono. Typowe wartości dla projektu referencyjnego tego rodzaju, nie zaobserwowane w systemie klienta.
- referencje
- Niedostępne dla tego projektu
- ostatnia weryfikacja
- 2026-08-25
Wpływ na biznes
- Jedna wspólna definicja KPI dla produktu, wzrostu i finansów
- Tempo eksperymentów wzrosło z 2 do 9 równoległych testów
- Spory o atrybucję przestały być stałym tematem spotkań
Stack technologiczny
- Python
- ClickHouse
- Apache Kafka
- dbt
- Airflow
- FastAPI
- LightGBM
- Metabase
Dalej
Potrzebują Państwo takiego systemu?
Proszę odpowiedzieć na sześć pytań, a powiemy, czy ten kształt pasuje do Państwa problemu — także wtedy, gdy nie pasuje.