Transakcja
czas rzeczywisty
- zasila
- Feature storecechy
Wszystkie case studies
Systemy MLMLOpsMonitoring5 miesięcy
Pipeline wykrywania fraudów + monitoring
Analitycy spędzali dzień na fałszywych alarmach. Kolejka weryfikacji jest teraz trzy razy mniejsza.
Odsetek fałszywych alarmów
1.6%
Model skalibrowany kosztowo, ten sam recall
Było
4.1%
Statyczne reguły przy docelowym recall
Prostymi słowami
Czym to jest.
W tej sekcji nie ma żargonu. Opis techniczny jest niżej.
Co szło nie tak
Stały zestaw reguł łapał fraudy, które już znał, i nic więcej. Analitycy cały dzień przedzierali się przez fałszywe alarmy, a naprawdę nowe wzorce ataków pozostawały niezauważone przez całe tygodnie.
Co zbudowaliśmy
Zbudowaliśmy scoring w czasie rzeczywistym, który uwzględnia rzeczywisty koszt każdego rodzaju błędu, dodaliśmy monitoring sygnalizujący zmianę zachowań i wdrażaliśmy system stopniowo obok istniejących reguł, zamiast zastępować je z dnia na dzień.
Co się zmieniło
Przy wykrywaniu tej samej liczby fraudów odsetek fałszywych alarmów spadł z 4,1% do 1,6% — kolejka weryfikacji zmniejszyła się o prawie dwie trzecie. Nowe wzorce ujawniają się teraz w ciągu dni, a każda odrzucona transakcja ma dołączony powód.
Architektura
Jak to się ze sobą łączy.
Proszę przewinąć etapy. Wszystko oznaczone jako dodane to komponent, który nie istniał przed tym projektem.
Feature store
online
- otrzymuje z
- Transakcjacechy
- zasila
- Scoring GBDT
Scoring GBDT
241 cech
- otrzymuje z
- Feature store
- zasila
- Macierz kosztów · Monitor dryfulog
Macierz kosztów
progi
- otrzymuje z
- Scoring GBDT
- zasila
- Kolejka analitykówweryfikacja
Kolejka analityków
z wyjaśnieniem
- otrzymuje z
- Macierz kosztówweryfikacja
Monitor dryfu
psi + ks
- otrzymuje z
- Scoring GBDTlog
Transakcja
czas rzeczywisty
- zasila
- Feature storecechy
Feature store
online
To dodaliśmy- otrzymuje z
- Transakcjacechy
- zasila
- Scoring GBDT
Scoring GBDT
241 cech
To dodaliśmy- otrzymuje z
- Feature store
- zasila
- Macierz kosztów · Monitor dryfulog
Macierz kosztów
progi
To dodaliśmy- otrzymuje z
- Scoring GBDT
- zasila
- Kolejka analitykówweryfikacja
Kolejka analityków
z wyjaśnieniem
- otrzymuje z
- Macierz kosztówweryfikacja
Monitor dryfu
psi + ks
To dodaliśmy- otrzymuje z
- Scoring GBDTlog
Opis
Jak by to zbudować.
Zbiór danych, podejście, docelowe metryki i stack. Napisane dla tego, kto będzie to weryfikował.
Systemy MLMLOpsMonitoring5 miesięcy
Pipeline wykrywania fraudów + monitoring
Scoring w czasie rzeczywistym z pipeline'ami cech, monitoringiem i kontrolowanymi wdrożeniami.
Problem
Statyczny zestaw reguł łapał znane wzorce fraudów i nic więcej. Analitycy tonęli w fałszywych alarmach, a nowe wzorce ataków przez tygodnie pozostawały nieoznaczone.
Zbiór danych
- wiersze
- 186 mln transakcji
- cechy
- 241
- źródła
- Płatności, urządzenie, dane behawioralne
- okno
- 28 miesięcy
Podejście
- 01Zbudowaliśmy feature store czasu rzeczywistego ze ścisłą zgodnością offline/online
- 02Wytrenowaliśmy model gradient boosting z rozbudowaną obsługą silnej nierównowagi klas
- 03Ustaliliśmy progi na podstawie jawnej macierzy kosztów zamiast F1
- 04Dodaliśmy monitoring dryfu i pętlę ponownego trenowania champion/challenger
Metryki
- 0.79
- PR-AUC +0.34
- -61%
- fałszywe alarmy przy tym samym recall
- 28ms
- scoring p95 inline
- 0.041
- PSI dryfu monitorowany
Dowody
- źródło
- Projekt referencyjny
- liczby
- Poglądowe — typowe wartości dla tego projektu
- pomiar
- Nie mierzono. Typowe wartości dla projektu referencyjnego tego rodzaju, nie zaobserwowane w systemie klienta.
- referencje
- Niedostępne dla tego projektu
- ostatnia weryfikacja
- 2026-08-25
Wpływ na biznes
- Kolejka weryfikacji analityków mniejsza o prawie dwie trzecie
- Nowe wzorce wykrywane w ciągu dni zamiast tygodni
- Każdą odmowę można wyjaśnić atrybucją cech
Stack technologiczny
- Python
- Kafka
- Flink
- LightGBM
- Feast
- Prometheus
- Grafana
Dalej
Potrzebują Państwo takiego systemu?
Proszę odpowiedzieć na sześć pytań, a powiemy, czy ten kształt pasuje do Państwa problemu — także wtedy, gdy nie pasuje.