Aller au contenu
SwankyForge
SwankyForge
Toutes les études de cas
Systèmes de MLMLOpsMonitoring5 mois

Pipeline de détection de fraude + monitoring

Les analystes passaient leur journée sur de fausses alertes. La file de vérification fait désormais un tiers de sa taille.

Taux de faux positifs

1,6 %

Modèle calibré sur les coûts, même recall

Avant

4,1 %

Règles statiques au recall cible

En clair

De quoi il s'agit.

Pas de jargon dans cette section. Le compte rendu technique se trouve plus bas.

Ce qui n'allait pas

Un ensemble de règles fixe attrapait la fraude qu'il connaissait déjà, et rien d'autre. Les analystes pataugeaient dans les fausses alertes toute la journée pendant que des schémas d'attaque réellement nouveaux passaient inaperçus pendant des semaines.

Ce que nous avons construit

Nous avons construit un scoring en temps réel qui pèse le coût réel de chaque type d'erreur, ajouté un monitoring qui lève une alerte quand les comportements changent, et déployé le tout progressivement à côté des règles existantes plutôt que de les remplacer du jour au lendemain.

Ce qui a changé

À volume de fraude détectée égal, les fausses alertes sont passées de 4,1 % à 1,6 %, ce qui réduit la file de vérification de près des deux tiers. Les nouveaux schémas apparaissent désormais en quelques jours, et chaque transaction refusée est accompagnée d'une raison.

Architecture

Comment l'ensemble s'articule.

Faites défiler les étapes. Tout ce qui est marqué comme ajouté est un composant qui n'existait pas avant ce projet.

FEATURESVÉRIFICATIONLOGTransactionTEMPS RÉELFeature storeEN LIGNEScoreur GBDT241 FEATURESMatrice de coûtsSEUILSFile des analystesEXPLIQUÉEMonitoring de dérivePSI + KS
  1. Transaction

    temps réel

    alimente
    Feature storefeatures
  2. Feature store

    en ligne

    Nous avons ajouté ceci
    reçoit de
    Transactionfeatures
    alimente
    Scoreur GBDT
  3. Scoreur GBDT

    241 features

    Nous avons ajouté ceci
    reçoit de
    Feature store
    alimente
    Matrice de coûts · Monitoring de dérivelog
  4. Matrice de coûts

    seuils

    Nous avons ajouté ceci
    reçoit de
    Scoreur GBDT
    alimente
    File des analystesvérification
  5. File des analystes

    expliquée

    reçoit de
    Matrice de coûtsvérification
  6. Monitoring de dérive

    psi + ks

    Nous avons ajouté ceci
    reçoit de
    Scoreur GBDTlog
Le compte rendu

Comment il serait construit.

Jeu de données, approche, métriques cibles et stack. Écrit pour la personne qui devra le relire.

Systèmes de MLMLOpsMonitoring5 mois

Pipeline de détection de fraude + monitoring

Scoring en temps réel avec pipelines de features, monitoring et déploiements contrôlés.

Problème

Un jeu de règles statique attrapait les schémas de fraude connus et rien d'autre. Les analystes croulaient sous les faux positifs pendant que de nouveaux schémas d'attaque restaient non signalés pendant des semaines.

Jeu de données

lignes
186 M de transactions
features
241
sources
Paiements, appareil, comportement
fenêtre
28 mois

Approche

  1. 01Construit un feature store temps réel avec une stricte parité offline/online
  2. 02Entraîné un modèle de gradient boosting avec un traitement poussé du déséquilibre des classes
  3. 03Fixé les seuils à partir d'une matrice de coûts explicite plutôt que du F1
  4. 04Ajouté un monitoring de la dérive et une boucle de réentraînement champion/challenger

Métriques

0,79
PR-AUC
+0,34
-61 %
faux positifs
à recall égal
28 ms
p95 du scoring
en ligne
0,041
PSI de dérive
surveillé

Preuves

source
Architecture de référence
chiffres
Illustratif — valeurs typiques pour cette architecture
mesure
Non mesuré. Valeurs typiques pour une architecture de référence de ce type, non observées sur un système client.
référence
Non disponible pour ce projet
dernière revue
2026-08-25

Impact métier

  • File de vérification des analystes réduite de près des deux tiers
  • Nouveaux schémas détectés en quelques jours au lieu de semaines
  • Chaque refus explicable par les attributions de features

Stack technique

  • Python
  • Kafka
  • Flink
  • LightGBM
  • Feast
  • Prometheus
  • Grafana

Suite

Besoin d'un système comme celui-ci ?

Répondez à six questions et nous vous dirons si cette architecture correspond à votre problème — y compris quand ce n'est pas le cas.