Aller au contenu
SwankyForge
SwankyForge
Toutes les études de cas
Analytique produitExpérimentationPersonnalisation6 mois

Masters

Quatre outils d'analytique donnaient des chiffres différents. Il n'y a plus qu'un seul jeu de chiffres, et tout le monde s'y fie.

CTR des offres

6,4 %

Offres classées avec contrôles d'expérimentation

Avant

4,5 %

Règles statiques, même offre pour tous

En clair

De quoi il s'agit.

Pas de jargon dans cette section. Le compte rendu technique se trouve plus bas.

Ce qui n'allait pas

L'entreprise fonctionnait sur quatre plateformes qui comptaient chacune les utilisateurs à leur façon : deux tableaux de bord pouvaient diverger d'un cinquième sans que personne ne sache lequel avait raison. Les décisions produit se discutaient au lieu de se mesurer.

Ce que nous avons construit

Nous avons convenu d'une définition unique pour chaque chiffre important, avec le produit, la croissance et la finance réunis, reconstruit le reporting sur ces définitions et ajouté les contrôles nécessaires pour tester correctement les changements.

Ce qui a changé

Un seul jeu de chiffres partagé, neuf tests en parallèle au lieu de deux, et les débats d'attribution retirés de l'ordre du jour des réunions. La part des personnes qui cliquent sur une offre est passée de 4,5 % à 6,4 %.

Architecture

Comment l'ensemble s'articule.

Faites défiler les étapes. Tout ce qui est marqué comme ajouté est un composant qui n'existait pas avant ce projet.

VALIDERFEATURESSERVIRSDK clients4 PLATEFORMESKafkaCONTRATSClickHouseBRUT + MARTSMétriques dbtGOUVERNÉESLightGBMCLASSEMENT DES OFFRESExpériencesUPLIFT + BIAIS
  1. SDK clients

    4 plateformes

    alimente
    Kafkavalider
  2. Kafka

    contrats

    reçoit de
    SDK clientsvalider
    alimente
    ClickHouse
  3. ClickHouse

    brut + marts

    reçoit de
    Kafka
    alimente
    Métriques dbt
  4. Métriques dbt

    gouvernées

    Nous avons ajouté ceci
    reçoit de
    ClickHouse
    alimente
    LightGBMfeatures
  5. LightGBM

    classement des offres

    Nous avons ajouté ceci
    reçoit de
    Métriques dbtfeatures
    alimente
    Expériencesservir
  6. Expériences

    uplift + biais

    Nous avons ajouté ceci
    reçoit de
    LightGBMservir
Le compte rendu

Comment il serait construit.

Jeu de données, approche, métriques cibles et stack. Écrit pour la personne qui devra le relire.

Analytique produitExpérimentationPersonnalisation6 mois

Masters

Analytique et personnalisation unifiées, pour que les équipes mènent des expériences fiables et avancent plus vite.

Problème

Quatre plateformes émettaient des schémas d'événements incompatibles, si bien que personne ne s'accordait sur ce qu'était un utilisateur retenu. Les décisions produit se prenaient sur des tableaux de bord qui divergeaient jusqu'à 20 %.

Jeu de données

lignes
412 M d'événements
features
86
sources
iOS, Android, Web, CRM
fenêtre
24 mois

Approche

  1. 01Défini une taxonomie d'événements unique avec des contrats de tracking imposés en CI
  2. 02Acheminé toutes les sources en streaming vers un seul entrepôt, avec réconciliation des identités
  3. 03Construit des vues de cohortes et de rétention sur une couche de métriques gouvernée
  4. 04Déployé un modèle de classement des offres derrière un framework d'expérimentation

Métriques

0,87
AUC du classement
+0,11
6,4 %
CTR des offres
+1,9 pp
<1 %
dérive des métriques
entre équipes
340 ms
p95 des requêtes
-2,1 s

Preuves

source
Architecture de référence
chiffres
Illustratif — valeurs typiques pour cette architecture
mesure
Non mesuré. Valeurs typiques pour une architecture de référence de ce type, non observées sur un système client.
référence
Non disponible pour ce projet
dernière revue
2026-08-25

Impact métier

  • Une définition de KPI partagée entre produit, croissance et finance
  • Rythme d'expérimentation passé de 2 à 9 tests simultanés
  • Les litiges d'attribution ne sont plus un sujet récurrent en réunion

Stack technique

  • Python
  • ClickHouse
  • Apache Kafka
  • dbt
  • Airflow
  • FastAPI
  • LightGBM
  • Metabase

Suite

Besoin d'un système comme celui-ci ?

Répondez à six questions et nous vous dirons si cette architecture correspond à votre problème — y compris quand ce n'est pas le cas.