Aller au contenu
SwankyForge
SwankyForge
Toutes les analyses
Article10 min de lecture

95 % des pilotes IA n'ont aucun impact sur le P&L, selon un décompte. Fixez la métrique avant de construire le modèle.

Quatre études de 2025 et du début de 2026 s'accordent : la plupart des entreprises tirent peu de retour mesurable de l'IA, et l'échec typique se situe côté métier. Le remède est une métrique, une référence et une règle de décision écrites avant de construire quoi que ce soit.

En juillet 2025, le projet NANDA du MIT a publié un rapport affirmant que 95 % des organisations n'obtenaient aucun retour de l'IA générative, malgré 30–40 milliards de dollars d'investissements des entreprises. Fortune a mis ce chiffre en titre en août 2025, et il a circulé à partir de là.

Le chiffre est plus fragile que sa célébrité. Il repose sur des entretiens avec 52 organisations, une enquête auprès de 153 cadres dirigeants recueillie lors de quatre conférences sectorielles, et l'examen de plus de 300 initiatives IA publiques. Des critiques ont jugé la définition du succès trop étroite. Mais trois autres études aux méthodes différentes vont dans la même direction : la plupart des entreprises qui utilisent l'IA ne la retrouvent pas encore dans leurs résultats financiers.

Notre lecture est que la plupart de ces pilotes étaient joués avant qu'un modèle ne soit entraîné. Personne n'a mesuré de référence, personne ne s'est mis d'accord sur une métrique, personne côté métier n'était responsable du résultat, et personne n'a prévu comment le résultat entrerait dans le processus quotidien. Ce sont des lacunes métier, et les combler coûte des jours de travail, pas des mois.

Quatre études, une direction

Source Échantillon Ce qui a été mesuré Résultat principal
MIT NANDA, juillet 2025 52 organisations interrogées, 153 dirigeants sondés, 300+ initiatives publiques examinées, janvier–juin 2025 Retour déclaré de l'IA générative 95 % des organisations n'obtiennent aucun retour ; 5 % des pilotes intégrés génèrent des millions de valeur
BCG, septembre 2025 1 250 cadres dirigeants et décideurs IA Valeur tirée de l'IA à l'échelle de l'entreprise 5 % génèrent une valeur substantielle à grande échelle ; 60 % déclarent des gains minimes en chiffre d'affaires et en coûts
McKinsey, novembre 2025 Enquête mondiale auprès d'organisations Impact sur l'EBIT au niveau de l'entreprise 88 % utilisent l'IA dans au moins une fonction ; 39 % déclarent un impact quelconque sur l'EBIT, et la plupart le situent sous 5 % de l'EBIT
Document de travail du NBER, février 2026 Près de 6 000 dirigeants d'entreprises dans quatre pays Effet sur l'emploi et la productivité au cours des trois dernières années 69 % des entreprises utilisent l'IA ; neuf sur dix ne déclarent aucun impact sur l'emploi ou la productivité

Les définitions diffèrent. Le MIT demande si un déploiement a produit un retour mesurable, BCG classe les entreprises par groupes de maturité, McKinsey interroge sur l'EBIT et l'enquête du NBER sur la productivité et les effectifs. Aucune n'est une mesure propre de l'effet de l'IA. Prises ensemble, elles disent que l'adoption est large et que le retour mesuré est rare.

Quel crédit accorder aux 95 %

Moins que ne le suggèrent les titres, et le rapport le dit lui-même. Sa propre section sur les limites indique que les chiffres sont « justes dans leur tendance » et proviennent d'entretiens individuels plutôt que des rapports officiels des entreprises, que les définitions du succès varient d'une organisation à l'autre, et qu'une fenêtre d'observation de six mois peut sous-estimer le succès des systèmes complexes. Le succès était défini comme un déploiement au-delà de la phase pilote avec des KPI mesurables, le retour étant évalué six mois après le pilote. Pour les outils dédiés à une tâche, une mise en œuvre réussie était une mise en œuvre que les utilisateurs ou les dirigeants décrivaient comme ayant un effet marqué et durable sur la productivité ou le P&L.

La critique du Marketing AI Institute ajoute que la définition ignore les gains d'efficacité, la rétention et les effets sur le pipeline commercial, et que 52 entretiens ne peuvent pas porter une affirmation sur tout le marché. Les deux points sont justes. Traitez les 95 % comme un point de données bruyant, pas comme un taux d'échec.

Deux parties du rapport tiennent mieux que le titre. La première est son diagnostic. Les auteurs écrivent que la fracture ne semble pas due à la qualité des modèles ni à la réglementation, et que la plupart des déploiements échouent à cause de workflows fragiles, d'un manque d'apprentissage contextuel et d'un décalage avec les opérations quotidiennes. La seconde est ce qu'ont fait les acheteurs qui ont réussi : ils ont jugé les outils sur des résultats opérationnels plutôt que sur des benchmarks de modèles, et ils ont laissé les détenteurs de budget et les responsables métier choisir les problèmes et piloter les déploiements.

Le rapport a aussi constaté que les partenariats externes atteignaient le déploiement dans environ 67 % des cas, contre environ 33 % pour les développements internes. Nous sommes un prestataire, nous avons donc un intérêt à ce chiffre, et il doit être lu avec la propre réserve du rapport : les chiffres sont déclaratifs, et les entreprises qui choisissent des partenaires peuvent différer à d'autres égards de celles qui développent en interne. C'est une corrélation.

Pourquoi les pilotes calent

À notre avis, quatre lacunes expliquent la plupart des pilotes qui calent, et aucune n'est technique.

  1. Pas de référence. « Le temps de traitement a baissé de 20 % » ne veut rien dire si personne n'a mesuré le temps de traitement avant le pilote, avec la même définition, sur une période comparable.
  2. Pas de métrique convenue. L'équipe data présente l'exactitude du modèle, la finance demande le coût, les opérations demandent le débit. Chaque camp choisit son chiffre après coup, et le pilote se termine par un débat au lieu d'une décision.
  3. Pas de responsable côté métier. Un pilote mené par une équipe centrale, sans personne côté métier qui contrôle le budget ou le processus, n'a personne pour le déployer quand il fonctionne.
  4. Pas de chemin vers le processus. Le modèle fonctionne dans un bac à sable, mais personne n'a modifié l'écran que les gens utilisent, l'ordre des étapes ni les objectifs sur lesquels ils sont évalués. Un résultat qui arrive en dehors du workflow est ignoré.

Pour le responsable du budget : une page avant de construire quoi que ce soit

Avant de déplacer la moindre donnée ou de choisir le moindre modèle, écrivez une page de six lignes.

  • Métrique. Un chiffre auquel le métier tient déjà, avec une définition exacte.
  • Référence. Sa valeur actuelle, sur une fenêtre précisée, calculée par la requête que le pilote utilisera.
  • Règle de décision. Quel résultat signifie déployer et lequel signifie arrêter.
  • Garde-fous. Ce qui ne doit pas se dégrader pendant que la métrique s'améliore.
  • Responsable. La personne côté métier qui modifiera le processus si le pilote fonctionne.
  • Date de décision. Le jour où la décision est prise, quel que soit le résultat.

Un exemple illustratif pour un copilote de support qui rédige des brouillons de réponse aux tickets de premier niveau :

Ligne Entrée illustrative
Métrique Temps de traitement médian par ticket de premier niveau
Référence Mesuré sur les quatre semaines précédant le pilote, mêmes catégories de tickets
Règle de décision Déployer si la médiane baisse de 10 % ou plus ; arrêter si elle baisse de moins de 3 %
Garde-fous Taux de réouverture et satisfaction client à un point près de la référence
Responsable Responsable du support
Date de décision Six semaines après le lancement

Si cette page demande plus d'une semaine pour être validée, le problème n'est pas prêt pour l'IA. Parfois, la rédiger montre que la métrique peut être améliorée par une règle ou un rapport, et alors la réponse la moins chère est la bonne.

Pour les ingénieurs : rendre la métrique solide

Randomisez au niveau de l'unité où l'effet se produit. Pour un copilote de support, c'est l'agent ou l'équipe, pas le ticket, si les agents risquent sinon d'apprendre du copilote et de changer leur manière de traiter les tickets du groupe de contrôle. Pour les processus opérationnels qui ne peuvent pas être scindés en même temps, alternez les périodes avec un design switchback. Gardez un petit holdout après le déploiement pour voir si l'effet s'estompe.

Mesurez la référence avec le pipeline du pilote lui-même. Même requête, mêmes filtres, même longueur de fenêtre. Faites d'abord une comparaison A/A, en répartissant le trafic sans appliquer de changement, pour voir de combien la métrique bouge d'elle-même. Les métriques saisonnières exigent un groupe de contrôle simultané ; une comparaison avant-après mélangera le pilote et le calendrier.

Dimensionnez le test avant de commencer. Pour deux groupes avec une puissance de 80 % et un seuil de significativité de 5 %, une règle empirique courante est n par groupe ≈ 16·σ²/δ², où σ est l'écart-type de la métrique et δ le plus petit effet qui vaut la peine d'être détecté. Chiffres illustratifs : si le temps de traitement a un écart-type de 6 minutes et que l'effet qui compte est de 0,6 minute, n ≈ 16 × 36 / 0,36 = 1 600 tickets par groupe. Une équipe qui traite 200 tickets de ce type par semaine a besoin de 16 semaines pour en collecter 3 200. C'est le moment de choisir un effet plus grand, un pilote plus long ou une métrique moins bruitée, par exemple en ajustant sur le temps de traitement de chaque agent pendant la période précédente. Les temps de traitement sont asymétriques : comparez donc des médianes ou des valeurs log-transformées, ou calculez l'intervalle par bootstrap.

Inscrivez la métrique dans le contrat. La définition, la source de données, la requête, la fenêtre et le seuil figurent dans le cahier des charges comme critère d'acceptation du jalon. La recette consiste alors à exécuter la requête convenue, pas à débattre de l'utilité ressentie du système.

Écrivez le critère d'arrêt avant le lancement. Si l'effet à la date de décision est sous le seuil, le pilote s'arrête. Regarder le résultat chaque jour et arrêter quand il a l'air bon gonfle les faux positifs ; si des regards anticipés sont inévitables, utilisez un test séquentiel conçu pour cela.

Comment nous travaillons avec cela

Nous fixons la métrique avant d'entraîner le moindre modèle, et elle entre dans le contrat comme critère d'acceptation. Les jalons ne sont facturés qu'après recette, c'est donc la métrique qui décide de la facture. Un ingénieur nommé reste sur le projet du début à la fin, ce qui évite que la définition de la métrique dérive au fil des passations. Quand la charte d'une page montre qu'une règle ou un rapport améliorerait la métrique pour moins cher, nous le disons et recommandons de ne pas acheter de ML.

Dans notre grille tarifaire, une mission de cadrage coûte 6k–14k € sur 2–3 semaines, et c'est à ce stade que nous rédigeons la charte ci-dessus avec le responsable du budget. Un teardown montre comment sont chiffrés le cadrage, la preuve de concept et la production, et la page de contact permet d'en demander un.

Sources

Un processus vous coûte trop cher ?

Parlez-nous-en. Le premier appel est gratuit, et si l'IA n'est pas la réponse, nous le disons.

Discuter de votre tâche