Naar de inhoud
SwankyForge
SwankyForge
Alle inzichten
Artikel9 min lezen

Volgens één telling laat 95% van de AI-pilots geen effect op de P&L zien. Spreek de metric af voordat je het model bouwt.

Vier studies uit 2025 en begin 2026 zijn het erover eens dat de meeste bedrijven weinig meetbaar rendement uit AI halen, en de gebruikelijke oorzaak ligt aan de businesskant. De oplossing is een metric, een baseline en een beslisregel, opgeschreven voordat er iets wordt gebouwd.

In juli 2025 publiceerde het NANDA-project van MIT een rapport waarin stond dat 95% van de organisaties nul rendement uit generatieve AI haalde, ondanks $30–40 miljard aan investeringen door bedrijven. Fortune zette het getal in augustus 2025 in een kop, en vanaf daar ging het rond.

Het getal is zwakker dan zijn bekendheid. Het rust op interviews met 52 organisaties, een enquête onder 153 senior leiders die op vier branchecongressen werd afgenomen, en een review van meer dan 300 publieke AI-initiatieven. Critici vonden de definitie van succes te smal. Maar drie andere studies met andere methoden wijzen dezelfde kant op: de meeste bedrijven die AI gebruiken, kunnen het nog niet terugvinden in hun financiële resultaten.

Onze lezing is dat de meeste van deze pilots al beslist waren voordat er een model werd getraind. Niemand mat een baseline, niemand sprak een metric af, niemand in de business was eigenaar van het resultaat, en niemand plande hoe de output in het dagelijkse proces terecht zou komen. Dat zijn gaten aan de businesskant, en ze dichten kost dagen werk, geen maanden.

Vier studies, één richting

Bron Steekproef Wat werd gemeten Kernbevinding
MIT NANDA, juli 2025 52 organisaties geïnterviewd, 153 leiders ondervraagd, 300+ publieke initiatieven bekeken, januari–juni 2025 Zelfgerapporteerd rendement uit generatieve AI 95% van de organisaties haalt nul rendement; 5% van de geïntegreerde pilots levert miljoenen aan waarde op
BCG, september 2025 1.250 senior bestuurders en AI-beslissers Waarde uit AI in het hele bedrijf 5% genereert substantiële waarde op schaal; 60% meldt minimale omzet- en kostenwinst
McKinsey, november 2025 Wereldwijde enquête onder organisaties Effect op EBIT op bedrijfsniveau 88% gebruikt AI in minstens één functie; 39% meldt enig effect op EBIT, en de meesten daarvan schatten het op minder dan 5% van de EBIT
NBER-werkdocument, februari 2026 Bijna 6.000 bestuurders bij bedrijven in vier landen Effect op werkgelegenheid en productiviteit over de afgelopen drie jaar 69% van de bedrijven gebruikt AI; negen op de tien melden geen effect op werkgelegenheid of productiviteit

De definities verschillen. MIT vraagt of een implementatie meetbaar rendement opleverde, BCG deelt bedrijven in volwassenheidsgroepen in, McKinsey vraagt naar EBIT, en de NBER-enquête vraagt naar productiviteit en personeelsomvang. Geen van alle is een zuivere meting van het effect van AI. Samen zeggen ze dat adoptie breed is en gemeten rendement zeldzaam.

Hoeveel vertrouwen verdient die 95%

Minder dan de koppen suggereren, en het rapport zegt dat zelf ook. In de eigen paragraaf over beperkingen staat dat de cijfers "directionally accurate" zijn en uit individuele interviews komen in plaats van uit officiële bedrijfsrapportages, dat definities van succes per organisatie verschillen, en dat een observatievenster van zes maanden succes bij complexe systemen kan onderschatten. Succes werd gedefinieerd als implementatie voorbij de pilotfase met meetbare KPI's, waarbij het rendement zes maanden na de pilot werd beoordeeld. Bij taakspecifieke tools gold een implementatie als geslaagd als gebruikers of bestuurders die beschreven als een duidelijk en blijvend effect op productiviteit of P&L.

De kritiek van het Marketing AI Institute voegt toe dat de definitie efficiëntiewinst, klantbehoud en effecten op de pipeline negeert, en dat 52 interviews geen uitspraak over de hele markt kunnen dragen. Beide punten zijn terecht. Behandel die 95% als een luid datapunt, niet als een faalpercentage.

Twee delen van het rapport houden beter stand dan de kop. Het eerste is de diagnose. De auteurs schrijven dat de kloof niet lijkt te worden veroorzaakt door modelkwaliteit of regelgeving, en dat de meeste implementaties mislukken door broze workflows, een gebrek aan contextueel leren en een slechte aansluiting op de dagelijkse operatie. Het tweede is wat succesvolle kopers deden: ze beoordeelden tools op operationele uitkomsten in plaats van op modelbenchmarks, en ze lieten budgethouders en vakmanagers de problemen kiezen en de uitrol leiden.

Het rapport vond ook dat externe samenwerkingen in ongeveer 67% van de gevallen tot implementatie kwamen, tegenover ongeveer 33% bij interne bouw. Wij zijn een leverancier, dus we hebben belang bij dat getal, en het moet gelezen worden met het voorbehoud van het rapport zelf: de cijfers zijn zelfgerapporteerd, en bedrijven die voor partners kiezen, kunnen op andere punten verschillen van bedrijven die zelf bouwen. Het is een correlatie.

Waarom pilots vastlopen

Volgens ons verklaren vier gaten de meeste vastgelopen pilots, en geen ervan is technisch.

  1. Geen baseline. "De afhandeltijd daalde 20%" betekent niets als niemand de afhandeltijd vóór de pilot heeft gemeten, met dezelfde definitie, over een vergelijkbare periode.
  2. Geen afgesproken metric. Het datateam rapporteert modelnauwkeurigheid, finance vraagt naar kosten, operations vraagt naar doorvoer. Elke kant kiest achteraf zijn eigen getal, en de pilot eindigt in een discussie in plaats van een beslissing.
  3. Geen eigenaar in de business. Een pilot die door een centraal team wordt gedraaid, zonder iemand aan de businesskant die het budget of het proces in handen heeft, heeft niemand om hem uit te rollen als hij werkt.
  4. Geen weg naar het proces. Het model werkt in een sandbox, maar niemand veranderde het scherm dat mensen gebruiken, de volgorde van de stappen, of de doelen waarop ze worden afgerekend. Output die buiten de workflow binnenkomt, wordt genegeerd.

Voor de budgethouder: één pagina voordat er iets wordt gebouwd

Schrijf, voordat er data wordt verplaatst of een model wordt gekozen, één pagina met zes regels.

  • Metric. Eén getal waar de business al om geeft, met een exacte definitie.
  • Baseline. De huidige waarde, over een genoemd venster, berekend met de query die de pilot gaat gebruiken.
  • Beslisregel. Welk resultaat uitrollen betekent en welk stoppen.
  • Vangrails. Wat niet slechter mag worden terwijl de metric verbetert.
  • Eigenaar. De persoon in de business die het proces aanpast als de pilot werkt.
  • Beslisdatum. De dag waarop de beslissing valt, hoe het resultaat er ook uitziet.

Een illustratief voorbeeld voor een supportcopilot die antwoorden op eerstelijnstickets opstelt:

Regel Illustratieve invulling
Metric Mediane afhandeltijd per eerstelijnsticket
Baseline Gemeten over de vier weken vóór de pilot, dezelfde ticketcategorieën
Beslisregel Uitrollen als de mediaan met 10% of meer daalt; stoppen als die met minder dan 3% daalt
Vangrails Heropeningspercentage en klanttevredenheid binnen één punt van de baseline
Eigenaar Hoofd support
Beslisdatum Zes weken na de lancering

Als het langer dan een week duurt om het over deze pagina eens te worden, is het probleem niet klaar voor AI. Soms laat het schrijven ervan zien dat de metric met een regel of een rapport te verschuiven is, en dan is het goedkopere antwoord het juiste.

Voor engineers: zorgen dat de metric standhoudt

Randomiseer op de eenheid waar het effect optreedt. Bij een supportcopilot is dat de medewerker of het team, niet het ticket, als medewerkers anders van de copilot zouden leren en hun aanpak van controletickets zouden veranderen. Voor operationele processen die niet tegelijk te splitsen zijn, wissel je perioden af met een switchback-opzet. Houd na de uitrol een kleine holdout aan om te zien of het effect wegebt.

Meet de baseline met de eigen pipeline van de pilot. Dezelfde query, dezelfde filters, dezelfde vensterlengte. Draai eerst een A/A-vergelijking, waarbij je het verkeer splitst zonder iets te veranderen, om te zien hoeveel de metric uit zichzelf beweegt. Seizoensgevoelige metrics hebben een gelijktijdige controlegroep nodig; een voor-en-navergelijking haalt de pilot en de kalender door elkaar.

Bepaal de omvang van de test voordat je begint. Voor twee groepen bij 80% power en 5% significantie is een gangbare vuistregel n per groep ≈ 16·σ²/δ², waarbij σ de standaardafwijking van de metric is en δ het kleinste effect dat het detecteren waard is. Illustratieve getallen: als de afhandeltijd een standaardafwijking van 6 minuten heeft en het effect dat telt 0,6 minuut is, dan is n ≈ 16 × 36 / 0,36 = 1.600 tickets per groep. Een team dat 200 van zulke tickets per week afhandelt, heeft 16 weken nodig om er 3.200 te verzamelen. Dat is het moment om een groter effect te kiezen, een langere pilot, of een minder ruizige metric, bijvoorbeeld door te corrigeren voor de afhandeltijd van elke medewerker in de periode ervoor. Afhandeltijden zijn scheef verdeeld, dus vergelijk medianen of log-getransformeerde waarden, of bepaal het interval met een bootstrap.

Zet de metric in het contract. De definitie, de databron, de query, het venster en de drempel gaan als acceptatiecriterium voor de mijlpaal in de statement of work. Acceptatie betekent dan de afgesproken query draaien, niet discussiëren over de vraag of het systeem nuttig aanvoelt.

Schrijf het stopcriterium op vóór de lancering. Als het effect op de beslisdatum onder de drempel ligt, stopt de pilot. Elke dag naar het resultaat kijken en stoppen als het er goed uitziet, blaast het aantal vals-positieven op; als tussentijds kijken onvermijdelijk is, gebruik dan een sequentiële test die daarvoor ontworpen is.

Hoe wij hiermee werken

We spreken de metric af voordat er een model wordt getraind, en die gaat als acceptatiecriterium in het contract. Mijlpalen worden pas na acceptatie gefactureerd, dus de metric bepaalt de factuur. Eén vaste engineer blijft van begin tot eind op het project, zodat de definitie van de metric niet verschuift tussen overdrachten. Als het charter van één pagina laat zien dat een regel of een rapport de metric goedkoper zou verschuiven, zeggen we dat en raden we af om ML in te kopen.

Volgens onze tarieven is een discovery-traject €6k–14k over 2–3 weken, en in die fase schrijven we het charter hierboven samen met de budgethouder. Een teardown laat zien hoe discovery, proof of concept en productie geprijsd zijn, en via de contactpagina start je er een.

Bronnen

Een proces dat te veel kost?

Vertel ons erover. Het eerste gesprek is gratis, en als AI niet het antwoord is, zeggen we dat.

Bespreek je vraagstuk