Veel machine-learningprojecten die tegenvallen, mislukken niet op het model. Ze mislukken al voordat de training begint: niemand kan zeggen hoe goed het huidige proces werkt, de beslissing die het model zou nemen is een paar honderd dollar per maand waard, of de output belandt in een dashboard dat niemand opent. De enquêtes zeggen in totaal hetzelfde. Gartner verwacht dat meer dan 40% van de agentic-AI-projecten tegen eind 2027 wordt stopgezet, met als redenen oplopende kosten, onduidelijke bedrijfswaarde of ontoereikende risicobeheersing. In de enquête van McKinsey uit 2025 meldde 39% van de respondenten enig effect van AI op de EBIT op bedrijfsniveau, en de meesten daarvan schatten het op minder dan 5%. De studie van BCG uit september 2025 vond dat 5% van de bedrijven op schaal waarde uit AI haalt en dat 60% ondanks forse investeringen minimale omzet- en kostenwinst meldt.
We bouwen ML-systemen voor ons werk, en toch zeggen we je er geen te kopen als een regel of een rapport goedkoper is. Deze notitie zet de vijf signalen op een rij waar we op letten, wat elk ervan voor de business betekent, en wat je in plaats daarvan bouwt.
De korte versie voor wie het budget tekent
Wat. Vijf vragen over je proces, je data en je team. Als een van de antwoorden "nee" is, is een model waarschijnlijk niet de volgende stap.
Wanneer. Stel ze vóór een discoveryfase, niet na een proof of concept. Het beantwoorden kost een middag.
Wat het kost om ze over te slaan. Een discoveryfase met een extern team kost doorgaans €6k–14k over 2–3 weken, een proof of concept €14k–38k over 4–7 weken, en een productiesysteem €45k–120k over 10–20 weken. Dat zijn onze gepubliceerde bandbreedtes; andere leveranciers zullen afwijken, maar de orde van grootte klopt. Een regel of een rapport staat meestal binnen dagen live.
Risico. De dure uitkomst is niet een model dat faalt. Het is een model dat ongeveer even goed werkt als een regel die je zelf had kunnen schrijven, en dat nu elke maand opnieuw getraind, gemonitord en betaald moet worden.
De eigen engineeringrichtlijnen van Google beginnen met hetzelfde punt. Rule #1 van de Rules of Machine Learning is "Don't be afraid to launch a product without machine learning", omdat eenvoudige heuristieken je vaak het grootste deel van de weg brengen met veel minder complexiteit.
Signaal 1: je kunt niet zeggen hoe goed het huidige proces werkt
Wat het betekent. Als niemand het huidige percentage out-of-stocks kan noemen, het huidige aandeel frauduleuze bestellingen, of de huidige tijd tot een supportticket beantwoord is, kan ook niemand zeggen of een model het heeft verbeterd. Het project eindigt met een demo en een discussie.
Typisch symptoom. Het doel is geformuleerd als een richting ("minder out-of-stocks", "de site personaliseren") in plaats van als een getal met een meetmethode en een tijdvenster.
Wat je in plaats daarvan doet. Bouw eerst de meting. Een wekelijks rapport van het ene getal dat het model zou moeten verschuiven, elke week op dezelfde manier berekend, vier tot acht weken lang. Dat rapport is de baseline die elk later model moet verslaan, en het is op zichzelf al nuttig: zodra het getal zichtbaar is, kan blijken dat een ander probleem het oplossen waard is. Rule #2 in de gids van Google zegt hetzelfde in andere woorden: ontwerp en implementeer metrics voor al het andere.
Signaal 2: de beslissing is zeldzaam, of het volume is klein
Wat het betekent. Een model verdient zijn kosten terug door veel kleine beslissingen iets beter te maken. Als de beslissing vijftig keer per maand voorkomt, heeft de verbetering weinig om mee te vermenigvuldigen.
Illustratieve rekensom. Stel dat een model elke beslissing verbetert met 2% van de waarde die op het spel staat.
| Beslissingen per maand | Waarde per beslissing | Maandelijkse winst bij 2% | Maanden om een proof of concept van €14k terug te verdienen |
|---|---|---|---|
| 50 | €200 | €200 | 70 |
| 200.000 | €1 | €4.000 | 3,5 |
De getallen zijn illustratief, niet gemeten. Het gaat om de vorm: de eerste rij verdient zich nooit terug, zelfs voordat monitoring en hertraining zijn meegeteld; de tweede verdient zich binnen een kwartaal terug.
Wat je in plaats daarvan doet. Geef bij zeldzame beslissingen met hoge waarde de persoon die ze neemt een betere spreadsheet: de vijf of zes inputs die die persoon echt gebruikt, naast elkaar, met de uitkomst van vorig jaar bij elke case. Een checklist plus een mens werkt beter dan een model dat op vijftig voorbeelden is getraind.
Signaal 3: een simpele regel pakt het grootste deel van de waarde al
Wat het betekent. Voor veel problemen bestaat een regel die het merendeel van de gevallen afhandelt. Houd bestellingen boven een drempelbedrag vast die naar een nieuw adres gaan met een nieuwe kaart. Toon bestsellers per categorie aan bezoekers zonder historie. Bestel bij als de voorraad minder dan N dagen van de verkoop van vorige maand dekt. Een model moet de regel ruim genoeg verslaan om de bouw- en draaikosten te dekken, en vaak lukt dat niet.
Typisch symptoom. Niemand heeft de regel geprobeerd, dus niemand weet hoeveel er voor een model nog te winnen valt.
Wat je in plaats daarvan doet. Zet de regel live, meet hem met het rapport uit signaal 1, en houd een lijst bij van de gevallen waarin hij het mis heeft. Die lijst doet twee dingen: hij vertelt je hoeveel waarde een model nog zou kunnen toevoegen, en hij wordt de eerste gelabelde data en de testset als je later toch een model bouwt.
Wanneer de regel niet meer volstaat. Rule #3 van Google is het tegenwicht: kies voor machine learning boven een complexe heuristiek. Als de regel is uitgegroeid tot tientallen uitzonderingen die maar één persoon begrijpt, en elke nieuwe uitzondering een oude breekt, is een model makkelijker te onderhouden dan het regelboek. Dan begint ML zinvol te worden.
Signaal 4: je data legt de uitkomst die je wilt voorspellen niet vast
Wat het betekent. Een model leert van voorbeelden waarvan het antwoord bekend is. Als het antwoord nooit is opgeschreven, valt er niets te leren.
Typische symptomen.
- Vraagvoorspelling op verkoophistorie waarin out-of-stocks niet zijn vastgelegd. Toen het schap leeg was, was de verkoop nul maar de vraag niet, en het model leert dat het product impopulair is op precies de dagen dat het het meest gewild was.
- Churnvoorspelling waarbij niemand vastlegde wanneer een klant vertrok, alleen dat die niet meer verscheen.
- Fraudescores waarbij chargebacks in het portaal van een betaalprovider staan en nooit aan bestellingen zijn gekoppeld.
Wat je in plaats daarvan doet. Begin nu met het loggen van de uitkomst, in hetzelfde systeem als de inputs, met een tijdstempel. De meeste uitkomsten hebben drie tot zes maanden historie nodig voordat een model getraind kan worden en daarna getest op een latere periode die het niet heeft gezien. Draai in de tussentijd een rapport of een regel. Als de uitkomst laat binnenkomt (chargebacks kunnen weken duren), plan die vertraging dan in het ontwerp in, in plaats van haar in productie te ontdekken.
Signaal 5: niemand is verantwoordelijk voor het handelen op de output
Wat het betekent. Een forecast verandert niets totdat iemand er minder voorraad door bestelt. Een fraudescore verandert niets totdat een bestelling wordt vastgehouden. Als er geen benoemde persoon is, geen systeem waarin de output verschijnt, en geen afgesproken actie per waarde, is het model een kostenpost zonder opbrengst.
Typisch symptoom. Het antwoord op "wie gaat dit gebruiken en wat doen ze maandag anders" is de naam van een afdeling, niet een persoon en een beslissing.
Wat je in plaats daarvan doet. Neem de beslissing een maand lang met de hand, op basis van een rapport. Zet het rapport op de plek waar de beslissing wordt genomen, en kijk of iemand het gebruikt. Als niemand op een rapport handelt, handelt ook niemand op een model, en dan moet het proces worden gerepareerd, niet de voorspelling.
Een snelle zelftest
Beantwoord elke vraag voor het proces dat je wilt verbeteren.
| Vraag | Als het antwoord nee is | Bouw in plaats daarvan | Typische inspanning |
|---|---|---|---|
| Kun je de huidige waarde van de metric noemen, en hoe die wordt gemeten? | Geen baseline, geen bewijs van verbetering | Een wekelijks rapport van die ene metric | Dagen |
| Komt de beslissing minstens duizenden keren per maand voor, of is elke beslissing veel waard? | Te weinig volume om een model terug te verdienen | Een spreadsheet of checklist voor degene die beslist | Dagen |
| Heb je de voor de hand liggende regel geprobeerd en gemeten? | Je weet niet wat een model zou kunnen toevoegen | De regel, plus een log van de gevallen waarin hij het mis heeft | Dagen tot twee weken |
| Is de uitkomst die je wilt voorspellen vastgelegd, met een datum, over de afgelopen maanden? | Niets om van te leren | Uitkomsten loggen, daarna een rapport | Drie tot zes maanden loggen |
| Is er een benoemde eigenaar en een gedefinieerde actie per output? | Output verandert niets | Een handmatig proces op basis van een rapport, een maand lang | Eén maand |
Vijf keer "ja" garandeert niet dat een model zich terugbetaalt. Eén keer "nee" is meestal genoeg om te zeggen dat het zich nog niet terugbetaalt.
Wanneer ML wel de moeite waard wordt
Dezelfde checklist, andersom gelezen, beschrijft een goed ML-project:
- De metric wordt al weken op dezelfde manier gemeten, en er is een baseline om te verslaan.
- De beslissing komt vaak voor, of elke beslissing is genoeg waard dat een kleine verbetering telt.
- Er bestaat een regel, die is gemeten en te complex is geworden om te onderhouden.
- De uitkomst is lang genoeg vastgelegd om op één periode te trainen en op een latere te testen.
- Een benoemde persoon gaat op de output handelen, in een systeem dat die al gebruikt.
Zelfs dan is de eerste stap klein: een eenvoudig model, vergeleken met de regel op dezelfde metric, eerst op historische data en daarna op een deel van het live verkeer. Als het model de regel niet verslaat met meer dan het kost om te draaien, houd dan de regel. Dat is een resultaat, geen mislukking.
Hoe je je eigen situatie controleert
We bieden een gratis teardown van zes vragen aan op /teardown. Die vraagt naar het proces, de data en de eigenaar, en een van de mogelijke antwoorden is "begin nog niet aan ML", met wat je in plaats daarvan bouwt. Als het antwoord is dat een model zinvol is, laten de gepubliceerde bandbreedtes op /pricing zien wat de volgende stap kost, nog voordat iemand een gesprek inplant.
Bronnen
- Gartner, Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027, juni 2025 — https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027
- McKinsey & Company, The state of AI in 2025: Agents, innovation, and transformation, november 2025 — https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- Boston Consulting Group, The Widening AI Value Gap: Build for the Future 2025 (persbericht), september 2025 — https://www.bcg.com/press/30september2025-ai-leaders-outpace-laggards-revenue-growth-cost-savings
- Google for Developers, Rules of Machine Learning: Best Practices for ML Engineering (Martin Zinkevich), pagina laatst bijgewerkt in augustus 2025 — https://developers.google.com/machine-learning/guides/rules-of-ml