Viele enttäuschende Machine-Learning-Projekte scheitern nicht am Modell. Sie scheitern, bevor das Training beginnt: Niemand kann sagen, wie gut der aktuelle Prozess funktioniert, die Entscheidung, die das Modell treffen würde, ist einige hundert Dollar im Monat wert, oder das Ergebnis landet in einem Dashboard, das niemand öffnet. Die Umfragen sagen in der Summe dasselbe. Gartner erwartet, dass über 40% der Projekte mit agentischer KI bis Ende 2027 eingestellt werden, und nennt eskalierende Kosten, unklaren Geschäftswert oder unzureichende Risikokontrollen. In der McKinsey-Umfrage von 2025 berichteten 39% der Befragten überhaupt eine EBIT-Wirkung von KI auf Unternehmensebene, und die meisten davon bezifferten sie auf unter 5%. Die BCG-Studie vom September 2025 ergab, dass 5% der Unternehmen in der Breite Wert aus KI ziehen und 60% trotz erheblicher Investitionen minimale Umsatz- und Kostengewinne berichten.
Wir bauen beruflich ML-Systeme, und trotzdem raten wir Ihnen vom Kauf ab, wenn eine Regel oder ein Report günstiger ist. Diese Notiz listet die fünf Anzeichen auf, die wir prüfen, was jedes davon für das Unternehmen bedeutet und was Sie stattdessen bauen sollten.
Die Kurzfassung für die Person, die das Budget unterschreibt
Was. Fünf Fragen zu Ihrem Prozess, Ihren Daten und Ihrem Team. Lautet eine Antwort „nein“, ist ein Modell wahrscheinlich nicht der nächste Schritt.
Wann. Stellen Sie sie vor einer Discovery-Phase, nicht nach einem Proof of Concept. Die Antworten kosten einen Nachmittag.
Kosten, wenn Sie sie überspringen. Eine Discovery-Phase mit einem externen Team kostet typischerweise 6k–14k € über 2–3 Wochen, ein Proof of Concept 14k–38k € über 4–7 Wochen und ein Produktionssystem 45k–120k € über 10–20 Wochen. Das sind unsere veröffentlichten Spannen; andere Anbieter weichen ab, aber die Größenordnung stimmt. Eine Regel oder ein Report ist meist in Tagen umgesetzt.
Risiko. Das teure Ergebnis ist nicht ein Modell, das scheitert. Es ist ein Modell, das etwa so gut funktioniert wie eine Regel, die Sie hätten schreiben können, und das nun jeden Monat neu trainiert, überwacht und bezahlt werden muss.
Googles eigener Engineering-Leitfaden beginnt mit demselben Punkt. Regel #1 der Rules of Machine Learning lautet „Don't be afraid to launch a product without machine learning“, weil einfache Heuristiken oft den größten Teil des Weges mit weit weniger Komplexität schaffen.
Anzeichen 1: Sie können nicht sagen, wie gut der aktuelle Prozess funktioniert
Was es bedeutet. Kann niemand die aktuelle Fehlbestandsquote, den aktuellen Anteil betrügerischer Bestellungen oder die aktuelle Antwortzeit auf ein Support-Ticket nennen, wird auch niemand sagen können, ob ein Modell sie verbessert hat. Das Projekt endet mit einer Demo und einem Streit.
Typisches Symptom. Das Ziel ist als Richtung formuliert („Fehlbestände reduzieren“, „die Website personalisieren“) statt als Zahl mit Messmethode und Zeitfenster.
Was Sie stattdessen tun sollten. Bauen Sie zuerst die Messung. Ein wöchentlicher Report der einen Zahl, die das Modell bewegen würde, jede Woche auf dieselbe Weise berechnet, über vier bis acht Wochen. Dieser Report ist die Baseline, die jedes spätere Modell schlagen muss, und er ist für sich allein nützlich: Sobald die Zahl sichtbar ist, kann sich herausstellen, dass ein anderes Problem das lohnendere ist. Regel #2 in Googles Leitfaden sagt dasselbe mit anderen Worten: Kennzahlen vor allem anderen entwerfen und umsetzen.
Anzeichen 2: Die Entscheidung ist selten, oder das Volumen ist klein
Was es bedeutet. Ein Modell verdient seine Kosten, indem es viele kleine Entscheidungen etwas besser macht. Fällt die Entscheidung fünfzigmal im Monat, hat die Verbesserung sehr wenig, womit sie sich multiplizieren kann.
Illustrative Rechnung. Angenommen, ein Modell verbessert jede Entscheidung um 2% des Werts, um den es geht.
| Entscheidungen pro Monat | Wert pro Entscheidung | Monatlicher Gewinn bei 2% | Monate bis zur Amortisation eines Proof of Concept für 14k € |
|---|---|---|---|
| 50 | 200 € | 200 € | 70 |
| 200.000 | 1 € | 4.000 € | 3,5 |
Die Zahlen sind illustrativ, nicht gemessen. Es geht um die Form: Die erste Zeile amortisiert sich nie, noch bevor Monitoring und Retraining eingerechnet sind; die zweite amortisiert sich innerhalb eines Quartals.
Was Sie stattdessen tun sollten. Geben Sie bei seltenen, wertvollen Entscheidungen der entscheidenden Person eine bessere Tabelle: die fünf oder sechs Eingaben, die sie tatsächlich nutzt, nebeneinander, mit dem Ergebnis des Vorjahres neben jedem Fall. Eine Checkliste plus ein Mensch schlägt ein Modell, das auf fünfzig Beispielen trainiert wurde.
Anzeichen 3: Eine einfache Regel erfasst bereits den Großteil des Werts
Was es bedeutet. Viele Probleme haben eine Regel, die die Masse der Fälle abdeckt. Bestellungen oberhalb einer Wertschwelle zurückhalten, die mit einer neuen Karte an eine neue Adresse gehen. Besuchern ohne Historie die Bestseller der Kategorie zeigen. Nachbestellen, wenn der Bestand weniger als N Tage der Verkäufe des Vormonats abdeckt. Ein Modell muss die Regel deutlich genug schlagen, um seine Bau- und Betriebskosten zu decken, und oft tut es das nicht.
Typisches Symptom. Niemand hat die Regel ausprobiert, also weiß niemand, wie viel für ein Modell noch zu gewinnen ist.
Was Sie stattdessen tun sollten. Setzen Sie die Regel um, messen Sie sie mit dem Report aus Anzeichen 1 und führen Sie eine Liste der Fälle, in denen sie falsch liegt. Diese Liste erfüllt zwei Aufgaben: Sie zeigt, wie viel Wert ein Modell noch hinzufügen könnte, und sie wird zu den ersten gelabelten Daten und zum Testset, falls Sie später eines bauen.
Wann die Regel nicht mehr reicht. Googles Regel #3 ist das Gegengewicht: Machine Learning einer komplexen Heuristik vorziehen. Ist die Regel zu Dutzenden Ausnahmen gewachsen, die nur eine Person versteht, und macht jede neue Ausnahme eine alte kaputt, ist ein Modell leichter zu pflegen als das Regelwerk. Dann beginnt ML Sinn zu ergeben.
Anzeichen 4: Ihre Daten halten das vorherzusagende Ergebnis nicht fest
Was es bedeutet. Ein Modell lernt aus Beispielen, bei denen die Antwort bekannt ist. Wurde die Antwort nie aufgeschrieben, gibt es nichts, woraus es lernen kann.
Typische Symptome.
- Nachfrageprognose auf einer Verkaufshistorie, die Fehlbestände nicht festhält. Als das Regal leer war, waren die Verkäufe null, die Nachfrage aber nicht, und das Modell lernt, dass das Produkt unbeliebt ist, genau an den Tagen, an denen es am meisten gefragt war.
- Churn-Prognose, bei der niemand festgehalten hat, wann ein Kunde gegangen ist, nur dass er nicht mehr auftaucht.
- Betrugs-Scoring, bei dem Rückbuchungen im Portal eines Zahlungsanbieters liegen und nie mit den Bestellungen verknüpft wurden.
Was Sie stattdessen tun sollten. Beginnen Sie jetzt, das Ergebnis zu protokollieren, im selben System wie die Eingaben, mit Zeitstempel. Die meisten Ergebnisse brauchen drei bis sechs Monate Historie, bevor ein Modell trainiert und dann auf einem späteren, ungesehenen Zeitraum getestet werden kann. Betreiben Sie in der Zwischenzeit einen Report oder eine Regel. Kommt das Ergebnis verzögert (Rückbuchungen können Wochen dauern), planen Sie diese Verzögerung im Design ein, statt sie in Produktion zu entdecken.
Anzeichen 5: Niemand ist dafür verantwortlich, auf das Ergebnis zu reagieren
Was es bedeutet. Eine Prognose ändert nichts, bis jemand ihretwegen weniger Ware bestellt. Ein Betrugs-Score ändert nichts, bis eine Bestellung zurückgehalten wird. Gibt es keine benannte Person, kein System, in dem das Ergebnis erscheint, und keine vereinbarte Aktion für jeden Wert, ist das Modell ein Kostenfaktor ohne Ertrag.
Typisches Symptom. Die Antwort auf „Wer wird das nutzen, und was wird diese Person am Montag anders machen?“ ist ein Abteilungsname, keine Person und keine Entscheidung.
Was Sie stattdessen tun sollten. Treffen Sie die Entscheidung einen Monat lang von Hand anhand eines Reports. Stellen Sie den Report dorthin, wo die Entscheidung fällt, und beobachten Sie, ob ihn jemand nutzt. Reagiert niemand auf einen Report, wird auch niemand auf ein Modell reagieren, und das zu lösende Problem ist der Prozess, nicht die Vorhersage.
Ein schneller Selbsttest
Beantworten Sie jede Frage für den Prozess, den Sie verbessern wollen.
| Frage | Wenn die Antwort nein ist | Bauen Sie stattdessen das | Typischer Aufwand |
|---|---|---|---|
| Können Sie den heutigen Wert der Kennzahl nennen und wie er gemessen wird? | Keine Baseline, kein Nachweis einer Verbesserung | Ein wöchentlicher Report dieser einen Kennzahl | Tage |
| Fällt die Entscheidung mindestens tausende Male im Monat, oder ist jede einzelne viel wert? | Zu wenig Volumen, um ein Modell zu amortisieren | Eine Tabelle oder Checkliste für die entscheidende Person | Tage |
| Haben Sie die naheliegende Regel ausprobiert und gemessen? | Sie wissen nicht, was ein Modell hinzufügen könnte | Die Regel, plus ein Protokoll der Fälle, in denen sie falsch liegt | Tage bis zwei Wochen |
| Ist das vorherzusagende Ergebnis für die letzten Monate mit Datum festgehalten? | Nichts, woraus gelernt werden kann | Protokollierung des Ergebnisses, dann ein Report | Drei bis sechs Monate Protokollierung |
| Gibt es eine benannte verantwortliche Person und eine definierte Aktion für jedes Ergebnis? | Das Ergebnis wird nichts ändern | Ein manueller Prozess auf Basis eines Reports, einen Monat lang | Ein Monat |
Fünfmal „ja“ garantiert nicht, dass sich ein Modell lohnt. Einmal „nein“ reicht meist, um zu sagen, dass es sich noch nicht lohnt.
Wann sich ML lohnt
Dieselbe Checkliste, andersherum gelesen, beschreibt ein gutes ML-Projekt:
- Die Kennzahl wird seit Wochen auf dieselbe Weise gemessen, und es gibt eine Baseline, die zu schlagen ist.
- Die Entscheidung ist häufig, oder jede einzelne hat genug Wert, dass eine kleine Verbesserung zählt.
- Eine Regel existiert, wurde gemessen und ist zu komplex geworden, um sie zu pflegen.
- Das Ergebnis wird lange genug festgehalten, um auf einem Zeitraum zu trainieren und auf einem späteren zu testen.
- Eine benannte Person wird auf das Ergebnis reagieren, in einem System, das sie bereits nutzt.
Selbst dann ist der erste Schritt klein: ein einfaches Modell, verglichen mit der Regel auf derselben Kennzahl, zuerst auf historischen Daten und dann auf einem Teil des Live-Traffics. Schlägt das Modell die Regel nicht um mehr, als sein Betrieb kostet, behalten Sie die Regel. Das ist ein Ergebnis, kein Scheitern.
Wie Sie Ihren eigenen Fall prüfen
Wir bieten unter /teardown einen kostenlosen Teardown mit sechs Fragen an. Er fragt nach Prozess, Daten und verantwortlicher Person, und eine seiner möglichen Antworten lautet „noch kein ML“, zusammen mit dem, was Sie stattdessen bauen sollten. Lautet die Antwort, dass ein Modell sinnvoll ist, zeigen die veröffentlichten Spannen unter /pricing, was der nächste Schritt kostet, bevor jemand zum Telefon greift.
Quellen
- Gartner, Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027, Juni 2025 — https://www.gartner.com/en/newsroom/press-releases/2025-06-25-gartner-predicts-over-40-percent-of-agentic-ai-projects-will-be-canceled-by-end-of-2027
- McKinsey & Company, The state of AI in 2025: Agents, innovation, and transformation, November 2025 — https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
- Boston Consulting Group, The Widening AI Value Gap: Build for the Future 2025 (Pressemitteilung), September 2025 — https://www.bcg.com/press/30september2025-ai-leaders-outpace-laggards-revenue-growth-cost-savings
- Google for Developers, Rules of Machine Learning: Best Practices for ML Engineering (Martin Zinkevich), Seite zuletzt aktualisiert im August 2025 — https://developers.google.com/machine-learning/guides/rules-of-ml