Zum Inhalt springen
SwankyForge
SwankyForge
Alle Insights
Artikel8 Min. Lesezeit

Nach einer Zählung zeigen 95% der KI-Pilotprojekte keine Wirkung auf die GuV. Legen Sie die Kennzahl fest, bevor Sie das Modell bauen.

Vier Studien aus 2025 und Anfang 2026 stimmen darin überein, dass die meisten Unternehmen kaum messbaren Ertrag aus KI sehen und dass das typische Scheitern auf der Geschäftsseite liegt. Die Lösung sind eine Kennzahl, eine Baseline und eine Entscheidungsregel, schriftlich festgehalten, bevor etwas gebaut wird.

Im Juli 2025 veröffentlichte das NANDA-Projekt des MIT einen Bericht, nach dem 95% der Organisationen trotz Unternehmensinvestitionen von 30–40 Mrd. $ keinen Ertrag aus generativer KI erzielten. Fortune brachte die Zahl im August 2025 in eine Schlagzeile, und von dort verbreitete sie sich.

Die Zahl ist schwächer als ihr Ruhm. Sie beruht auf Interviews mit 52 Organisationen, einer Umfrage unter 153 Führungskräften, erhoben auf vier Branchenkonferenzen, und einer Auswertung von mehr als 300 öffentlichen KI-Initiativen. Kritiker nannten die Definition von Erfolg zu eng. Aber drei weitere Studien mit anderen Methoden zeigen in dieselbe Richtung: Die meisten Unternehmen, die KI einsetzen, finden sie noch nicht in ihren Finanzergebnissen.

Wir lesen das so, dass über die meisten dieser Pilotprojekte entschieden war, bevor ein Modell trainiert wurde. Niemand hat eine Baseline gemessen, niemand hat sich auf eine Kennzahl geeinigt, niemand im Fachbereich war für das Ergebnis verantwortlich, und niemand hat geplant, wie das Ergebnis in den Tagesablauf gelangt. Das sind geschäftliche Lücken, und sie zu schließen kostet Tage, nicht Monate.

Vier Studien, eine Richtung

Quelle Stichprobe Was gemessen wurde Zentrales Ergebnis
MIT NANDA, Juli 2025 52 Organisationen interviewt, 153 Führungskräfte befragt, 300+ öffentliche Initiativen ausgewertet, Januar–Juni 2025 Selbst berichteter Ertrag aus generativer KI 95% der Organisationen ohne Ertrag; 5% der integrierten Pilotprojekte erzielen Werte in Millionenhöhe
BCG, September 2025 1.250 Führungskräfte und KI-Entscheider Wert aus KI im gesamten Unternehmen 5% erzeugen substanziellen Wert in der Breite; 60% berichten minimale Umsatz- und Kostengewinne
McKinsey, November 2025 Globale Umfrage unter Organisationen EBIT-Wirkung auf Unternehmensebene 88% nutzen KI in mindestens einer Funktion; 39% berichten überhaupt eine EBIT-Wirkung, und die meisten davon beziffern sie auf unter 5% des EBIT
NBER Working Paper, Februar 2026 Fast 6.000 Führungskräfte in Unternehmen aus vier Ländern Wirkung auf Beschäftigung und Produktivität in den letzten drei Jahren 69% der Unternehmen nutzen KI; neun von zehn berichten keine Wirkung auf Beschäftigung oder Produktivität

Die Definitionen unterscheiden sich. MIT fragt, ob ein Einsatz messbaren Ertrag gebracht hat, BCG sortiert Unternehmen in Reifegruppen, McKinsey fragt nach dem EBIT, und die NBER-Umfrage fragt nach Produktivität und Personalbestand. Keine davon ist eine saubere Messung der Wirkung von KI. Zusammen sagen sie, dass die Verbreitung breit und gemessener Ertrag selten ist.

Wie sehr man den 95% trauen sollte

Weniger, als die Schlagzeilen nahelegen, und der Bericht sagt das selbst. Sein eigener Abschnitt zu Einschränkungen hält fest, dass die Zahlen „richtungsweisend zutreffend“ sind und aus Einzelinterviews statt aus offizieller Unternehmensberichterstattung stammen, dass Erfolgsdefinitionen zwischen Organisationen variieren und dass ein Beobachtungszeitraum von sechs Monaten den Erfolg komplexer Systeme unterschätzen kann. Erfolg wurde definiert als Einsatz über die Pilotphase hinaus mit messbaren KPIs, wobei der Ertrag sechs Monate nach dem Pilotprojekt bewertet wurde. Bei aufgabenspezifischen Tools galt eine Einführung als erfolgreich, wenn Nutzer oder Führungskräfte ihr eine deutliche und anhaltende Wirkung auf Produktivität oder GuV zuschrieben.

Die Kritik des Marketing AI Institute ergänzt, dass die Definition Effizienzgewinne, Kundenbindung und Pipeline-Effekte ignoriert und dass 52 Interviews keine Aussage über den ganzen Markt tragen können. Beide Punkte sind berechtigt. Behandeln Sie die 95% als lauten Datenpunkt, nicht als Ausfallquote.

Zwei Teile des Berichts halten besser als die Schlagzeile. Der erste ist die Diagnose. Die Autoren schreiben, dass die Kluft offenbar nicht von Modellqualität oder Regulierung getrieben wird und dass die meisten Einsätze an fragilen Workflows, fehlendem kontextuellem Lernen und mangelnder Abstimmung mit dem Tagesgeschäft scheitern. Der zweite ist, was erfolgreiche Käufer getan haben: Sie haben Tools nach operativen Ergebnissen statt nach Modell-Benchmarks beurteilt, und sie haben Budgetverantwortliche und Fachbereichsleiter die Probleme auswählen und die Einführung leiten lassen.

Der Bericht ergab außerdem, dass externe Partnerschaften in etwa 67% der Fälle den produktiven Einsatz erreichten, gegenüber etwa 33% bei Eigenentwicklungen. Wir sind ein Anbieter und haben daher ein Interesse an dieser Zahl, und sie sollte mit dem eigenen Vorbehalt des Berichts gelesen werden: Die Zahlen sind selbst berichtet, und Unternehmen, die Partner wählen, können sich auch in anderer Hinsicht von denen unterscheiden, die selbst bauen. Es ist eine Korrelation.

Warum Pilotprojekte stecken bleiben

Aus unserer Sicht erklären vier Lücken die meisten stecken gebliebenen Pilotprojekte, und keine davon ist technisch.

  1. Keine Baseline. „Die Bearbeitungszeit sank um 20%“ bedeutet nichts, wenn niemand die Bearbeitungszeit vor dem Pilotprojekt gemessen hat, mit derselben Definition, über einen vergleichbaren Zeitraum.
  2. Keine vereinbarte Kennzahl. Das Datenteam berichtet Modellgenauigkeit, Finance fragt nach Kosten, Operations nach Durchsatz. Jede Seite wählt ihre Zahl im Nachhinein, und das Pilotprojekt endet in einem Streit statt in einer Entscheidung.
  3. Keine verantwortliche Person im Fachbereich. Ein Pilotprojekt, das ein zentrales Team betreibt, ohne dass auf der Geschäftsseite jemand Budget oder Prozess verantwortet, hat niemanden, der es ausrollt, wenn es funktioniert.
  4. Kein Weg in den Prozess. Das Modell funktioniert in einer Sandbox, aber niemand hat den Bildschirm geändert, mit dem die Menschen arbeiten, die Reihenfolge der Schritte oder die Ziele, an denen sie gemessen werden. Ergebnisse, die außerhalb des Workflows ankommen, werden ignoriert.

Für Budgetverantwortliche: eine Seite, bevor etwas gebaut wird

Bevor Daten bewegt oder ein Modell ausgewählt wird, schreiben Sie eine Seite mit sechs Zeilen.

  • Kennzahl. Eine Zahl, die dem Unternehmen bereits wichtig ist, mit exakter Definition.
  • Baseline. Ihr aktueller Wert, über einen angegebenen Zeitraum, berechnet mit der Abfrage, die das Pilotprojekt verwenden wird.
  • Entscheidungsregel. Welches Ergebnis Ausrollen bedeutet und welches Abbruch.
  • Leitplanken. Was sich nicht verschlechtern darf, während sich die Kennzahl verbessert.
  • Verantwortliche Person. Die Person im Fachbereich, die den Prozess ändert, wenn das Pilotprojekt funktioniert.
  • Entscheidungsdatum. Der Tag, an dem entschieden wird, egal wie das Ergebnis aussieht.

Ein illustratives Beispiel für einen Support-Copilot, der Antworten auf First-Level-Tickets entwirft:

Zeile Illustrativer Eintrag
Kennzahl Median der Bearbeitungszeit pro First-Level-Ticket
Baseline Gemessen über die vier Wochen vor dem Pilotprojekt, dieselben Ticketkategorien
Entscheidungsregel Ausrollen, wenn der Median um 10% oder mehr sinkt; abbrechen, wenn er um weniger als 3% sinkt
Leitplanken Wiedereröffnungsquote und Kundenzufriedenheit innerhalb eines Punktes der Baseline
Verantwortliche Person Leitung Support
Entscheidungsdatum Sechs Wochen nach dem Start

Dauert die Einigung auf diese Seite länger als eine Woche, ist das Problem noch nicht reif für KI. Manchmal zeigt das Schreiben, dass sich die Kennzahl mit einer Regel oder einem Report bewegen lässt, und dann ist die günstigere Antwort die richtige.

Für Engineers: damit die Kennzahl hält

Randomisieren Sie auf der Einheit, auf der der Effekt entsteht. Bei einem Support-Copilot ist das der Agent oder das Team, nicht das Ticket, wenn Agents sonst vom Copilot lernen und ihren Umgang mit Kontrolltickets ändern würden. Für operative Prozesse, die sich nicht gleichzeitig aufteilen lassen, wechseln Sie Zeiträume mit einem Switchback-Design ab. Behalten Sie nach dem Rollout einen kleinen Holdout, um zu sehen, ob der Effekt nachlässt.

Messen Sie die Baseline mit der Pipeline des Pilotprojekts. Dieselbe Abfrage, dieselben Filter, dieselbe Fensterlänge. Führen Sie zuerst einen A/A-Vergleich durch, bei dem der Traffic ohne Änderung aufgeteilt wird, um zu sehen, wie stark sich die Kennzahl von selbst bewegt. Saisonale Kennzahlen brauchen eine gleichzeitige Kontrollgruppe; ein Vorher-Nachher-Vergleich vermischt das Pilotprojekt mit dem Kalender.

Dimensionieren Sie den Test vor dem Start. Für zwei Gruppen bei 80% Power und 5% Signifikanz lautet eine verbreitete Faustregel n pro Gruppe ≈ 16·σ²/δ², wobei σ die Standardabweichung der Kennzahl und δ der kleinste Effekt ist, den zu erkennen sich lohnt. Illustrative Zahlen: Hat die Bearbeitungszeit eine Standardabweichung von 6 Minuten und ist der relevante Effekt 0,6 Minuten, ergibt sich n ≈ 16 × 36 / 0,36 = 1.600 Tickets pro Gruppe. Ein Team, das 200 solcher Tickets pro Woche bearbeitet, braucht 16 Wochen, um 3.200 zu sammeln. Das ist der Moment, einen größeren Effekt, ein längeres Pilotprojekt oder eine weniger verrauschte Kennzahl zu wählen, etwa durch Bereinigung um die Bearbeitungszeit jedes Agents in der Vorperiode. Bearbeitungszeiten sind schief verteilt, vergleichen Sie also Mediane oder log-transformierte Werte, oder bestimmen Sie das Intervall per Bootstrap.

Schreiben Sie die Kennzahl in den Vertrag. Definition, Datenquelle, Abfrage, Zeitraum und Schwelle kommen als Abnahmekriterium für den Meilenstein in die Leistungsbeschreibung. Abnahme bedeutet dann, die vereinbarte Abfrage auszuführen, nicht darüber zu diskutieren, ob sich das System nützlich anfühlt.

Halten Sie das Abbruchkriterium vor dem Start schriftlich fest. Liegt der Effekt am Entscheidungsdatum unter der Schwelle, wird das Pilotprojekt beendet. Das Ergebnis täglich zu prüfen und aufzuhören, wenn es gut aussieht, bläht die falsch-positiven Ergebnisse auf; sind frühe Blicke unvermeidbar, verwenden Sie einen dafür entworfenen sequenziellen Test.

Wie wir damit arbeiten

Wir vereinbaren die Kennzahl, bevor ein Modell trainiert wird, und sie kommt als Abnahmekriterium in den Vertrag. Meilensteine werden erst nach der Abnahme in Rechnung gestellt, also entscheidet die Kennzahl über die Rechnung. Ein namentlich benannter Engineer bleibt vom Anfang bis zum Ende im Projekt, sodass die Definition der Kennzahl nicht zwischen Übergaben abdriftet. Zeigt die einseitige Charta, dass eine Regel oder ein Report die Kennzahl günstiger bewegen würde, sagen wir das und raten vom Kauf von ML ab.

Laut unserer Preisliste kostet eine Discovery 6k–14k € über 2–3 Wochen, und in dieser Phase schreiben wir die obige Charta gemeinsam mit den Budgetverantwortlichen. Ein Teardown zeigt, wie Discovery, Proof of Concept und Produktion bepreist werden, und über die Kontaktseite lässt sich einer beginnen.

Quellen

Haben Sie einen Prozess, der zu viel kostet?

Erzählen Sie uns davon. Das erste Gespräch ist kostenlos, und wenn KI nicht die Antwort ist, sagen wir das.

Aufgabe besprechen