Przejdź do treści
SwankyForge
SwankyForge
Wszystkie insights
Artykuł8 min czytania

Według jednego z liczeń 95% pilotaży AI nie wpływa na wynik finansowy. Metrykę trzeba uzgodnić, zanim zbuduje się model.

Cztery badania z 2025 roku i początku 2026 roku są zgodne, że większość firm widzi niewielki mierzalny zwrot z AI, a typowa przyczyna porażki leży po stronie biznesu, więc rozwiązaniem jest metryka, punkt odniesienia i reguła decyzyjna spisane, zanim cokolwiek powstanie.

W lipcu 2025 roku projekt NANDA z MIT opublikował raport, według którego 95% organizacji uzyskuje zerowy zwrot z generatywnej AI mimo 30–40 mld USD inwestycji przedsiębiorstw. Fortune umieścił tę liczbę w nagłówku w sierpniu 2025 roku i stamtąd się rozeszła.

Liczba jest słabsza, niż sugeruje jej sława. Opiera się na wywiadach z 52 organizacjami, ankiecie wśród 153 menedżerów wyższego szczebla zebranej na czterech konferencjach branżowych i przeglądzie ponad 300 publicznych inicjatyw AI. Krytycy uznali definicję sukcesu za zbyt wąską. Ale trzy inne badania, prowadzone innymi metodami, wskazują w tym samym kierunku: większość firm, które używają AI, nie potrafi jeszcze znaleźć jej w swoich wynikach finansowych.

Naszym zdaniem o losie większości tych pilotaży przesądzono, zanim wytrenowano jakikolwiek model. Nikt nie zmierzył punktu odniesienia, nikt nie uzgodnił metryki, nikt po stronie biznesu nie był właścicielem wyniku i nikt nie zaplanował, jak wynik trafi do codziennego procesu. To luki biznesowe, a ich zamknięcie kosztuje dni pracy, a nie miesiące.

Cztery badania, jeden kierunek

Źródło Próba Co mierzono Główny wniosek
MIT NANDA, lipiec 2025 52 organizacje w wywiadach, 153 menedżerów w ankiecie, przegląd 300+ publicznych inicjatyw, styczeń–czerwiec 2025 Deklarowany zwrot z generatywnej AI 95% organizacji uzyskuje zerowy zwrot; 5% zintegrowanych pilotaży przynosi wartość liczoną w milionach
BCG, wrzesień 2025 1 250 menedżerów wyższego szczebla i decydentów AI Wartość z AI w całej firmie 5% generuje znaczną wartość na dużą skalę; 60% raportuje minimalne zyski w przychodach i kosztach
McKinsey, listopad 2025 Globalna ankieta wśród organizacji Wpływ na EBIT na poziomie całego przedsiębiorstwa 88% używa AI w co najmniej jednej funkcji; 39% raportuje jakikolwiek wpływ na EBIT, a większość z nich szacuje go poniżej 5% EBIT
Working paper NBER, luty 2026 Prawie 6 000 menedżerów z firm w czterech krajach Wpływ na zatrudnienie i produktywność w ciągu ostatnich trzech lat 69% firm używa AI; dziewięć na dziesięć nie raportuje wpływu na zatrudnienie ani produktywność

Definicje się różnią. MIT pyta, czy wdrożenie przyniosło mierzalny zwrot, BCG dzieli firmy na grupy dojrzałości, McKinsey pyta o EBIT, a ankieta NBER o produktywność i zatrudnienie. Żadne z nich nie jest czystym pomiarem efektu AI. Razem mówią, że wdrożenia są powszechne, a zmierzony zwrot jest rzadki.

Na ile ufać liczbie 95%

Mniej, niż sugerują nagłówki, i sam raport to przyznaje. Jego sekcja ograniczeń stwierdza, że liczby są „trafne co do kierunku” i pochodzą z indywidualnych wywiadów, a nie z oficjalnej sprawozdawczości firm, że definicje sukcesu różnią się między organizacjami i że sześciomiesięczne okno obserwacji może zaniżać sukces złożonych systemów. Sukces zdefiniowano jako wdrożenie wykraczające poza fazę pilotażu z mierzalnymi KPI, przy czym zwrot oceniano sześć miesięcy po pilotażu. W przypadku narzędzi do konkretnych zadań udanym wdrożeniem było takie, które użytkownicy lub menedżerowie opisali jako mające wyraźny i trwały wpływ na produktywność albo wynik finansowy.

Krytyka Marketing AI Institute dodaje, że definicja pomija zyski z efektywności, retencję i wpływ na pipeline sprzedażowy oraz że 52 wywiady nie udźwigną tezy o całym rynku. Oba argumenty są słuszne. Liczbę 95% warto traktować jako głośny punkt danych, a nie jako wskaźnik porażek.

Dwie części raportu bronią się lepiej niż nagłówek. Pierwsza to diagnoza. Autorzy piszą, że podziału nie wydaje się napędzać jakość modeli ani regulacje, a większość wdrożeń zawodzi z powodu kruchych procesów, braku uczenia się z kontekstu i niedopasowania do codziennej działalności. Druga to to, co robili kupujący, którym się udało: oceniali narzędzia po wynikach operacyjnych, a nie po benchmarkach modeli, i pozwalali osobom zarządzającym budżetem oraz menedżerom dziedzinowym wybierać problemy i prowadzić wdrożenia.

Raport wykazał też, że partnerstwa zewnętrzne dochodziły do wdrożenia w około 67% przypadków, wobec około 33% dla rozwiązań budowanych wewnętrznie. Jesteśmy wykonawcą, więc mamy interes w tej liczbie, i należy ją czytać z zastrzeżeniem samego raportu: dane są deklaratywne, a firmy, które wybierają partnerów, mogą różnić się pod innymi względami od tych, które budują u siebie. To korelacja.

Dlaczego pilotaże utykają

Naszym zdaniem cztery luki tłumaczą większość utkniętych pilotaży i żadna z nich nie jest techniczna.

  1. Brak punktu odniesienia. „Czas obsługi spadł o 20%” nic nie znaczy, jeśli nikt nie zmierzył czasu obsługi przed pilotażem, według tej samej definicji, w porównywalnym okresie.
  2. Brak uzgodnionej metryki. Zespół danych raportuje trafność modelu, finanse pytają o koszt, operacje o przepustowość. Każda strona wybiera swoją liczbę po fakcie, a pilotaż kończy się sporem zamiast decyzją.
  3. Brak właściciela po stronie biznesu. Pilotaż prowadzony przez zespół centralny, bez nikogo po stronie biznesu, kto kontroluje budżet albo proces, nie ma komu go wdrożyć, gdy zadziała.
  4. Brak ścieżki do procesu. Model działa w piaskownicy, ale nikt nie zmienił ekranu, z którego korzystają ludzie, kolejności kroków ani celów, z których są rozliczani. Wynik, który pojawia się poza procesem, jest ignorowany.

Dla osoby odpowiedzialnej za budżet: jedna strona, zanim cokolwiek powstanie

Zanim jakiekolwiek dane zostaną przeniesione albo jakikolwiek model wybrany, warto napisać jedną stronę z sześcioma liniami.

  • Metryka. Jedna liczba, na której biznesowi już zależy, z dokładną definicją.
  • Punkt odniesienia. Jej obecna wartość w określonym oknie czasowym, obliczona zapytaniem, którego użyje pilotaż.
  • Reguła decyzyjna. Jaki wynik oznacza wdrożenie, a jaki zatrzymanie.
  • Ograniczenia. Co nie może się pogorszyć, gdy metryka się poprawia.
  • Właściciel. Osoba po stronie biznesu, która zmieni proces, jeśli pilotaż zadziała.
  • Data decyzji. Dzień, w którym zapada decyzja, niezależnie od tego, jak wygląda wynik.

Poglądowy przykład dla copilota wsparcia, który przygotowuje szkice odpowiedzi na zgłoszenia pierwszej linii:

Linia Wpis poglądowy
Metryka Mediana czasu obsługi zgłoszenia pierwszej linii
Punkt odniesienia Mierzony przez cztery tygodnie przed pilotażem, te same kategorie zgłoszeń
Reguła decyzyjna Wdrożyć, jeśli mediana spadnie o 10% lub więcej; zatrzymać, jeśli spadnie o mniej niż 3%
Ograniczenia Odsetek ponownie otwartych zgłoszeń i satysfakcja klientów w granicach jednego punktu od punktu odniesienia
Właściciel Kierownik działu wsparcia
Data decyzji Sześć tygodni po uruchomieniu

Jeśli uzgodnienie tej strony zajmuje więcej niż tydzień, problem nie jest gotowy na AI. Czasem jej napisanie pokazuje, że metrykę można przesunąć regułą albo raportem, i wtedy tańsza odpowiedź jest właściwa.

Dla inżynierów: jak sprawić, by metryka się obroniła

Randomizować na poziomie jednostki, na której zachodzi efekt. Dla copilota wsparcia jest to agent albo zespół, a nie zgłoszenie, jeśli agenci w przeciwnym razie uczyliby się od copilota i zmieniali sposób obsługi zgłoszeń kontrolnych. Dla procesów operacyjnych, których nie da się podzielić w tym samym czasie, warto przeplatać okresy w schemacie switchback. Po wdrożeniu dobrze jest zachować niewielką grupę kontrolną, żeby zobaczyć, czy efekt nie zanika.

Mierzyć punkt odniesienia potokiem samego pilotażu. To samo zapytanie, te same filtry, ta sama długość okna. Najpierw warto przeprowadzić porównanie A/A, dzieląc ruch bez żadnej zmiany, żeby zobaczyć, o ile metryka zmienia się sama z siebie. Metryki sezonowe wymagają równoległej grupy kontrolnej; porównanie przed i po pomiesza pilotaż z kalendarzem.

Zwymiarować test przed startem. Dla dwóch grup przy mocy 80% i istotności 5% popularna reguła kciuka to n na grupę ≈ 16·σ²/δ², gdzie σ to odchylenie standardowe metryki, a δ to najmniejszy efekt wart wykrycia. Liczby poglądowe: jeśli czas obsługi ma odchylenie standardowe 6 minut, a istotny efekt to 0,6 minuty, n ≈ 16 × 36 / 0,36 = 1 600 zgłoszeń na grupę. Zespół obsługujący 200 takich zgłoszeń tygodniowo potrzebuje 16 tygodni, żeby zebrać 3 200. To moment, żeby wybrać większy efekt, dłuższy pilotaż albo mniej zaszumioną metrykę, na przykład korygując o czas obsługi każdego agenta z okresu poprzedzającego. Czasy obsługi mają rozkład skośny, więc warto porównywać mediany albo wartości po transformacji logarytmicznej lub wyznaczać przedział metodą bootstrap.

Wpisać metrykę do umowy. Definicja, źródło danych, zapytanie, okno i próg trafiają do zakresu prac jako kryterium odbioru kamienia milowego. Odbiór oznacza wtedy uruchomienie uzgodnionego zapytania, a nie dyskusję, czy system wydaje się przydatny.

Spisać kryterium zakończenia przed uruchomieniem. Jeśli efekt w dniu decyzji jest poniżej progu, pilotaż się zatrzymuje. Sprawdzanie wyniku codziennie i zatrzymywanie, gdy wygląda dobrze, zawyża liczbę fałszywych pozytywów; jeśli wczesne podglądy są nieuniknione, należy użyć testu sekwencyjnego zaprojektowanego z myślą o nich.

Jak z tym pracujemy

Metrykę uzgadniamy, zanim zostanie wytrenowany jakikolwiek model, i trafia ona do umowy jako kryterium odbioru. Kamienie milowe fakturujemy dopiero po odbiorze, więc to metryka decyduje o fakturze. Jeden wskazany inżynier zostaje w projekcie od początku do końca, dzięki czemu definicja metryki nie rozmywa się przy przekazaniach. Gdy jednostronicowa karta pokazuje, że reguła albo raport przesunęłyby metrykę taniej, mówimy to i odradzamy kupowanie ML.

W naszym cenniku discovery to 6k–14k € w ciągu 2–3 tygodni i na tym etapie razem z osobą odpowiedzialną za budżet piszemy opisaną wyżej kartę. Teardown pokazuje, jak wyceniane są discovery, proof of concept i produkcja, a strona kontaktowa to sposób, żeby go rozpocząć.

Źródła

Mają Państwo proces, który kosztuje za dużo?

Proszę nam o nim opowiedzieć. Pierwsza rozmowa jest bezpłatna, a jeśli AI nie jest odpowiedzią, powiemy to wprost.

Omów zadanie