Pytanie użytkownika
czat
- zasila
- BM25 · Wyszukiwanie gęste
Wszystkie case studies
LLMRAGNarzędzia wewnętrzne4 miesiące
Wewnętrzny LLM copilot (regulaminy + narzędzia)
Pracownicy pytali kolegów zamiast czytać regulamin. Teraz pytają i dostają odpowiedź, którą mogą sprawdzić.
Trafność odpowiedzi
89.2%
Hybrydowe wyszukiwanie + reranker + cytowania
Było
61%
Naiwny pilotaż RAG z jednym wektorem
Prostymi słowami
Czym to jest.
W tej sekcji nie ma żargonu. Opis techniczny jest niżej.
Co szło nie tak
Wiedza firmowa tkwiła w regulaminach, których nikt nie czytał, więc ludzie odrywali od pracy kolegów. Wcześniejsza próba z chatbotem pogorszyła sprawę: odpowiadał pewnie, bez możliwości sprawdzenia, czy ma rację.
Co zbudowaliśmy
Zbudowaliśmy asystenta, który przeszukuje właściwe dokumenty, szereguje znalezione fragmenty i odpowiada wyłącznie z linkiem do użytego źródła — oraz zestaw testów uruchamiany przed wdrożeniem każdej zmiany.
Co się zmieniło
Odsetek poprawnych odpowiedzi wzrósł z 61% do 89%, każda odpowiedź ma źródło do weryfikacji, a nowi pracownicy wdrażają się mierzalnie szybciej.
Architektura
Jak to się ze sobą łączy.
Proszę przewinąć etapy. Wszystko oznaczone jako dodane to komponent, który nie istniał przed tym projektem.
BM25
leksykalne
- otrzymuje z
- Pytanie użytkownika
- zasila
- Reranker
Wyszukiwanie gęste
embeddingi
- otrzymuje z
- Pytanie użytkownika
- zasila
- Reranker
Reranker
top-50 → 8
- otrzymuje z
- BM25 · Wyszukiwanie gęste
- zasila
- LLMkontekst
LLM
oparte na źródłach
- otrzymuje z
- Rerankerkontekst
- zasila
- Wywołania narzędziw razie potrzeby · Odpowiedź
Wywołania narzędzi
bieżący stan
- otrzymuje z
- LLMw razie potrzeby
Odpowiedź
z cytowaniami
- otrzymuje z
- LLM
- zasila
- Zestaw ewaluacyjnyocena
Zestaw ewaluacyjny
340 zadań
- otrzymuje z
- Odpowiedźocena
Pytanie użytkownika
czat
- zasila
- BM25 · Wyszukiwanie gęste
BM25
leksykalne
- otrzymuje z
- Pytanie użytkownika
- zasila
- Reranker
Wyszukiwanie gęste
embeddingi
- otrzymuje z
- Pytanie użytkownika
- zasila
- Reranker
Reranker
top-50 → 8
To dodaliśmy- otrzymuje z
- BM25 · Wyszukiwanie gęste
- zasila
- LLMkontekst
LLM
oparte na źródłach
- otrzymuje z
- Rerankerkontekst
- zasila
- Wywołania narzędziw razie potrzeby · Odpowiedź
Wywołania narzędzi
bieżący stan
To dodaliśmy- otrzymuje z
- LLMw razie potrzeby
Odpowiedź
z cytowaniami
- otrzymuje z
- LLM
- zasila
- Zestaw ewaluacyjnyocena
Zestaw ewaluacyjny
340 zadań
To dodaliśmy- otrzymuje z
- Odpowiedźocena
Opis
Jak by to zbudować.
Zbiór danych, podejście, docelowe metryki i stack. Napisane dla tego, kto będzie to weryfikował.
LLMRAGNarzędzia wewnętrzne4 miesiące
Wewnętrzny LLM copilot (regulaminy + narzędzia)
Bezpieczny asystent, który odpowiada na pytania i uruchamia wewnętrzne narzędzia w ramach zabezpieczeń.
Problem
Wiedza organizacji była rozproszona po dokumentach z regulaminami. Pracownicy pytali kolegów zamiast je czytać, a naiwny pilotaż chatbota dawał pewne siebie odpowiedzi bez możliwości ich sprawdzenia.
Zbiór danych
- wiersze
- 128 tys. fragmentów dokumentów
- cechy
- embeddingi 1536-wymiarowe
- źródła
- Regulaminy, wiki, runbooki, zgłoszenia
- okno
- Cały korpus
Podejście
- 01Hybrydowe wyszukiwanie łączące BM25 z gęstymi wektorami, a następnie reranker
- 02Odpowiedzi ograniczone do wyszukanych fragmentów z obowiązkowymi cytowaniami
- 03Tool calling dla zapytań wymagających bieżącego stanu systemów
- 04Zestaw ewaluacyjny z 340 pytań jako bramka dla każdej zmiany promptu
Metryki
- 89.2%
- trafność odpowiedzi na zbiorze ewaluacyjnym
- 100%
- pokrycie cytowaniami powiązane z fragmentem
- 0.94
- recall@10 wyszukiwania +0.21 vs dense
- 2.1s
- odpowiedź p95 strumieniowana
Dowody
- źródło
- Projekt referencyjny
- liczby
- Poglądowe — typowe wartości dla tego projektu
- pomiar
- Nie mierzono. Typowe wartości dla projektu referencyjnego tego rodzaju, nie zaobserwowane w systemie klienta.
- referencje
- Niedostępne dla tego projektu
- ostatnia weryfikacja
- 2026-08-25
Wpływ na biznes
- Odpowiedzi na pytania o regulaminy w kilka sekund, ze źródłem do weryfikacji
- Mierzalnie krótszy czas wdrożenia nowych pracowników
- Każda zmiana promptu jest teraz objęta testami regresji przed wydaniem
Stack technologiczny
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Dalej
Potrzebują Państwo takiego systemu?
Proszę odpowiedzieć na sześć pytań, a powiemy, czy ten kształt pasuje do Państwa problemu — także wtedy, gdy nie pasuje.