Vraag van gebruiker
chat
- voedt
- BM25 · Dense search
Alle case studies
LLMRAGInterne tools4 maanden
Interne LLM-copilot (beleid + tools)
Medewerkers vroegen het collega's in plaats van het beleid te lezen. Nu stellen ze de vraag en krijgen ze een antwoord dat ze kunnen controleren.
Antwoordnauwkeurigheid
89.2%
Hybride retrieval + reranker + bronvermelding
Was
61%
Naïeve RAG-pilot met één vector
In gewone taal
Wat dit is.
Geen jargon in deze sectie. De technische uitwerking staat verderop.
Wat er misging
Bedrijfskennis zat in beleidsdocumenten die niemand las, dus mensen stoorden in plaats daarvan collega's. Een eerdere chatbotpoging maakte het erger: die antwoordde zelfverzekerd, zonder dat te zien was of het klopte.
Wat we bouwden
We hebben een assistent gebouwd die de echte documenten doorzoekt, rankt wat hij vindt en alleen antwoordt met een link naar de gebruikte bron — plus een testsuite die draait voordat een wijziging live gaat.
Wat er veranderde
Antwoorden gingen van 61% juist naar 89%, elk antwoord komt met een bron om te controleren, en nieuwe medewerkers zijn aantoonbaar sneller ingewerkt.
Architectuur
Hoe het in elkaar past.
Scroll door de fasen. Alles wat als toegevoegd is gemarkeerd, is een component dat vóór dit project niet bestond.
BM25
lexicaal
- ontvangt van
- Vraag van gebruiker
- voedt
- Reranker
Dense search
embeddings
- ontvangt van
- Vraag van gebruiker
- voedt
- Reranker
Reranker
top-50 → 8
- ontvangt van
- BM25 · Dense search
- voedt
- LLMcontext
LLM
op bronnen
- ontvangt van
- Rerankercontext
- voedt
- Tool callsindien nodig · Antwoord
Tool calls
live status
- ontvangt van
- LLMindien nodig
Antwoord
met bronvermelding
- ontvangt van
- LLM
- voedt
- Evaluatieharnasgescoord
Evaluatieharnas
340 taken
- ontvangt van
- Antwoordgescoord
Vraag van gebruiker
chat
- voedt
- BM25 · Dense search
BM25
lexicaal
- ontvangt van
- Vraag van gebruiker
- voedt
- Reranker
Dense search
embeddings
- ontvangt van
- Vraag van gebruiker
- voedt
- Reranker
Reranker
top-50 → 8
Dit hebben wij toegevoegd- ontvangt van
- BM25 · Dense search
- voedt
- LLMcontext
LLM
op bronnen
- ontvangt van
- Rerankercontext
- voedt
- Tool callsindien nodig · Antwoord
Tool calls
live status
Dit hebben wij toegevoegd- ontvangt van
- LLMindien nodig
Antwoord
met bronvermelding
- ontvangt van
- LLM
- voedt
- Evaluatieharnasgescoord
Evaluatieharnas
340 taken
Dit hebben wij toegevoegd- ontvangt van
- Antwoordgescoord
De uitwerking
Hoe het gebouwd zou worden.
Dataset, aanpak, doelmetrics en de stack. Geschreven voor wie het moet reviewen.
LLMRAGInterne tools4 maanden
Interne LLM-copilot (beleid + tools)
Een beveiligde assistent die vragen beantwoordt en interne tools aanroept, binnen guardrails.
Probleem
Organisatiekennis zat in verspreide beleidsdocumenten. Medewerkers vroegen het collega's in plaats van ze te lezen, en een naïeve chatbotpilot gaf zelfverzekerde antwoorden die niet te controleren waren.
Dataset
- rijen
- 128k documentchunks
- features
- 1536-dim embeddings
- bronnen
- Beleid, wiki's, runbooks, tickets
- periode
- Volledig corpus
Aanpak
- 01Hybride retrieval die BM25 combineert met dense vectors, gevolgd door een reranker
- 02Antwoorden beperkt tot opgehaalde passages, met verplichte bronvermelding
- 03Tool calling voor opzoekingen die de live systeemstatus nodig hebben
- 04Een evaluatieharnas van 340 vragen als poort voor elke promptwijziging
Metrics
- 89.2%
- antwoordnauwkeurigheid op evaluatieset
- 100%
- bronvermelding gekoppeld aan passage
- 0.94
- retrieval recall@10 +0.21 vs dense
- 2.1s
- respons p95 gestreamd
Bewijs
- bron
- Referentieontwerp
- cijfers
- Illustratief — typische waarden voor dit ontwerp
- meting
- Niet gemeten. Gangbare waarden voor een referentieontwerp van dit type, niet waargenomen op een klantsysteem.
- referentie
- Niet beschikbaar voor dit project
- laatst gecontroleerd
- 2026-08-25
Bedrijfsimpact
- Beleidsvragen binnen seconden beantwoord, met een bron om te controleren
- Inwerktijd voor nieuwe medewerkers aantoonbaar korter
- Elke promptwijziging nu vóór release op regressie getest
Tech stack
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Volgende
Een systeem als dit nodig?
Beantwoord zes vragen en we vertellen je of deze opzet bij je probleem past — ook als dat niet zo is.