Nutzerfrage
Chat
- speist
- BM25 · Dense-Suche
Alle Fallstudien
LLMRAGInterne Tools4 Monate
Interner LLM-Copilot (Richtlinien + Tools)
Mitarbeiter fragten Kollegen, statt die Richtlinie zu lesen. Jetzt fragen sie und bekommen eine Antwort, die sie prüfen können.
Antwortgenauigkeit
89,2 %
Hybrides Retrieval + Reranker + Quellenangaben
Vorher
61 %
Naiver RAG-Pilot mit einem Vektor
In einfachen Worten
Worum es geht.
In diesem Abschnitt kein Fachjargon. Die technische Beschreibung folgt weiter unten.
Was schieflief
Das Wissen des Unternehmens steckte in Richtliniendokumenten, die niemand las, also unterbrachen die Leute stattdessen ihre Kollegen. Ein früherer Chatbot-Versuch machte es schlimmer: Er antwortete selbstsicher, ohne dass man erkennen konnte, ob er richtig lag.
Was wir gebaut haben
Wir haben einen Assistenten gebaut, der die tatsächlichen Dokumente durchsucht, die Treffer rankt und nur mit einem Link zur verwendeten Quelle antwortet – plus eine Testsuite, die vor jeder Änderung läuft, bevor sie live geht.
Was sich geändert hat
Der Anteil richtiger Antworten stieg von 61 % auf 89 %, jede Antwort kommt mit einer überprüfbaren Quelle, und neue Mitarbeiter arbeiten sich messbar schneller ein.
Architektur
Wie alles zusammenpasst.
Scrollen Sie durch die Phasen. Alles, was als hinzugefügt markiert ist, ist eine Komponente, die es vor diesem Projekt nicht gab.
BM25
lexikalisch
- erhält von
- Nutzerfrage
- speist
- Reranker
Dense-Suche
Embeddings
- erhält von
- Nutzerfrage
- speist
- Reranker
Reranker
Top-50 → 8
- erhält von
- BM25 · Dense-Suche
- speist
- LLMKontext
LLM
quellengestützt
- erhält von
- RerankerKontext
- speist
- Tool-Aufrufebei Bedarf · Antwort
Tool-Aufrufe
Live-Zustand
- erhält von
- LLMbei Bedarf
Antwort
mit Quellenangaben
- erhält von
- LLM
- speist
- Eval-Harnessbewertet
Eval-Harness
340 Aufgaben
- erhält von
- Antwortbewertet
Nutzerfrage
Chat
- speist
- BM25 · Dense-Suche
BM25
lexikalisch
- erhält von
- Nutzerfrage
- speist
- Reranker
Dense-Suche
Embeddings
- erhält von
- Nutzerfrage
- speist
- Reranker
Reranker
Top-50 → 8
Das haben wir hinzugefügt- erhält von
- BM25 · Dense-Suche
- speist
- LLMKontext
LLM
quellengestützt
- erhält von
- RerankerKontext
- speist
- Tool-Aufrufebei Bedarf · Antwort
Tool-Aufrufe
Live-Zustand
Das haben wir hinzugefügt- erhält von
- LLMbei Bedarf
Antwort
mit Quellenangaben
- erhält von
- LLM
- speist
- Eval-Harnessbewertet
Eval-Harness
340 Aufgaben
Das haben wir hinzugefügt- erhält von
- Antwortbewertet
Die Beschreibung
Wie es gebaut würde.
Datensatz, Vorgehen, Zielmetriken und der Stack. Geschrieben für die Person, die es prüfen muss.
LLMRAGInterne Tools4 Monate
Interner LLM-Copilot (Richtlinien + Tools)
Ein sicherer Assistent, der Fragen beantwortet und interne Tools mit Leitplanken auslöst.
Problem
Das institutionelle Wissen lag in verstreuten Richtliniendokumenten. Mitarbeiter fragten Kollegen, statt sie zu lesen, und ein naiver Chatbot-Pilot lieferte selbstsichere Antworten, die sich nicht überprüfen ließen.
Datensatz
- Zeilen
- 128 Tsd. Dokument-Chunks
- Features
- 1536-dim. Embeddings
- Quellen
- Richtlinien, Wikis, Runbooks, Tickets
- Zeitraum
- Gesamter Bestand
Vorgehen
- 01Hybrides Retrieval aus BM25 und Dense-Vektoren, danach ein Reranker
- 02Antworten auf abgerufene Spans beschränkt, mit verpflichtenden Quellenangaben
- 03Tool Calling für die Abfragen, die den Live-Zustand von Systemen brauchen
- 04Ein Evaluierungs-Harness mit 340 Fragen als Gate für jede Prompt-Änderung
Metriken
- 89,2 %
- Antwortgenauigkeit auf dem Eval-Set
- 100 %
- Quellenabdeckung Span-verknüpft
- 0,94
- Retrieval recall@10 +0,21 vs. Dense
- 2,1 s
- Antwort p95 gestreamt
Evidenz
- Quelle
- Referenzdesign
- Zahlen
- Illustrativ – typische Werte für dieses Design
- Messung
- Nicht gemessen. Typische Werte für ein Referenzdesign dieser Art, nicht auf einem Kundensystem beobachtet.
- Referenz
- Für dieses Projekt nicht verfügbar
- zuletzt geprüft
- 2026-08-25
Geschäftlicher Effekt
- Fragen zu Richtlinien in Sekunden beantwortet, mit überprüfbarer Quelle
- Einarbeitungszeit neuer Mitarbeiter messbar kürzer
- Jede Prompt-Änderung wird jetzt vor dem Release per Regressionstest geprüft
Tech-Stack
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Weiter
Brauchen Sie ein System wie dieses?
Beantworten Sie sechs Fragen, und wir sagen Ihnen, ob diese Form zu Ihrem Problem passt – auch wenn sie es nicht tut.