Question de l'utilisateur
chat
- alimente
- BM25 · Recherche dense
Toutes les études de cas
LLMRAGOutils internes4 mois
Copilote LLM interne (politiques + outils)
Les équipes interrogeaient leurs collègues au lieu de lire la politique. Elles posent maintenant la question et obtiennent une réponse vérifiable.
Justesse des réponses
89,2 %
Recherche hybride + reranker + citations
Avant
61 %
Pilote RAG naïf à vecteur unique
En clair
De quoi il s'agit.
Pas de jargon dans cette section. Le compte rendu technique se trouve plus bas.
Ce qui n'allait pas
La connaissance de l'entreprise dormait dans des documents de politique que personne ne lisait, donc on interrompait les collègues. Une première tentative de chatbot avait aggravé les choses : il répondait avec assurance sans aucun moyen de savoir s'il avait raison.
Ce que nous avons construit
Nous avons construit un assistant qui cherche dans les documents réels, classe ce qu'il trouve et ne répond qu'avec un lien vers la source utilisée, plus une suite de tests qui tourne avant toute mise en ligne d'un changement.
Ce qui a changé
Les réponses sont passées de 61 % à 89 % de justesse, chaque réponse arrive avec une source à vérifier, et les nouveaux arrivants deviennent opérationnels sensiblement plus vite.
Architecture
Comment l'ensemble s'articule.
Faites défiler les étapes. Tout ce qui est marqué comme ajouté est un composant qui n'existait pas avant ce projet.
BM25
lexical
- reçoit de
- Question de l'utilisateur
- alimente
- Reranker
Recherche dense
embeddings
- reçoit de
- Question de l'utilisateur
- alimente
- Reranker
Reranker
top-50 → 8
- reçoit de
- BM25 · Recherche dense
- alimente
- LLMcontexte
LLM
ancré dans les sources
- reçoit de
- Rerankercontexte
- alimente
- Appels d'outilssi nécessaire · Réponse
Appels d'outils
état en direct
- reçoit de
- LLMsi nécessaire
Réponse
avec citations
- reçoit de
- LLM
- alimente
- Banc d'évaluationévalué
Banc d'évaluation
340 tâches
- reçoit de
- Réponseévalué
Question de l'utilisateur
chat
- alimente
- BM25 · Recherche dense
BM25
lexical
- reçoit de
- Question de l'utilisateur
- alimente
- Reranker
Recherche dense
embeddings
- reçoit de
- Question de l'utilisateur
- alimente
- Reranker
Reranker
top-50 → 8
Nous avons ajouté ceci- reçoit de
- BM25 · Recherche dense
- alimente
- LLMcontexte
LLM
ancré dans les sources
- reçoit de
- Rerankercontexte
- alimente
- Appels d'outilssi nécessaire · Réponse
Appels d'outils
état en direct
Nous avons ajouté ceci- reçoit de
- LLMsi nécessaire
Réponse
avec citations
- reçoit de
- LLM
- alimente
- Banc d'évaluationévalué
Banc d'évaluation
340 tâches
Nous avons ajouté ceci- reçoit de
- Réponseévalué
Le compte rendu
Comment il serait construit.
Jeu de données, approche, métriques cibles et stack. Écrit pour la personne qui devra le relire.
LLMRAGOutils internes4 mois
Copilote LLM interne (politiques + outils)
Un assistant sécurisé qui répond aux questions et déclenche des outils internes, avec des garde-fous.
Problème
La connaissance institutionnelle se trouvait dans des documents de politique éparpillés. Les équipes interrogeaient leurs collègues au lieu de les lire, et un pilote de chatbot naïf produisait des réponses assurées impossibles à vérifier.
Jeu de données
- lignes
- 128 k fragments de documents
- features
- embeddings de dimension 1536
- sources
- Politiques, wikis, runbooks, tickets
- fenêtre
- Corpus complet
Approche
- 01Recherche hybride combinant BM25 et vecteurs denses, puis un reranker
- 02Réponses limitées aux passages retrouvés, avec citations obligatoires
- 03Appels d'outils pour les consultations qui nécessitent l'état en direct des systèmes
- 04Un banc d'évaluation de 340 questions qui conditionne chaque changement de prompt
Métriques
- 89,2 %
- justesse des réponses sur le jeu d'évaluation
- 100 %
- couverture des citations liée au passage
- 0,94
- recall@10 de la recherche +0,21 vs dense
- 2,1 s
- p95 de réponse en streaming
Preuves
- source
- Architecture de référence
- chiffres
- Illustratif — valeurs typiques pour cette architecture
- mesure
- Non mesuré. Valeurs typiques pour une architecture de référence de ce type, non observées sur un système client.
- référence
- Non disponible pour ce projet
- dernière revue
- 2026-08-25
Impact métier
- Questions de politique traitées en quelques secondes, avec une source à vérifier
- Temps d'intégration des nouveaux arrivants sensiblement plus court
- Chaque changement de prompt désormais testé en régression avant la release
Stack technique
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Suite
Besoin d'un système comme celui-ci ?
Répondez à six questions et nous vous dirons si cette architecture correspond à votre problème — y compris quand ce n'est pas le cas.