Domanda dell'utente
chat
- alimenta
- BM25 · Ricerca densa
Tutti i case study
LLMRAGStrumenti interni4 mesi
Copilot LLM interno (policy + strumenti)
Il personale chiedeva ai colleghi invece di leggere la policy. Ora chiede e riceve una risposta verificabile.
Accuratezza delle risposte
89.2%
Retrieval ibrido + reranker + citazioni
Prima
61%
Pilota RAG ingenuo a vettore singolo
In parole semplici
Di cosa si tratta.
Niente gergo in questa sezione. La descrizione tecnica è più in basso.
Cosa non funzionava
La conoscenza aziendale stava in documenti di policy che nessuno leggeva, così le persone interrompevano i colleghi. Un precedente tentativo con un chatbot aveva peggiorato le cose: rispondeva con sicurezza senza alcun modo di capire se avesse ragione.
Cosa abbiamo costruito
Abbiamo costruito un assistente che cerca nei documenti reali, ordina ciò che trova e risponde solo con un link alla fonte usata, più una suite di test che gira prima che qualsiasi modifica vada in produzione.
Cosa è cambiato
Le risposte corrette sono passate dal 61% all'89%, ogni risposta arriva con una fonte da verificare e il nuovo personale diventa operativo in modo misurabilmente più rapido.
Architettura
Come si incastrano le parti.
Scorra le fasi. Tutto ciò che è contrassegnato come aggiunto è un componente che non esisteva prima di questo progetto.
BM25
lessicale
- riceve da
- Domanda dell'utente
- alimenta
- Reranker
Ricerca densa
embedding
- riceve da
- Domanda dell'utente
- alimenta
- Reranker
Reranker
top-50 → 8
- riceve da
- BM25 · Ricerca densa
- alimenta
- LLMcontesto
LLM
ancorato alle fonti
- riceve da
- Rerankercontesto
- alimenta
- Chiamate agli strumentise serve · Risposta
Chiamate agli strumenti
stato in tempo reale
- riceve da
- LLMse serve
Risposta
con citazioni
- riceve da
- LLM
- alimenta
- Harness di valutazionevalutata
Harness di valutazione
340 task
- riceve da
- Rispostavalutata
Domanda dell'utente
chat
- alimenta
- BM25 · Ricerca densa
BM25
lessicale
- riceve da
- Domanda dell'utente
- alimenta
- Reranker
Ricerca densa
embedding
- riceve da
- Domanda dell'utente
- alimenta
- Reranker
Reranker
top-50 → 8
L'abbiamo aggiunto noi- riceve da
- BM25 · Ricerca densa
- alimenta
- LLMcontesto
LLM
ancorato alle fonti
- riceve da
- Rerankercontesto
- alimenta
- Chiamate agli strumentise serve · Risposta
Chiamate agli strumenti
stato in tempo reale
L'abbiamo aggiunto noi- riceve da
- LLMse serve
Risposta
con citazioni
- riceve da
- LLM
- alimenta
- Harness di valutazionevalutata
Harness di valutazione
340 task
L'abbiamo aggiunto noi- riceve da
- Rispostavalutata
La descrizione
Come verrebbe costruito.
Dataset, approccio, metriche obiettivo e stack. Scritto per chi dovrà esaminarlo.
LLMRAGStrumenti interni4 mesi
Copilot LLM interno (policy + strumenti)
Un assistente sicuro che risponde alle domande e attiva strumenti interni con guardrail.
Problema
La conoscenza aziendale viveva in documenti di policy sparsi. Il personale chiedeva ai colleghi invece di leggerli, e un chatbot pilota ingenuo produceva risposte sicure senza alcun modo di verificarle.
Dataset
- righe
- 128k chunk di documenti
- feature
- embedding a 1536 dimensioni
- fonti
- Policy, wiki, runbook, ticket
- finestra
- Corpus completo
Approccio
- 01Retrieval ibrido che combina BM25 e vettori densi, seguito da un reranker
- 02Risposte vincolate agli span recuperati, con citazioni obbligatorie
- 03Tool calling per le ricerche che richiedono lo stato dei sistemi in tempo reale
- 04Un harness di valutazione da 340 domande che fa da gate a ogni modifica dei prompt
Metriche
- 89.2%
- accuratezza delle risposte sull'eval set
- 100%
- copertura delle citazioni collegata allo span
- 0.94
- recall@10 del retrieval +0.21 vs denso
- 2.1s
- risposta p95 in streaming
Evidenza
- fonte
- Reference design
- numeri
- Illustrativo: valori tipici per questo design
- misurazione
- Non misurato. Valori tipici per un progetto di riferimento di questo tipo, non osservati su un sistema di un cliente.
- referenza
- Non disponibile per questo progetto
- ultima revisione
- 2026-08-25
Impatto sul business
- Domande sulle policy con risposta in pochi secondi e una fonte da verificare
- Tempo di inserimento del nuovo personale misurabilmente più breve
- Ogni modifica dei prompt ora passa test di regressione prima del rilascio
Stack tecnologico
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Prossimo passo
Le serve un sistema come questo?
Risponda a sei domande e le diremo se questa struttura si adatta al suo problema, anche quando non è così.