Pergunta do utilizador
chat
- alimenta
- BM25 · Pesquisa densa
Todos os casos técnicos
LLMRAGFerramentas internas4 meses
Copiloto LLM interno (políticas + ferramentas)
Os colaboradores perguntavam aos colegas em vez de lerem a política. Agora perguntam e recebem uma resposta que podem verificar.
Precisão das respostas
89,2%
Retrieval híbrido + reranker + citações
Antes
61%
Piloto RAG ingénuo com um único vetor
Em termos simples
O que é isto.
Sem jargão nesta secção. A descrição técnica está mais abaixo.
O que estava a correr mal
O conhecimento da empresa estava em documentos de políticas que ninguém lia, por isso as pessoas interrompiam os colegas. Uma tentativa anterior com um chatbot piorou as coisas: respondia com confiança sem qualquer forma de saber se estava certo.
O que construímos
Construímos um assistente que pesquisa os documentos reais, ordena o que encontra e só responde com um link para a fonte que usou — além de um conjunto de testes que corre antes de qualquer alteração entrar em produção.
O que mudou
As respostas corretas passaram de 61% para 89%, cada resposta chega com uma fonte para verificar, e os novos colaboradores ficam operacionais de forma mensuravelmente mais rápida.
Arquitetura
Como tudo se encaixa.
Percorra as etapas. Tudo o que está marcado como acrescentado é um componente que não existia antes deste projeto.
BM25
lexical
- recebe de
- Pergunta do utilizador
- alimenta
- Reranker
Pesquisa densa
embeddings
- recebe de
- Pergunta do utilizador
- alimenta
- Reranker
Reranker
top-50 → 8
- recebe de
- BM25 · Pesquisa densa
- alimenta
- LLMcontexto
LLM
fundamentado
- recebe de
- Rerankercontexto
- alimenta
- Tool callsse necessário · Resposta
Tool calls
estado atual
- recebe de
- LLMse necessário
Resposta
com citações
- recebe de
- LLM
- alimenta
- Harness de avaliaçãoavaliado
Harness de avaliação
340 tarefas
- recebe de
- Respostaavaliado
Pergunta do utilizador
chat
- alimenta
- BM25 · Pesquisa densa
BM25
lexical
- recebe de
- Pergunta do utilizador
- alimenta
- Reranker
Pesquisa densa
embeddings
- recebe de
- Pergunta do utilizador
- alimenta
- Reranker
Reranker
top-50 → 8
Acrescentámos isto- recebe de
- BM25 · Pesquisa densa
- alimenta
- LLMcontexto
LLM
fundamentado
- recebe de
- Rerankercontexto
- alimenta
- Tool callsse necessário · Resposta
Tool calls
estado atual
Acrescentámos isto- recebe de
- LLMse necessário
Resposta
com citações
- recebe de
- LLM
- alimenta
- Harness de avaliaçãoavaliado
Harness de avaliação
340 tarefas
Acrescentámos isto- recebe de
- Respostaavaliado
A descrição
Como seria construído.
Conjunto de dados, abordagem, métricas-alvo e a stack. Escrito para quem tiver de o rever.
LLMRAGFerramentas internas4 meses
Copiloto LLM interno (políticas + ferramentas)
Um assistente seguro que responde a perguntas e aciona ferramentas internas com guardrails.
Problema
O conhecimento institucional estava disperso em documentos de políticas. Os colaboradores perguntavam aos colegas em vez de os lerem, e um piloto ingénuo de chatbot dava respostas confiantes sem forma de as verificar.
Conjunto de dados
- linhas
- 128 mil chunks de documentos
- features
- embeddings de 1536 dimensões
- fontes
- Políticas, wikis, runbooks, tickets
- janela
- Corpus completo
Abordagem
- 01Retrieval híbrido que combina BM25 com vetores densos, seguido de um reranker
- 02Respostas restritas aos excertos recuperados, com citações obrigatórias
- 03Tool calling para as consultas que precisam do estado atual do sistema
- 04Um harness de avaliação com 340 perguntas que trava cada alteração de prompt
Métricas
- 89,2%
- precisão das respostas no conjunto de avaliação
- 100%
- cobertura de citações ligado ao excerto
- 0,94
- recall@10 do retrieval +0,21 vs denso
- 2,1 s
- p95 da resposta em streaming
Evidência
- fonte
- Design de referência
- números
- Ilustrativo — valores típicos para este design
- medição
- Não medido. Valores típicos para um design de referência deste tipo, não observados num sistema de cliente.
- referência
- Não disponível para este projeto
- última revisão
- 2026-08-25
Impacto no negócio
- Perguntas sobre políticas respondidas em segundos, com uma fonte para verificar
- Tempo de integração de novos colaboradores mensuravelmente mais curto
- Cada alteração de prompt passa agora por testes de regressão antes da release
Stack tecnológica
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Seguinte
Precisa de um sistema como este?
Responda a seis perguntas e dizemos-lhe se esta forma se adequa ao seu problema — incluindo quando não se adequa.