Pregunta del usuario
chat
- alimenta
- BM25 · Búsqueda densa
Todos los casos de estudio
LLMRAGHerramientas internas4 meses
Copiloto LLM interno (políticas + herramientas)
El personal preguntaba a los compañeros en lugar de leer la política. Ahora pregunta y obtiene una respuesta que puede comprobar.
Precisión de respuesta
89.2%
Recuperación híbrida + reranker + citas
Antes
61%
Piloto RAG ingenuo con un solo vector
En términos claros
Qué es esto.
Sin jerga en esta sección. La descripción técnica está más abajo.
Qué estaba fallando
El conocimiento de la empresa estaba en documentos de políticas que nadie leía, así que la gente interrumpía a sus compañeros. Un intento anterior con un chatbot empeoró las cosas: respondía con seguridad sin forma de saber si acertaba.
Qué construimos
Construimos un asistente que busca en los documentos reales, ordena lo que encuentra y responde solo con un enlace a la fuente utilizada, además de una batería de tests que se ejecuta antes de que cualquier cambio pase a producción.
Qué cambió
Las respuestas correctas pasaron del 61% al 89%, cada respuesta llega con una fuente para verificarla y el personal nuevo se pone al día de forma mediblemente más rápida.
Arquitectura
Cómo encaja todo.
Recorra las etapas. Todo lo marcado como añadido es un componente que no existía antes de este proyecto.
BM25
léxico
- recibe de
- Pregunta del usuario
- alimenta
- Reranker
Búsqueda densa
embeddings
- recibe de
- Pregunta del usuario
- alimenta
- Reranker
Reranker
top-50 → 8
- recibe de
- BM25 · Búsqueda densa
- alimenta
- LLMcontexto
LLM
fundamentado
- recibe de
- Rerankercontexto
- alimenta
- Llamadas a herramientassi hace falta · Respuesta
Llamadas a herramientas
estado en vivo
- recibe de
- LLMsi hace falta
Respuesta
con citas
- recibe de
- LLM
- alimenta
- Harness de evaluaciónevaluado
Harness de evaluación
340 tareas
- recibe de
- Respuestaevaluado
Pregunta del usuario
chat
- alimenta
- BM25 · Búsqueda densa
BM25
léxico
- recibe de
- Pregunta del usuario
- alimenta
- Reranker
Búsqueda densa
embeddings
- recibe de
- Pregunta del usuario
- alimenta
- Reranker
Reranker
top-50 → 8
Esto lo añadimos nosotros- recibe de
- BM25 · Búsqueda densa
- alimenta
- LLMcontexto
LLM
fundamentado
- recibe de
- Rerankercontexto
- alimenta
- Llamadas a herramientassi hace falta · Respuesta
Llamadas a herramientas
estado en vivo
Esto lo añadimos nosotros- recibe de
- LLMsi hace falta
Respuesta
con citas
- recibe de
- LLM
- alimenta
- Harness de evaluaciónevaluado
Harness de evaluación
340 tareas
Esto lo añadimos nosotros- recibe de
- Respuestaevaluado
La descripción
Cómo se construiría.
Dataset, enfoque, métricas objetivo y stack. Escrito para quien tenga que revisarlo.
LLMRAGHerramientas internas4 meses
Copiloto LLM interno (políticas + herramientas)
Un asistente seguro que responde preguntas y lanza herramientas internas con guardrails.
Problema
El conocimiento institucional estaba repartido en documentos de políticas dispersos. El personal preguntaba a los compañeros en lugar de leerlos, y un piloto ingenuo de chatbot daba respuestas seguras sin forma de comprobarlas.
Dataset
- filas
- 128k chunks de documentos
- features
- embeddings de 1536 dim.
- fuentes
- Políticas, wikis, runbooks, tickets
- ventana
- Corpus completo
Enfoque
- 01Recuperación híbrida que combina BM25 con vectores densos, seguida de un reranker
- 02Respuestas limitadas a los fragmentos recuperados, con citas obligatorias
- 03Tool calling para las consultas que necesitan el estado en vivo del sistema
- 04Un harness de evaluación de 340 preguntas que filtra cada cambio de prompt
Métricas
- 89.2%
- precisión de respuesta en el conjunto de evaluación
- 100%
- cobertura de citas enlazado al fragmento
- 0.94
- recall@10 de recuperación +0.21 frente a denso
- 2,1s
- p95 de respuesta en streaming
Evidencia
- fuente
- Diseño de referencia
- cifras
- Ilustrativo: valores típicos para este diseño
- medición
- No medido. Valores típicos para un diseño de referencia de este tipo, no observados en el sistema de un cliente.
- referencia
- No disponible para este proyecto
- última revisión
- 2026-08-25
Impacto en el negocio
- Preguntas sobre políticas respondidas en segundos con una fuente para verificar
- Tiempo de incorporación del personal nuevo mediblemente más corto
- Cada cambio de prompt pasa ahora tests de regresión antes de publicarse
Stack tecnológico
- TypeScript
- Next.js
- Python
- OpenAI-compatible API
- PostgreSQL
- LangChain
- Vector DB
Siguiente paso
¿Necesita un sistema como este?
Responda seis preguntas y le diremos si este planteamiento encaja con su problema, también cuando no encaja.