Por qué un modelo de lenguaje se inventa cosas
Un modelo de lenguaje construye cada respuesta eligiendo continuaciones probables según lo que aprendió en su entrenamiento. No consulta una base de hechos ni comprueba lo que dice. Cuando la información está bien representada en sus datos, la continuación probable suele ser correcta. Cuando no la tiene —un dato muy específico, información de tu empresa, hechos recientes—, sigue generando una respuesta con la misma fluidez, aunque no tenga base.
Además, los modelos tienden a responder antes que a admitir que no saben, sobre todo si las instrucciones no les dan esa opción. Y las preguntas con premisas falsas, como «¿desde cuándo incluye este producto la función X?» cuando no la incluye, los empujan a construir una explicación coherente con la premisa.
Tipos de alucinaciones más habituales
Distinguirlas ayuda a elegir la medida adecuada para cada una:
- Datos inventados: cifras, fechas, precios o nombres incorrectos o inexistentes.
- Fuentes falsas: citas, enlaces o artículos legales fabricados con un formato convincente.
- Infidelidad al contexto: el modelo tiene delante el documento correcto, pero lo resume mal, mezcla dos fuentes o añade algo que no aparece.
- Razonamiento erróneo: cada paso parece lógico, pero la conclusión falla, por ejemplo en un cálculo o al aplicar una regla.
- En agentes: llamadas a herramientas con parámetros inventados, o afirmar que se ha completado una acción que no llegó a ejecutarse.
Técnicas para reducirlas en un proyecto real
Ninguna técnica basta por sí sola. Lo que funciona es combinar varias según el riesgo del caso de uso:
- Anclar las respuestas en fuentes: usar RAG para que el modelo responda con tus documentos y no con su memoria.
- Instrucciones explícitas: limitarse a la información aportada y decir «no lo sé» cuando no la encuentre.
- Citas obligatorias: indicar de qué documento sale cada afirmación, para que se pueda comprobar.
- Datos exactos desde sus sistemas de origen: precios, stock o fechas se consultan mediante herramientas, no se dejan a la memoria del modelo.
- Salidas estructuradas y validación: cuando el resultado alimenta otro sistema, exigir un formato fijo y validar los campos con reglas.
- Evaluación continua: un conjunto de preguntas de prueba con respuestas conocidas para medir el error antes y después de cada cambio.
Cuánto error puede tolerar cada caso de uso
La tolerancia depende de qué pasa si el modelo se equivoca. Un borrador interno que una persona revisa antes de enviarlo admite errores ocasionales; una respuesta automática a un cliente sobre las condiciones de su contrato, no. Un buen diseño asigna el nivel de autonomía en función de ese impacto y mantiene revisión humana donde un error sería caro.
Conviene recordar también que la responsabilidad sobre lo que comunica un asistente es de la empresa que lo despliega, no del modelo. Por eso el sistema debe dejar claro cuándo responde con información verificada y cuándo tiene que derivar a una persona.