Cómo genera texto un modelo de lenguaje
Un LLM trabaja con tokens, fragmentos de texto que pueden ser una palabra, parte de una palabra o un signo de puntuación. Durante el entrenamiento procesa grandes volúmenes de texto y ajusta miles de millones de parámetros internos para predecir qué token es más probable a continuación de una secuencia. La arquitectura dominante se llama transformer, y su pieza clave es un mecanismo de atención que relaciona cada parte del texto con todas las demás.
Tras ese preentrenamiento, los modelos pasan por fases de ajuste adicionales para que sigan instrucciones y eviten respuestas dañinas. Al recibir un texto de entrada (el prompt), generan la respuesta token a token.
Hay dos conceptos prácticos que conviene conocer. La ventana de contexto es la cantidad máxima de texto que el modelo puede tener en cuenta a la vez, incluidas instrucciones, documentos y conversación. La fecha de corte del entrenamiento marca el momento a partir del cual el modelo no sabe nada, salvo lo que tú le proporciones.
Para qué se usa un LLM en una empresa
Los usos con mejor relación entre valor y riesgo son los que aprovechan su dominio del lenguaje sobre información que tú le das:
- Extraer datos estructurados de documentos: facturas, notas de entrega, contratos o correos convertidos en campos listos para tu ERP.
- Clasificar y enrutar: decidir a qué departamento va un correo, qué prioridad tiene una incidencia o qué intención hay detrás de un mensaje.
- Redactar y resumir: borradores de respuestas, actas de reuniones o informes a partir de datos que ya tienes.
- Responder preguntas sobre tu documentación, combinado con un sistema de recuperación como RAG.
- Servir de motor de razonamiento en agentes que usan herramientas para ejecutar tareas.
LLM, IA generativa y chatbot: cómo se relacionan
Dentro de la IA generativa, los LLM son la familia de modelos que trabaja con lenguaje. Muchos de los actuales son además multimodales, es decir, aceptan también imágenes, documentos o audio como entrada, aunque se les sigue llamando LLM.
Un chatbot o un asistente es una aplicación construida sobre un LLM: añade una interfaz, instrucciones de sistema, memoria de la conversación y, a menudo, acceso a documentos o herramientas. Un mismo modelo puede estar detrás de productos muy distintos.
Existen modelos comerciales a los que se accede mediante API y modelos de pesos abiertos que puedes ejecutar en tu propia infraestructura. La elección depende de la calidad que necesites, el coste por uso, el tiempo de respuesta y los requisitos de privacidad de tus datos.
Límites que debes tener presentes
Un LLM es una herramienta potente, pero tiene limitaciones estructurales que deben condicionar cómo lo integras:
- Puede inventar información con apariencia convincente (alucinaciones), sobre todo cuando le preguntas por datos que no tiene.
- No conoce tu empresa ni los hechos posteriores a su entrenamiento, salvo que se los proporciones en el contexto.
- Su salida no es del todo determinista: la misma pregunta puede producir respuestas distintas.
- Cada llamada tiene un coste y un tiempo de respuesta que crecen con la cantidad de texto procesado.
- Los datos que envías a un modelo externo salen de tu infraestructura, lo que obliga a revisar las condiciones de uso y el cumplimiento del RGPD.