Cómo funciona y qué ocupa espacio
La ventana se mide en tokens y es compartida: instrucciones de sistema, descripción de herramientas, historial, fragmentos recuperados, la pregunta del usuario y la respuesta que el modelo va a escribir. Además del total, cada modelo fija un máximo de tokens de salida por respuesta, normalmente mucho menor.
Un contexto largo también tiene coste técnico. Mientras genera, el modelo mantiene en memoria la llamada caché KV, con información de cada token ya procesado, y esa caché crece en proporción a la longitud del contexto. En un servidor propio se nota enseguida: un modelo que cabe holgado en una GPU con contexto corto puede quedarse sin memoria al ampliarlo. Por eso, en IA local, la ventana útil suele ser menor que la que anuncia el modelo.
Cuándo una ventana grande marca la diferencia
Una ventana amplia compensa cuando la tarea exige ver el conjunto y no fragmentos sueltos:
- Revisar un contrato o una licitación completa para detectar contradicciones entre cláusulas separadas por decenas de páginas.
- Comparar varias ofertas de proveedores en una sola llamada y obtener una tabla con las diferencias de precio, plazos y condiciones.
- Un agente que trabaja durante muchos pasos y necesita conservar los resultados intermedios sin perder el hilo.
- Analizar un registro de incidencias largo o un repositorio de código para localizar el origen de un error.
Contexto largo frente a RAG y memoria
Meterlo todo en el contexto no sustituye a RAG en la mayoría de los casos. Con cientos o miles de documentos, el total no cabe; y aunque cupiera, pagarías por procesarlo en cada pregunta. RAG selecciona lo relevante y mantiene el contexto pequeño. El contexto largo brilla cuando el material es acotado y hay que leerlo entero.
Tampoco es memoria. Lo que un asistente recuerda de un cliente de una semana a otra no vive en la ventana: tiene que guardarse fuera, en una base de datos, y recuperarse cuando hace falta.
Límites: más contexto no siempre es mejor
Que un dato esté dentro de la ventana no garantiza que el modelo lo use bien. Varios estudios han mostrado que el rendimiento baja cuando la información relevante queda enterrada en mitad de un contexto muy largo, y que la capacidad útil suele ser inferior a la anunciada. Encontrar una frase concreta en un documento enorme es fácil; razonar sobre muchos datos dispersos, bastante menos.
Lo que recomendamos: colocar los documentos al principio y la pregunta al final, quitar del historial lo que ya no aporta, resumir conversaciones largas y probar la tarea con el volumen real de contexto, no con un ejemplo corto.