Qué significa «local» y qué no
- En tus instalaciones (on-premise): el servidor está en tu oficina o tu nave y nada sale de tu red.
- Nube europea controlada: un servidor con GPU alquilado a un proveedor con centros de datos en la UE, con el modelo instalado por nosotros. Sin hardware que mantener y con contrato de encargado del tratamiento.
- API comercial (OpenAI, Anthropic, Google): no es local, aunque los planes de empresa no usen tus datos para entrenar. Para muchos casos es suficiente.
- Local no equivale a cumplir el RGPD. Sigues necesitando control de accesos, registro de consultas, copias de seguridad y una política de conservación. Lo que desaparece es el tercero que trata los datos.
Modelos abiertos que se pueden ejecutar hoy
El panorama cambia cada pocos meses. Estas son las familias que manejamos en octubre de 2026, con la licencia a grandes rasgos (lee siempre el texto vigente):
- Gemma 4 (Google): Apache 2.0. Desde versiones pequeñas para portátil hasta un modelo denso de 31B y otro de 26B con arquitectura de expertos (MoE).
- Qwen (Alibaba): Qwen3.8-27B se publica con licencia Apache 2.0 y entiende también imagen y vídeo.
- Mistral: Ministral 3 en 3B, 8B y 14B, y Mistral Large 3, todos Apache 2.0. Large 3 tiene 675B parámetros.
- gpt-oss (OpenAI): versiones de 20B y 120B con Apache 2.0. La de 20B funciona con 16 GB de memoria; la de 120B, en una sola GPU de 80 GB.
- Nemotron 3 (NVIDIA): Nano (30B, 3B activos) y Super (120B), con la licencia abierta propia de NVIDIA.
- Llama (Meta): licencia propia. La de Llama 4 no concede derechos sobre sus modelos multimodales a empresas con sede principal en la UE, lo que deja fuera a la mayoría de empresas españolas.
- DeepSeek V4: licencia MIT, pero su versión más pequeña, V4-Flash, ya tiene 284B parámetros.
Con qué se ejecutan
- llama.cpp: el motor de referencia para modelos cuantizados en formato GGUF. Funciona en CPU, en GPU y en Mac.
- Ollama: la forma más rápida de poner un modelo en marcha y exponerlo como API. Va muy bien para pilotos.
- LM Studio: aplicación de escritorio, gratuita también para uso en empresa desde julio de 2025.
- vLLM: servidor pensado para producción con muchas peticiones simultáneas. Es el que elegimos cuando varias personas usan el sistema a la vez.
Cuantización y hardware
Cuantizar es guardar los pesos del modelo con menos precisión para que ocupen menos memoria. Según la documentación de Google, Gemma 4 de 31B ocupa unos 70 GB en BF16 (16 bits), unos 35 GB en 8 bits y unos 17,5 GB en 4 bits. Son solo los pesos. El contexto (los documentos que le pasas y la conversación) y cada usuario simultáneo suman memoria encima.
En 8 bits la pérdida de calidad suele ser pequeña y 4 bits es el compromiso habitual; por debajo, la degradación se nota más. Como orientación:
- Modelos de hasta unos 14B cuantizados: una GPU de 12 a 16 GB. Suficiente para clasificar, extraer datos o resumir.
- Modelos de 20B a 32B: una GPU de 24 GB, o más si hay documentos largos o varios usuarios. Es lo habitual para un asistente sobre documentación.
- Modelos de unos 120B: 80 GB de memoria de GPU o varias tarjetas. En los MoE, la memoria la marcan los parámetros totales y la velocidad, los activos.
- DeepSeek V4, Mistral Large 3 o Nemotron 3 Ultra necesitan varias GPU de centro de datos. No es hardware de pyme.
RAG: que el modelo responda con tus documentos
Un modelo recién instalado no sabe nada de tu empresa. Para que responda con tus contratos, procedimientos o expedientes montamos RAG: los documentos se trocean e indexan y, ante cada pregunta, el modelo recibe solo los fragmentos relevantes y responde citándolos. En local cuidamos dos cosas en especial: que se respeten los permisos (quien no puede abrir una carpeta tampoco obtiene respuestas de ella) y que los PDF escaneados se lean bien, porque en despachos y gestorías abundan.
Cuándo no compensa
Si tus datos no son sensibles, no te compliques: usa la nube. Los grandes modelos comerciales siguen siendo mejores en razonamiento complejo que lo que cabe en un servidor de oficina, no necesitan hardware y con poco volumen salen más baratos. La IA local tiene sentido con datos que no deben salir, uso intenso y diario o un cliente que lo exige por contrato. Y exige mantenimiento continuo.