Qué hace falta para ejecutar un modelo en local
Tres piezas. La primera, un modelo de pesos abiertos: familias como Llama, Mistral, Qwen o Gemma publican los parámetros para que cualquiera los descargue y los ejecute. Abierto no siempre significa sin condiciones. Cada familia tiene su licencia y algunas restringen ciertos usos, así que hay que leerla antes de construir encima.
La segunda, un motor de inferencia que cargue el modelo y atienda peticiones. Ollama y LM Studio facilitan las pruebas en un equipo de trabajo; llama.cpp y vLLM son habituales cuando hay que servir el modelo a una aplicación o a varios usuarios. Muchos exponen una API compatible con la de OpenAI, así que cambiar de un modelo en la nube a uno local exige poco código.
La tercera, hardware con memoria suficiente. Lo que manda es la memoria de la GPU: el modelo y el espacio que ocupa la conversación tienen que caber en ella para responder con fluidez. Por eso casi todo el mundo trabaja con modelos cuantizados, que reducen mucho esa memoria a cambio de algo de precisión.
Casos en los que una empresa sí gana con un modelo local
Donde mejor encaja es en tareas acotadas y repetitivas que manejan datos sensibles:
- Extracción de datos de documentos con información personal o de salud, como nóminas o expedientes: el modelo lee el PDF, devuelve los campos en JSON y nada sale del edificio.
- Un buscador interno sobre procedimientos y contratos, combinado con RAG, para que el equipo pregunte sin subir esos archivos a un servicio externo.
- Procesos de volumen alto y constante, como resumir cada ticket de soporte o etiquetar miles de correos al mes, donde pagar por token puede acabar costando más que amortizar un servidor.
- Contratos o políticas internas que prohíben enviar datos a terceros.
IA local, API comercial y nube privada
Con una API comercial pagas por uso, tienes los modelos más capaces y no mantienes nada, pero tus datos se procesan fuera, bajo las condiciones del proveedor. Con IA local el coste es fijo (equipos, electricidad, horas de mantenimiento), el control es total y la calidad tiene el techo del modelo que tu hardware pueda mover.
Hay una vía intermedia: modelos abiertos en servidores con GPU alquilados en una región europea y administrados por ti. No es local en sentido estricto, pero conservas el control del modelo y de los datos sin comprar hardware. Muchas empresas acaban con una mezcla: modelo local para lo sensible y repetitivo, API comercial para lo que exige más razonamiento.
Límites y cómo empezar sin sobredimensionar
El hardware es la parte visible del coste. La invisible es operar el sistema: actualizar modelos, vigilar el servidor, gestionar accesos y volver a medir la calidad con cada versión nueva. Y si el equipo va justo, la velocidad cae en cuanto varias personas usan el modelo a la vez.
Recomendamos empezar al revés de lo habitual: definir la tarea, reunir casos reales y probar contra ellos varios modelos abiertos de distinto tamaño. Solo cuando sabes qué modelo resuelve la tarea con calidad suficiente tiene sentido dimensionar el hardware.