Cómo funciona: menos bits por parámetro
Cuantizar es redondear con método. Los pesos se agrupan en bloques pequeños y cada bloque se guarda como enteros de pocos bits más un factor de escala que permite reconstruir valores aproximados. La arquitectura y el número de parámetros no cambian; lo que cambia es la resolución de cada número.
La cuenta de memoria es sencilla: parámetros por bits, dividido entre ocho, da los bytes que ocupan los pesos. Un modelo de 8.000 millones pasa de unos 16 GB en 16 bits a algo más de 8 GB en 8 bits y a unos 5 GB en 4 bits, porque los formatos reales añaden algo de información por bloque. A eso hay que sumar la memoria del contexto de la conversación.
GGUF, Q4 y Q8: cómo leer el nombre de un modelo cuantizado
Al buscar un modelo para usar en local verás archivos como «modelo-8B-Q4_K_M.gguf». GGUF es el formato de archivo del proyecto llama.cpp, que también usan Ollama o LM Studio, y guarda en un único archivo los pesos cuantizados y los metadatos necesarios para cargarlo. El sufijo indica el nivel:
- Q8_0: 8 bits por parámetro. En la mayoría de tareas cuesta distinguirlo del original, y ocupa más o menos la mitad.
- Q6_K y Q5_K_M: puntos intermedios, útiles cuando sobra algo de memoria y la tarea es exigente.
- Q4_K_M: unos 4 bits y medio por parámetro y el punto de partida más usado. La K indica los métodos k-quant de llama.cpp y la M, la variante intermedia, que reserva algo más de precisión para las partes más sensibles del modelo.
- Q3 y Q2: reducen aún más el tamaño, pero la degradación ya se nota, sobre todo en modelos pequeños.
Cuantización frente a modelos más pequeños y otros formatos
Con la misma memoria puedes elegir entre un modelo grande muy cuantizado o uno pequeño casi intacto. Como regla general, un modelo grande en 4 bits suele rendir mejor que otro de la mitad de tamaño en 8 bits; por debajo de 4 bits la regla deja de cumplirse con tanta claridad.
GGUF no es el único formato. GPTQ y AWQ están pensados sobre todo para servir modelos en GPU con motores como vLLM, y algunos modelos se publican directamente en 8 bits o menos. Tampoco hay que confundir cuantizar con destilar: la destilación entrena un modelo pequeño para imitar a uno grande, mientras que la cuantización comprime el mismo modelo, normalmente sin reentrenarlo.
Qué se pierde y cómo elegir el nivel
La pérdida no se reparte por igual. Lo primero que suele resentirse no es la conversación general, sino lo que exige precisión: respetar un JSON estricto, copiar cifras sin alterarlas, razonar en varios pasos o escribir bien en español. Por eso los rankings generales ayudan poco a decidir.
El método práctico es empezar por Q4_K_M, medir con un conjunto de casos reales y subir a Q5, Q6 o Q8 si los errores aparecen justo donde te importa. Si ni con Q8 basta, el problema no es la cuantización: necesitas otro modelo.