Glosario de IA

    ¿Qué es la cuantización de un modelo de IA?

    La técnica que permite que un modelo de lenguaje quepa en una sola GPU guardando sus parámetros con menos bits, y lo que se pierde por el camino.

    En resumen

    La cuantización es una técnica que reduce la precisión numérica con la que se guardan los parámetros de un modelo de IA, por ejemplo de 16 bits a 8 o 4 bits por parámetro. El modelo ocupa mucha menos memoria y suele responder más rápido, a cambio de una pérdida de calidad que depende del nivel elegido.

    Un modelo de lenguaje es, en el fondo, un archivo enorme de números: sus parámetros o pesos. Lo habitual es publicarlos con 16 bits por parámetro, así que un modelo de 8.000 millones de parámetros ocupa unos 16 GB solo en pesos. Eso ya no cabe en muchas tarjetas gráficas de consumo.

    La cuantización resuelve el problema guardando cada parámetro con menos bits. Gracias a ella un modelo útil cabe en un portátil o en una sola GPU, y es lo primero que ajustamos al probar un modelo nuevo en nuestras máquinas: qué nivel aguanta sin que la calidad caiga en la tarea que nos importa.

    Cómo funciona: menos bits por parámetro

    Cuantizar es redondear con método. Los pesos se agrupan en bloques pequeños y cada bloque se guarda como enteros de pocos bits más un factor de escala que permite reconstruir valores aproximados. La arquitectura y el número de parámetros no cambian; lo que cambia es la resolución de cada número.

    La cuenta de memoria es sencilla: parámetros por bits, dividido entre ocho, da los bytes que ocupan los pesos. Un modelo de 8.000 millones pasa de unos 16 GB en 16 bits a algo más de 8 GB en 8 bits y a unos 5 GB en 4 bits, porque los formatos reales añaden algo de información por bloque. A eso hay que sumar la memoria del contexto de la conversación.

    GGUF, Q4 y Q8: cómo leer el nombre de un modelo cuantizado

    Al buscar un modelo para usar en local verás archivos como «modelo-8B-Q4_K_M.gguf». GGUF es el formato de archivo del proyecto llama.cpp, que también usan Ollama o LM Studio, y guarda en un único archivo los pesos cuantizados y los metadatos necesarios para cargarlo. El sufijo indica el nivel:

    • Q8_0: 8 bits por parámetro. En la mayoría de tareas cuesta distinguirlo del original, y ocupa más o menos la mitad.
    • Q6_K y Q5_K_M: puntos intermedios, útiles cuando sobra algo de memoria y la tarea es exigente.
    • Q4_K_M: unos 4 bits y medio por parámetro y el punto de partida más usado. La K indica los métodos k-quant de llama.cpp y la M, la variante intermedia, que reserva algo más de precisión para las partes más sensibles del modelo.
    • Q3 y Q2: reducen aún más el tamaño, pero la degradación ya se nota, sobre todo en modelos pequeños.

    Cuantización frente a modelos más pequeños y otros formatos

    Con la misma memoria puedes elegir entre un modelo grande muy cuantizado o uno pequeño casi intacto. Como regla general, un modelo grande en 4 bits suele rendir mejor que otro de la mitad de tamaño en 8 bits; por debajo de 4 bits la regla deja de cumplirse con tanta claridad.

    GGUF no es el único formato. GPTQ y AWQ están pensados sobre todo para servir modelos en GPU con motores como vLLM, y algunos modelos se publican directamente en 8 bits o menos. Tampoco hay que confundir cuantizar con destilar: la destilación entrena un modelo pequeño para imitar a uno grande, mientras que la cuantización comprime el mismo modelo, normalmente sin reentrenarlo.

    Qué se pierde y cómo elegir el nivel

    La pérdida no se reparte por igual. Lo primero que suele resentirse no es la conversación general, sino lo que exige precisión: respetar un JSON estricto, copiar cifras sin alterarlas, razonar en varios pasos o escribir bien en español. Por eso los rankings generales ayudan poco a decidir.

    El método práctico es empezar por Q4_K_M, medir con un conjunto de casos reales y subir a Q5, Q6 o Q8 si los errores aparecen justo donde te importa. Si ni con Q8 basta, el problema no es la cuantización: necesitas otro modelo.

    Preguntas frecuentes

    ¿Qué significa Q4_K_M en un modelo GGUF?

    Es un nivel de cuantización de llama.cpp. Q4 indica en torno a 4 bits por parámetro, la K se refiere a la familia k-quant y la M a la variante media. Es el punto de partida más habitual.

    ¿Cuánta calidad pierde un modelo cuantizado?

    En 8 bits, prácticamente nada apreciable en la mayoría de tareas. En 4 bits la pérdida suele ser pequeña en modelos medianos y grandes, y más visible en los pequeños. Por debajo de 4 bits se nota con claridad. Varía tanto según el modelo y la tarea que conviene medirlo con casos propios.

    ¿Cómo calculo la memoria que necesita un modelo?

    Multiplica el número de parámetros por los bits de la cuantización y divide entre ocho: obtienes los bytes de los pesos. Un modelo de 14.000 millones en 4 bits ronda los 8 o 9 GB. Después suma margen para el contexto, que crece con la longitud de conversaciones y documentos.

    ¿Cuantizar un modelo es lo mismo que hacer fine-tuning?

    No. El fine-tuning cambia lo que el modelo hace entrenándolo con ejemplos nuevos. La cuantización no le enseña nada: comprime los pesos que ya tiene para que ocupe menos. Se combinan a menudo: primero se ajusta el modelo y después se cuantiza para ejecutarlo en local.

    Elige el nivel de cuantización con datos, no a ojo

    Podemos probar varios modelos y niveles de cuantización en nuestras GPU con casos de tu empresa y decirte cuál cumple con el hardware que tienes o que necesitarías.

    Solicitar propuesta gratuita

    Actualizado el 20 de octubre de 2026