Cómo se trocea un texto en tokens
El tokenizador se construye antes de entrenar el modelo, a partir de qué secuencias de caracteres aparecen con más frecuencia en un gran volumen de texto. Con ellas forma un vocabulario fijo, de decenas de miles a cientos de miles de piezas, y descompone cualquier texto en piezas de ese vocabulario.
Eso tiene dos consecuencias. Cada familia de modelos usa su propio tokenizador, así que el mismo texto no ocupa lo mismo en uno que en otro. Y como los vocabularios se construyen con datos donde domina el inglés, el español suele necesitar algo más de tokens para decir lo mismo. Los números largos, los códigos de producto y las tablas mal formateadas también se fragmentan mucho.
Por qué los tokens deciden el coste y los límites
Las API cobran por separado los tokens de entrada (instrucciones, documentos, historial) y los de salida (lo que genera el modelo), y los de salida suelen ser bastante más caros. En un chat, cada mensaje nuevo reenvía el historial completo, así que el gasto de entrada crece a medida que la conversación se alarga.
Los modelos de razonamiento añaden otro factor: generan tokens de razonamiento interno antes de responder, que se cobran como salida aunque no siempre los veas. Y los límites de uso de las API también se expresan en tokens por minuto, algo a tener en cuenta antes de lanzar un proceso masivo.
Dónde se van los tokens en un proyecto real
Al revisar el gasto de un asistente o un agente, los tokens casi nunca están donde uno espera:
- Un chatbot de atención al cliente con instrucciones de sistema largas y varios documentos recuperados por pregunta: la respuesta es corta, pero cada consulta arrastra miles de tokens de contexto.
- Un agente que encadena herramientas: cada paso devuelve al modelo el resultado de la herramienta, a veces un JSON enorme del ERP, y todo se acumula en los pasos siguientes.
- Un proceso por lotes que resume cada correo entrante: barato por unidad, pero multiplicado por el volumen de todo el mes.
- Extracción de datos de PDF escaneados: las páginas se envían como imágenes, que también se convierten en tokens y pueden pesar más que el texto equivalente.
Cómo controlar el gasto
Lo primero es medir: registrar los tokens de entrada y salida de cada llamada, por tipo de tarea. Con eso a la vista, las palancas habituales son recortar instrucciones repetidas, recuperar menos fragmentos pero mejores, resumir historiales largos, pedir respuestas compactas y usar un modelo pequeño para lo sencillo. Muchos proveedores ofrecen además caché de prompts, que abarata la parte del contexto que se repite idéntica entre llamadas.
Si ejecutas el modelo en local, los tokens no se pagan uno a uno, pero siguen costando: más tokens significan más memoria ocupada y respuestas más lentas en el mismo hardware.