7 prácticas de ingeniería para reducir el coste de tokens de tus aplicaciones de IA
El coste de tokens es la primera valla entre la demo y el producto para una aplicación de IA. Este artículo no habla del ahorro puntual de «cambiar a un proveedor más barato», sino de 7 prácticas de ingeniería que se pueden escribir en el código y funcionan a largo plazo. Cada una con sus puntos de implementación, ordenadas por retorno.
Práctica 1: enrutado por nivel de modelo (el mayor beneficio)
No toda llamada necesita un modelo insignia. Clasificación, conversión de formato, reescritura simple, detección de intención: los modelos pequeños suelen bastar, a un precio un orden de magnitud menor.
Implementación: define un nivel de modelo por tipo de llamada; la lógica de enrutado suele caber en una docena de líneas:
MODEL_TIERS = {
"classify": "small model", # intent, tags, formatting
"summarize": "mid-tier model", # summarization, rewriting
"reason": "flagship model", # complex reasoning, code generation
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
Primero evalúa la calidad por tipo de tarea (ejecuta el modelo pequeño con muestras reales del negocio y revisa por muestreo humano) y cambia solo tras confirmar que cumple. Cambiar de modelo vía pasarela unificada solo toca el parámetro model, sin tocar el código de negocio.
Práctica 2: recorte de contexto — no pases todo el historial al modelo
El desperdicio más común en apps conversacionales multipaso es cargar sin distinción todo el historial. Tres estrategias graduales:
- Ventana deslizante: conservar solo los últimos N turnos + un resumen, comprimiendo el excedente en un párrafo;
- Inyección por recuperación (RAG): no meter el documento entero, recuperar primero los fragmentos pertinentes;
- Recorte estructurado: comprimir lo redundante (logs, código) — quitar líneas en blanco y plantillas repetidas — antes de enviarlo al modelo.
Práctica 3: aprovechar la caché de prefijos (Prefix Caching)
La mayoría de los modelos destacados admiten caché de prefijos: el prefijo estable de la entrada (prompt del sistema, referencias largas) se factura con gran descuento al acertar en la caché. Puntos de uso:
- Lo invariable al principio (prompt del sistema → documentos largos → ejemplos few-shot), lo volátil (entradas del usuario, historial) al final;
- Mantén el prefijo idéntico byte a byte — un solo espacio de más puede invalidar la caché;
- No mezcles marcas de tiempo ni IDs aleatorios en el prefijo.
En aplicaciones con prompts de sistema muy largos o con documentos grandes adjuntos, solo este punto suele recortar más de la mitad del coste de entrada.
Práctica 4: restringir la salida — max_tokens y estructura
El precio unitario del token de salida suele ser superior al de entrada, y el modelo toma a menudo el límite de max_tokens como «longitud objetivo». Dos acciones:
- Fija para
max_tokensun límite razonable según el negocio (resúmenes 300-500, código más holgado según necesidad); - Exige salidas estructuradas (JSON + campos claros): el modelo dejará de expresar un booleano en tres párrafos de prosa.
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # reasonable cap for summarization
response_format={"type": "json_object"}, # structured output
)
Práctica 5: estrategia de reintentos y degradación — evitar llamadas «que tiran el dinero»
El desperdicio no viene solo de los tokens de las llamadas normales, sino también de cómo se reintentan las fallidas:
- Back-off exponencial + jitter: ante 429/5xx, retroceder 1s → 2s → 4s con jitter aleatorio para evitar tormentas de reintentos;
- Protección idempotente: añade un ID de petición a las llamadas importantes y deduplica en la capa de la pasarela para evitar dobles envíos del negocio;
- Cadena de degradación de modelos: si el modelo insignia se limita, degrada automáticamente a uno intermedio y sigue sirviendo, en vez de obligar al usuario a reintentar en el mismo nivel.
Esa lógica hay que programarla en el autoalojamiento; algunas pasarelas gestionadas (incluidas plataformas tipo 4-4 AI sobre base new-api) traen conmutación de canales y reintentos integrados: aprovechables directamente.
Práctica 6: API por lotes (Batch API) para tareas fuera de línea
Los procesos por lotes (limpieza de datos, traducción masiva, puntuación de conjuntos de evaluación) no necesitan respuesta en tiempo real. Los modelos con interfaz batch asíncrona suelen cobrar cerca de la mitad y no consumen cuota de ritmo en línea. El criterio es simple: ¿cambia algo que el resultado llegue esta noche en vez de ahora? Si no, cola por lotes.
Práctica 7: monitorización de uso y salvaguardas de presupuesto
Toda optimización sin monitorización es optimización a ciegas. Configuración mínima:
- Registro por dimensión de negocio: modelo / tokens de entrada-salida / tipo de tarea de cada llamada — solo el total no cuadra con la factura;
- Alerta por comparación semanal: detectar si el volumen de un tipo de llamada se duplica (suele ser una regresión de prompt o un bucle infinito);
- Límite duro de presupuesto: techo de crédito en la capa de tokens de la pasarela, para que un accidente (bucle infinito, etc.) no queme la cuenta.
Las estadísticas de uso y los límites de token de la consola de 4-4 AI cubren ambas necesidades; en autoalojamiento puedes montarlo con las tablas de logs de la familia one-api.
Orden de implementación recomendado
| Orden | Práctica | Motivo |
|---|---|---|
| 1 | 7. Monitorización y salvaguardas de presupuesto | Datos primero: dan base a las siguientes optimizaciones; las salvaguardas evitan accidentes |
| 2 | 1. Enrutado por nivel de modelo | El mayor beneficio, poco código |
| 3 | 3. Caché de prefijos + 2. Recorte de contexto | Beneficio claro en aplicaciones con contexto largo |
| 4 | 4, 5, 6 | Completar según la forma de la aplicación |
Preguntas frecuentes (FAQ)
¿Cambiar a un proveedor más barato no es más directo?
Es eficaz pero de beneficio único, y exige evaluar riesgos de estabilidad de canales, límites de ritmo y compatibilidad de protocolo. Las prácticas de ingeniería son interés compuesto: optimizas una vez y siguen funcionando con el crecimiento del negocio. No se contradicen: primero ingeniería, después proveedor.
¿Y si la calidad del modelo pequeño no basta?
El enrutado por niveles no es una degradación total. Las tareas sensibles a calidad se quedan en el modelo insignia; revisa por muestreo las salidas del modelo pequeño y migra gradualmente las tareas «suficientes». También sirve la arquitectura híbrida «prefiltro con modelo pequeño + verificación con insignia».
¿Cómo se verifica la tasa de aciertos de la caché?
Observa los campos de medición de aciertos de caché en las respuestas (los nombres varían según la API) o compara la facturación de llamadas consecutivas con el mismo prefijo. El denominador de la tasa es «el volumen de prefijo que habría sido cacheable».
Artículos relacionados
Una clave para GLM, DeepSeek, Qwen y más modelos destacados: facturación unificada y uso visualizado.
Ver modelos y precios Probar gratis