7 práticas de engenharia para reduzir o custo de tokens de suas aplicações de IA
O custo de tokens é a primeira barreira entre a demo e o produto para uma aplicação de IA. Este artigo não fala da economia pontual de «trocar para um provedor mais barato», mas de 7 práticas de engenharia que se podem escrever no código e funcionam a longo prazo. Cada uma com pontos de implementação, ordenadas por retorno.
Prática 1: roteamento por nível de modelo (maior retorno)
Nem toda chamada precisa de um modelo topo de linha. Classificação, conversão de formato, reescrita simples, identificação de intenção: os modelos pequenos costumam bastar, a um preço uma ordem de grandeza menor.
Implementação: defina um nível de modelo por tipo de chamada; a lógica de roteamento normalmente cabe em uma dúzia de linhas:
MODEL_TIERS = {
"classify": "small model", # intent, tags, formatting
"summarize": "mid-tier model", # summarization, rewriting
"reason": "flagship model", # complex reasoning, code generation
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
Primeiro avalie a qualidade por tipo de tarefa (rode o modelo pequeno com amostras reais do negócio e revise por amostragem humana) e troque só depois de confirmar que atende. Trocar de modelo via gateway unificado só toca o parâmetro model, sem tocar no código de negócio.
Prática 2: corte de contexto — não passe todo o histórico ao modelo
O desperdício mais comum em apps conversacionais multivolta é carregar sem distinção todo o histórico. Três estratégias graduais:
- Janela deslizante: manter só as últimas N voltas + um resumo, comprimindo o excedente em um parágrafo;
- Injeção por recuperação (RAG): não meter o documento inteiro, recuperar primeiro os trechos pertinentes;
- Corte estruturado: comprimir o redundante (logs, código) — remover linhas em branco e gabaritos repetidos — antes de enviar ao modelo.
Prática 3: aproveitar o cache de prefixo (Prefix Caching)
A maioria dos modelos de ponta suporta cache de prefixo: o prefixo estável da entrada (prompt de sistema, referências longas) é cobrado com forte desconto ao acertar o cache. Pontos de uso:
- O invariante no começo (prompt de sistema → documentos longos → exemplos few-shot), o volátil (entradas do usuário, histórico) no fim;
- Mantenha o prefixo idêntico byte a byte — um só espaço a mais pode invalidar o cache;
- Não misture carimbos de tempo nem IDs aleatórios no prefixo.
Em aplicações com prompt de sistema muito longo ou documentos grandes anexados, só este ponto costuma cortar mais da metade do custo de entrada.
Prática 4: restringir a saída — max_tokens e estrutura
O preço unitário do token de saída costuma ser superior ao de entrada, e o modelo trata frequentemente o limite de max_tokens como «comprimento-alvo». Duas ações:
- Fixe para
max_tokensum limite razoável alinhado ao negócio (resumos 300-500, código mais folgado conforme a necessidade); - Exija saídas estruturadas (JSON + campos claros): o modelo deixará de expressar um booleano em três parágrafos de prosa.
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # reasonable cap for summarization
response_format={"type": "json_object"}, # structured output
)
Prática 5: estratégia de retentativas e degradação — evitar chamadas «que jogam dinheiro fora»
O desperdício não vem só dos tokens das chamadas normais, mas também de como se retentam as que falham:
- Back-off exponencial + jitter: diante de 429/5xx, recuar 1s → 2s → 4s com jitter aleatório para evitar tempestades de retentativas;
- Proteção idempotente: adicione um ID de requisição às chamadas importantes e desduplique na camada do gateway para evitar duplos envios do negócio;
- Cadeia de degradação de modelos: quando o modelo topo é limitado, degrada automaticamente para um intermediário e continua servindo, em vez de obrigar o usuário a retentar no mesmo nível.
Essa lógica exige implementação manual no auto-hospedado; alguns gateways gerenciados (incluindo plataformas tipo 4-4 AI sobre base new-api) trazem comutação de canais e retentativas integradas — aproveitáveis diretamente.
Prática 6: API em lote (Batch API) para tarefas off-line
Processos em lote (limpeza de dados, tradução em massa, pontuação de conjuntos de avaliação) não precisam de resposta em tempo real. Modelos com interface batch assíncrona costumam cobrar cerca de metade e não consomem cota de taxa on-line. O critério é simples: faz diferença o resultado chegar esta noite em vez de agora? Se não, fila em lote.
Prática 7: monitoramento de uso e salvaguardas de orçamento
Toda otimização sem monitoramento é otimização às cegas. Configuração mínima:
- Registro por dimensão de negócio: modelo / tokens de entrada-saída / tipo de tarefa de cada chamada — só o total não fecha com a fatura;
- Alerta por comparação semanal: detectar se o volume de um tipo de chamada dobrou (costuma ser regressão de prompt ou loop infinito);
- Limite duro de orçamento: teto de crédito na camada de tokens do gateway, para que um acidente (loop infinito etc.) não queime a conta.
As estatísticas de uso e os limites de token do console do 4-4 AI cobrem as duas necessidades; no auto-hospedado dá para montar com as tabelas de log da família one-api.
Ordem de implementação recomendada
| Ordem | Prática | Motivo |
|---|---|---|
| 1 | 7. Monitoramento e salvaguardas de orçamento | Dados primeiro: dão base às otimizações seguintes; salvaguardas evitam incidentes |
| 2 | 1. Roteamento por nível de modelo | Maior retorno, pouco código |
| 3 | 3. Cache de prefixo + 2. Corte de contexto | Ganho claro em aplicações com contexto longo |
| 4 | 4, 5, 6 | Completar conforme a forma da aplicação |
Perguntas frequentes (FAQ)
Trocar para um provedor mais barato não é mais direto?
É eficaz mas de benefício único, e exige avaliar riscos de estabilidade de canais, limites de taxa e compatibilidade de protocolo. As práticas de engenharia são juros compostos: otimiza uma vez e seguem funcionando com o crescimento do negócio. Não se contradizem: primeiro engenharia, depois provedor.
E se a qualidade do modelo pequeno não bastar?
Roteamento por nível não é degradação total. Tarefas sensíveis à qualidade ficam no modelo topo; revise por amostragem as saídas do modelo pequeno e migre gradualmente as tarefas «suficientes». Também serve a arquitetura híbrida «pré-filtro com modelo pequeno + verificação com topo».
Como verificar a taxa de acerto do cache?
Observe os campos de medição de acerto de cache nas respostas (os nomes variam por API) ou compare a fatura de chamadas consecutivas com o mesmo prefixo. O denominador da taxa é «o volume de prefixo que teria sido cacheável».
Artigos relacionados
Uma chave para GLM, DeepSeek, Qwen e mais modelos de ponta: faturamento unificado e uso visualizado.
Ver modelos e preços Testar grátis