AI 应用 Token 成本优化的 7 个工程实践
Token 成本是 AI 应用从 Demo 走向产品的第一道坎。这篇文章不谈"换个便宜的服务商"这种一次性的省钱,而是给 7 个可以写进代码里、长期生效的工程实践。每一条都附实施要点,按投入产出比排序。
实践一:模型分级路由(收益最大)
不是每个调用都需要旗舰模型。分类、格式转换、简单改写、意图识别这类任务,小模型的质量往往已经够用,而价格可以低一个数量级。
实施方式:给应用内的每类调用定义模型档位,路由逻辑通常十几行代码:
MODEL_TIERS = {
"classify": "小模型", # 意图分类、标签、格式化
"summarize": "中档模型", # 摘要、改写
"reason": "旗舰模型", # 复杂推理、代码生成
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
先给每类任务做一次质量评估(拿真实业务样本跑小模型,人工抽检),确认达标再切。通过统一网关切换模型只需要改 model 参数,业务代码零改动。
实践二:上下文裁剪——别把整个历史都塞给模型
多轮对话应用最常见的浪费是无差别携带全量历史。三个递进的裁剪策略:
- 滑动窗口:只保留最近 N 轮 + 一份摘要,超出部分压缩成一段总结;
- 检索注入(RAG):长文档不要整篇塞入,先检索相关片段再注入;
- 结构化裁剪:日志、代码等冗余内容先做压缩(去掉空行、重复模板)再送模型。
实践三:利用提示词缓存(Prefix Caching)
多数主流模型支持前缀缓存:输入的稳定前缀(系统提示词、长参考资料)命中缓存后按大幅折扣计费。使用要点:
- 把不变的内容放最前面(系统提示词 → 长文档 → 少样本示例),易变内容(用户输入、历史)放最后;
- 前缀内容保持字节级一致——哪怕多一个空格都可能导致缓存失效;
- 不要把时间戳、随机 ID 之类拼进前缀。
对于系统提示词很长或挂载大文档的应用,这一项常能砍掉输入成本的一半以上。
实践四:约束输出——max_tokens 与结构化
输出 token 的单价通常高于输入,而模型经常把 max_tokens 上限当"目标长度"。两个动作:
- 给
max_tokens设置贴合业务的合理上限(摘要类 300-500,代码类按需放宽); - 要求结构化输出(JSON + 明确字段),模型不会用三段散文表达一个布尔值。
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # 摘要场景的合理上限
response_format={"type": "json_object"}, # 结构化输出
)
实践五:重试与降级策略——避免"白花钱"的调用
浪费不只来自正常调用的 token,还来自失败调用的重试方式:
- 指数退避 + 抖动:429/5xx 时按 1s → 2s → 4s 退避并加随机抖动,避免重试风暴;
- 幂等保护:给重要调用加请求 ID,网关层去重,防止业务层重复提交;
- 模型降级链:旗舰模型限流时自动降级到中档模型继续服务,而不是让用户重试同一档位。
这些逻辑在自建网关里要手写,部分托管网关(含 4-4 AI 这类基于 new-api 生态的平台)内置了渠道切换与重试,可直接利用。
实践六:批量接口(Batch API)处理离线任务
离线批处理(数据清洗、批量翻译、评测集打分)不需要实时返回。支持批量异步接口的模型通常给 5 折左右的价格,且不占用在线限流额度。判断标准很简单:这个调用今晚出结果和现在出结果有区别吗?没有就进批量队列。
实践七:用量监控与预算护栏
没有监控的优化都是盲优化。最低配置:
- 按业务维度记录每次调用的 model / 输入输出 token 数 / 任务类型——只看总额对不上账;
- 周环比告警:某类调用量翻倍(往往是 prompt 回归或死循环)要能发现;
- 预算硬限:在网关令牌层设置额度上限,防止意外(如死循环调用)烧穿账户。
4-4 AI 控制台的用量统计和令牌额度设置覆盖这两类需求;自建方案可以用 one-api 系的日志表自己搭。
实施顺序建议
| 顺序 | 实践 | 理由 |
|---|---|---|
| 1 | 七、监控与预算护栏 | 先有数据,后续优化才有依据;护栏防事故 |
| 2 | 一、模型分级路由 | 收益最大,代码量小 |
| 3 | 三、前缀缓存 + 二、上下文裁剪 | 对长上下文应用收益显著 |
| 4 | 四、五、六 | 按应用形态按需补齐 |
常见问题(FAQ)
换更便宜的供应商是不是更直接?
是有效手段但只有一次性收益,而且要在渠道稳定性、限流、协议兼容上做风险评估。工程实践是复利:优化一次,随业务增长持续生效。两者不冲突,先做工程优化再看供应商。
小模型质量不够怎么办?
分级路由不是全量降级。对质量敏感的任务保持旗舰模型;对小模型输出做抽样质检,把"够用"的任务逐步迁移。也可以用"小模型初筛 + 旗舰复核"的混合架构。
缓存命中率怎么验证?
观察响应中的缓存命中计量字段(各家 API 返回字段不同),或对比相同前缀的连续调用账单。命中率的分母是"本可缓存的前缀量"。