AI 應用 Token 成本優化的 7 個工程實務
Token 成本是 AI 應用從 Demo 走向產品的第一道坎。這篇文章不談「換個便宜的供應商」這種一次性的省錢,而是給 7 個可以寫進程式碼裡、長期生效的工程實務。每一條都附實施要點,按投資報酬率排序。
實務一:模型分級路由(收益最大)
不是每個呼叫都需要旗艦模型。分類、格式轉換、簡單改寫、意圖識別這類任務,小模型的品質往往已經夠用,而價格可以低一個數量級。
實施方式:給應用內的每類呼叫定義模型檔位,路由邏輯通常十幾行程式碼:
MODEL_TIERS = {
"classify": "小模型", # 意圖分類、標籤、格式化
"summarize": "中檔模型", # 摘要、改寫
"reason": "旗艦模型", # 複雜推理、程式碼生成
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
先給每類任務做一次品質評估(拿真實業務樣本跑小模型,人工抽檢),確認達標再切。透過統一閘道切換模型只需要改 model 參數,業務程式碼零改動。
實務二:上下文裁剪——別把整個歷史都塞給模型
多輪對話應用最常見的浪費是無差別攜帶全量歷史。三個遞進的裁剪策略:
- 滑動視窗:只保留最近 N 輪 + 一份摘要,超出部分壓縮成一段總結;
- 檢索注入(RAG):長文件不要整篇塞入,先檢索相關片段再注入;
- 結構化裁剪:日誌、程式碼等冗餘內容先做壓縮(去掉空行、重複模板)再送模型。
實務三:利用提示詞快取(Prefix Caching)
多數主流模型支援前綴快取:輸入的穩定前綴(系統提示詞、長參考資料)命中快取後按大幅折扣計費。使用要點:
- 把不變的內容放最前面(系統提示詞 → 長文件 → 少樣本範例),易變內容(用戶輸入、歷史)放最後;
- 前綴內容保持位元組級一致——哪怕多一個空格都可能導致快取失效;
- 不要把時間戳、隨機 ID 之類拼進前綴。
對於系統提示詞很長或掛載大文件的應用,這一項常能砍掉輸入成本的一半以上。
實務四:約束輸出——max_tokens 與結構化
輸出 token 的單價通常高於輸入,而模型經常把 max_tokens 上限當「目標長度」。兩個動作:
- 給
max_tokens設定貼合業務的合理上限(摘要類 300-500,程式碼類按需放寬); - 要求結構化輸出(JSON + 明確欄位),模型不會用三段散文表達一個布林值。
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # 摘要場景的合理上限
response_format={"type": "json_object"}, # 結構化輸出
)
實務五:重試與降級策略——避免「白花錢」的呼叫
浪費不只來自正常呼叫的 token,還來自失敗呼叫的重試方式:
- 指數退避 + 抖動:429/5xx 時按 1s → 2s → 4s 退避並加隨機抖動,避免重試風暴;
- 冪等保護:給重要呼叫加請求 ID,閘道層去重,防止業務層重複提交;
- 模型降級鏈:旗艦模型限流時自動降級到中檔模型繼續服務,而不是讓用戶重試同一檔位。
這些邏輯在自建閘道裡要手寫,部分託管閘道(含 4-4 AI 這類基於 new-api 生態的平台)內建了渠道切換與重試,可直接利用。
實務六:批次介面(Batch API)處理離線任務
離線批次處理(資料清洗、批次翻譯、評測集打分)不需要即時回傳。支援批次非同步介面的模型通常給 5 折左右的價格,且不佔用線上限流額度。判斷標準很簡單:這個呼叫今晚出結果和現在出結果有區別嗎?沒有就進批次佇列。
實務七:用量監控與預算護欄
沒有監控的優化都是盲優化。最低配置:
- 按業務維度記錄每次呼叫的 model / 輸入輸出 token 數 / 任務類型——只看總額對不上帳;
- 週環比告警:某類呼叫量翻倍(往往是 prompt 回歸或死循環)要能發現;
- 預算硬限:在閘道令牌層設定額度上限,防止意外(如死循環呼叫)燒穿帳戶。
4-4 AI 控制台的用量統計和令牌額度設定涵蓋這兩類需求;自建方案可以用 one-api 系的日誌表自己搭。
實施順序建議
| 順序 | 實務 | 理由 |
|---|---|---|
| 1 | 七、監控與預算護欄 | 先有資料,後續優化才有依據;護欄防事故 |
| 2 | 一、模型分級路由 | 收益最大,程式碼量小 |
| 3 | 三、前綴快取 + 二、上下文裁剪 | 對長上下文應用收益顯著 |
| 4 | 四、五、六 | 按應用形態按需補齊 |
常見問題(FAQ)
換更便宜的供應商是不是更直接?
是有效手段但只有一次性收益,而且要在渠道穩定性、限流、協議相容上做風險評估。工程實務是複利:優化一次,隨業務增長持續生效。兩者不衝突,先做工程優化再看供應商。
小模型品質不夠怎麼辦?
分級路由不是全量降級。對品質敏感的任務保持旗艦模型;對小模型輸出做抽樣質檢,把「夠用」的任務逐步遷移。也可以用「小模型初篩 + 旗艦複核」的混合架構。
快取命中率怎麼驗證?
觀察回應中的快取命中計量欄位(各家 API 回傳欄位不同),或對比相同前綴的連續呼叫帳單。命中率的分母是「本可快取的前綴量」。