7 thực hành kỹ thuật giúp giảm chi phí token của ứng dụng AI
Chi phí token là rào cản đầu tiên giữa bản demo và sản phẩm của ứng dụng AI. Bài này không nói về cách tiết kiệm nhất thời «đổi sang nhà cung cấp rẻ hơn», mà là 7 thực hành kỹ thuật viết được vào code và hiệu quả lâu dài. Mỗi mục kèm điểm triển khai, xếp theo ROI.
Thực hành 1: định tuyến theo cấp mô hình (hiệu quả nhất)
Không phải cuộc gọi nào cũng cần mô hình hàng đầu. Phân loại, đổi định dạng, viết lại đơn giản, nhận diện ý định: mô hình nhỏ thường đủ chất lượng, còn giá rẻ hơn cả bậc.
Cách làm: định nghĩa cấp mô hình cho từng loại gọi trong ứng dụng; logic định tuyến thường chỉ khoảng mười mấy dòng:
MODEL_TIERS = {
"classify": "small model", # intent, tags, formatting
"summarize": "mid-tier model", # summarization, rewriting
"reason": "flagship model", # complex reasoning, code generation
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
Trước hết đánh giá chất lượng theo từng loại nhiệm vụ (chạy mô hình nhỏ trên mẫu kinh doanh thật, người kiểm tra lấy mẫu), xác nhận đạt chuẩn rồi mới chuyển. Đổi mô hình qua gateway hợp nhất chỉ cần đổi tham số model, code nghiệp vụ không đổi.
Thực hành 2: cắt gọn ngữ cảnh — đừng nhét cả lịch sử cho mô hình
Lãng phí phổ biến nhất của ứng dụng hội thoại đa lượt là mang toàn bộ lịch sử không phân biệt. Ba chiến lược cắt xếp lớp:
- Cửa sổ trượt: chỉ giữ N lượt gần nhất + một bản tóm tắt, phần vượt nén thành một đoạn;
- Tiêm bằng truy xuất (RAG): đừng nhét cả tài liệu dài, truy xuất đoạn liên quan rồi mới tiêm vào;
- Cắt có cấu trúc: phần dư thừa như log, code hãy nén trước (bỏ dòng trống, template lặp) rồi mới gửi mô hình.
Thực hành 3: tận dụng cache tiền tố (Prefix Caching)
Đa số mô hình phổ biến hỗ trợ cache tiền tố: phần tiền tố ổn định của đầu vào (prompt hệ thống, tài liệu tham khảo dài) khi trúng cache được tính giá chiết khấu lớn. Điểm dùng:
- Nội dung không đổi đặt trước (prompt hệ thống → tài liệu dài → ví dụ few-shot), nội dung hay đổi (đầu vào người dùng, lịch sử) đặt sau;
- Giữ nội dung tiền tố khớp từng byte — thêm một dấu cách cũng có thể làm hỏng cache;
- Đừng trộn timestamp hay ID ngẫu nhiên vào tiền tố.
Với ứng dụng có prompt hệ thống dài hoặc gắn tài liệu lớn, riêng mục này thường cắt hơn một nửa chi phí đầu vào.
Thực hành 4: giới hạn đầu ra — max_tokens và cấu trúc hóa
Đơn giá token đầu ra thường cao hơn đầu vào, mà mô hình lại hay coi giới hạn max_tokens như «độ dài mục tiêu». Hai hành động:
- Đặt cho
max_tokensgiới hạn hợp lý sát nghiệp vụ (tóm tắt 300-500, code nới theo nhu cầu); - Yêu cầu đầu ra có cấu trúc (JSON + trường rõ ràng): mô hình sẽ không diễn đạt một giá trị boolean bằng ba đoạn văn xuôi.
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # reasonable cap for summarization
response_format={"type": "json_object"}, # structured output
)
Thực hành 5: chiến lược retry và dự phòng — tránh các cuộc gọi «đốt tiền oan»
Lãng phí không chỉ đến từ token của cuộc gọi bình thường mà cả cách thử lại các cuộc gọi thất bại:
- Lùi cấp số nhân + jitter: khi gặp 429/5xx, lùi 1s → 2s → 4s và thêm jitter ngẫu nhiên để tránh bão retry;
- Bảo vệ idempotent: gắn request ID cho cuộc gọi quan trọng và khử trùng lặp ở lớp gateway, ngăn nghiệp vụ gửi trùng;
- Chuỗi dự phòng mô hình: khi mô hình hàng đầu bị giới hạn, tự động hạ xuống mô hình trung gian để tiếp tục phục vụ, thay vì ép người dùng thử lại cùng cấp.
Logic này ở gateway tự lưu trữ phải tự viết; một số gateway quản lý (gồm cả nền tảng kiểu 4-4 AI trên nền new-api) có sẵn chuyển kênh và retry — dùng được ngay.
Thực hành 6: Batch API cho nhiệm vụ off-line
Xử lý loạt off-line (làm sạch dữ liệu, dịch hàng loạt, chấm bộ đánh giá) không cần phản hồi thời gian thực. Mô hình hỗ trợ giao diện batch bất đồng bộ thường giá bằng khoảng một nửa và không chiếm hạn mức tốc độ online. Tiêu chí rất đơn giản: kết quả đến tối nay khác gì đến bây giờ? Không khác thì vào hàng đợi batch.
Thực hành 7: giám sát sử dụng và rào chắn ngân sách
Mọi tối ưu không có giám sát đều là tối ưu mù. Cấu hình tối thiểu:
- Ghi theo chiều nghiệp vụ: model / token vào-ra / loại nhiệm vụ của từng cuộc gọi — chỉ nhìn tổng thì không đối trù được sổ;
- Cảnh báo so sánh theo tuần: lượng gọi của một loại tăng gấp (thường là prompt hồi quy hoặc vòng lặp vô hạn) phải phát hiện được;
- Hạn mức ngân sách cứng: trần tín dụng ở lớp token của gateway, để sự cố (vòng lặp vô hạn v.v.) không đốt sạch tài khoản.
Thống kê sử dụng và cài đặt hạn mức token trong bảng điều khiển 4-4 AI phủ cả hai nhu cầu; nếu tự lưu trữ có thể tự dựng bằng bảng log của họ one-api.
Thứ tự triển khai khuyến nghị
| Thứ tự | Thực hành | Lý do |
|---|---|---|
| 1 | 7. Giám sát và rào chắn ngân sách | Có dữ liệu trước thì các tối ưu sau mới có căn cứ; rào chắn chống sự cố |
| 2 | 1. Định tuyến theo cấp mô hình | Hiệu quả nhất, ít code |
| 3 | 3. Cache tiền tố + 2. Cắt ngữ cảnh | Lợi rõ với ứng dụng ngữ cảnh dài |
| 4 | 4, 5, 6 | Bổ sung theo hình thái ứng dụng |
Câu hỏi thường gặp (FAQ)
Đổi sang nhà cung cấp rẻ hơn không phải trực tiếp hơn sao?
Hiệu quả nhưng chỉ một lần, và phải đánh giá rủi ro về ổn định kênh, hạn mức tốc độ, tương thích giao thức. Thực hành kỹ thuật là lãi kép: tối ưu một lần, hiệu quả theo suốt sự tăng trưởng nghiệp vụ. Hai thứ không mâu thuẫn: kỹ thuật trước, nhà cung cấp sau.
Chất lượng mô hình nhỏ không đủ thì sao?
Định tuyến theo cấp không phải hạ cấp toàn bộ. Nhiệm vụ nhạy cảm chất lượng giữ mô hình hàng đầu; kiểm tra lấy mẫu đầu ra mô hình nhỏ và chuyển dần các nhiệm vụ «đủ dùng». Cũng có thể dùng kiến trúc lai «mô hình nhỏ sàng trước + mô hình hàng đầu xác nhận».
Xác minh tỉ lệ trúng cache thế nào?
Quan sát các trường đo trúng cache trong phản hồi (tên trường khác nhau giữa các API) hoặc so sánh hóa đơn các cuộc gọi liên tiếp cùng tiền tố. Mẫu số của tỉ lệ là «lượng tiền tố đáng lẽ có thể cache».
Bài viết liên quan
Một khóa cho GLM, DeepSeek, Qwen và các mô hình hàng đầu: thanh toán hợp nhất và trực quan hóa mức sử dụng.
Xem mô hình và giá Dùng thử miễn phí