7 инженерных практик снижения расходов на токены в AI-приложениях
Расходы на токены — первый барьер на пути AI-приложения от демо к продукту. В этой статье не про разовую экономию «перейти к более дешёвому поставщику», а про 7 инженерных практик, которые можно вшить в код и которые работают долго. К каждой — моменты внедрения; отсортированы по отдаче на вложения.
Практика 1: маршрутизация по уровням моделей (наибольшая отдача)
Не каждому вызову нужен флагманская модель. Для классификации, конвертации формата, простого переписывания, распознавания интента малых моделей часто достаточно, а цена ниже на порядок.
Как внедрить: определите уровень модели для каждого типа вызова; логика маршрутизации обычно умещается в десяток строк:
MODEL_TIERS = {
"classify": "small model", # intent, tags, formatting
"summarize": "mid-tier model", # summarization, rewriting
"reason": "flagship model", # complex reasoning, code generation
}
def route(task_type: str) -> str:
return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])
Сначала проведите оценку качества по каждому типу задач (прогоните малую модель на реальных бизнес-выборках и проверьте выборочно вручную) и переключайтесь только после подтверждения. При смене модели через единый шлюз меняется только параметр model — бизнес-код не трогается.
Практика 2: обрезка контекста — не передавайте модели всю историю
Самая частая растрата в многоходовых диалоговых приложениях — безусловная переноска всей истории. Три ступени обрезки:
- Скользящее окно: держать только последние N ходов + одно резюме, излишек сжимать в абзац;
- Поисковая инъекция (RAG): не вставлять длинный документ целиком — сначала найти релевантные фрагменты;
- Структурная обрезка: избыточное (логи, код) сжимать до отправки модели (убрать пустые строки и повторяющиеся шаблоны).
Практика 3: использовать кэш префиксов (Prefix Caching)
Большинство ведущих моделей поддерживают кэш префиксов: стабильный префикс ввода (системный промпт, длинные справочные материалы) при попадании в кэш тарифицируется с большой скидкой. Моменты применения:
- Неизменное — в начало (системный промпт → длинные документы → few-shot примеры), изменчивое (ввод пользователя, история) — в конец;
- Держите содержимое префикса идентичным на уровне байтов — даже лишний пробел может обнулить кэш;
- Не подмешивайте в префикс метки времени и случайные ID.
Для приложений с очень длинным системным промптом или большими прикреплёнными документами один этот пункт часто срезает больше половины затрат на ввод.
Практика 4: ограничение вывода — max_tokens и структурирование
Цена токена вывода обычно выше ввода, а модель нередко трактует лимит max_tokens как «целевую длину». Два действия:
- Задайте
max_tokensразумный, соответствующий бизнесу предел (для резюме 300-500, для кода шире по необходимости); - Требуйте структурированный вывод (JSON + явные поля): модель перестанет описывать булево значение тремя абзацами прозы.
resp = client.chat.completions.create(
model="deepseek-chat",
messages=messages,
max_tokens=500, # reasonable cap for summarization
response_format={"type": "json_object"}, # structured output
)
Практика 5: стратегия повторов и деградации — избежать вызовов «в пустоту»
Растрата идёт не только от токенов нормальных вызовов, но и от способа повторять неудачные:
- Экспоненциальная задержка + джиттер: при 429/5xx отступать 1s → 2s → 4s со случайным джиттером, избегая шторма повторов;
- Идемпотентная защита: важным вызовам — ID запроса и дедупликация на слое шлюза, чтобы исключить двойную отправку со стороны бизнеса;
- Цепочка деградации моделей: когда флагман ограничен по частоте, автоматически перейти на модель среднего уровня и продолжать сервис, а не заставлять пользователя повторять тот же уровень.
Эту логику в собственном шлюзе придётся писать руками; часть управляемых шлюзов (включая платформы типа 4-4 AI на базе new-api) имеет встроенные переключение каналов и повторы — можно использовать сразу.
Практика 6: Batch API для офлайн-задач
Офлайн-обработка (чистка данных, массовый перевод, скоринг оценочных наборов) не требует ответа в реальном времени. Модели с пакетным асинхронным интерфейсом обычно тарифицируются примерно вдвое дешевле и не занимают лимиты онлайн. Критерий простой: меняется ли что-то от того, что результат придёт сегодня вечером, а не сейчас? Если нет — в пакетную очередь.
Практика 7: мониторинг использования и бюджетные ограничители
Вся оптимизация без мониторинга — слепая. Минимальная комплектация:
- Запись по бизнес-измерениям: модель / токены ввода-вывода / тип задачи каждого вызова — по одному итогусчета не сходится не сходится;
- Алерт по недельному сравнению: удвоение объёма какого-то типа вызовов (чаще всего регрессия промпта или бесконечный цикл) должно быть заметно;
- Жёсткий бюджетный лимит: потолок кредита на уровне токенов шлюза, чтобы авария (бесконечный цикл вызовов и т.п.) не сожгла аккаунт.
Статистика использования и лимиты токенов в консоли 4-4 AI закрывают оба запроса; в собственном развертывании это можно собрать на лог-таблицах семейства one-api.
Рекомендуемый порядок внедрения
| Порядок | Практика | Основание |
|---|---|---|
| 1 | 7. Мониторинг и бюджетные ограничители | Сначала данные — тогда у дальнейших оптимизаций есть база; ограничители предотвращают аварии |
| 2 | 1. Маршрутизация по уровням моделей | Наибольшая отдача, мало кода |
| 3 | 3. Кэш префиксов + 2. Обрезка контекста | Заметный эффект для приложений с длинным контекстом |
| 4 | 4, 5, 6 | Дополнить по форме приложения |
Частые вопросы (FAQ)
Перейти к более дешёвому поставщику — разве не прямее?
Это работает, но даёт разовую выгоду и требует оценки рисков по стабильности каналов, лимитам и совместимости протокола. Инженерные практики — сложный процент: оптимизируешь один раз, и они работают вместе с ростом бизнеса. Они не противоречат друг другу: сначала инженерия, потом поставщик.
А если качества малой модели не хватает?
Маршрутизация по уровням — не тотальное понижение. Задачи, чувствительные к качеству, остаются на флагмане; выборочно проверяйте выводы малой модели и постепенно переносите «достаточные» задачи. Также подходит гибридная схема «предфильтрация малой моделью + перепроверка флагманом».
Как проверить процент попаданий в кэш?
Наблюдайте поля учёта попаданий в кэш в ответах (названия полей у разных API различаются) или сравнивайте счета последовательных вызовов с одинаковым префиксом. Знаменатель процента — «объём префикса, который в принципе мог быть закэширован».
Похожие статьи
Один ключ для GLM, DeepSeek, Qwen и других ведущих моделей: единый биллинг и наглядная статистика использования.
Модели и тарифы Попробовать бесплатно