AIアプリのトークンコストを削減する7つのエンジニアリング実践

実践ノウハウ · 2026-11-20 · 約9分で読める

トークンコストは AI アプリが Demo から製品へ進む最初の関門です。本記事は「安いプロバイダに乗り換える」といった一時的な節約ではなく、コードに書き込んで長期的に効く7つのエンジニアリング実践を紹介します。各項目に実装のポイントを付け、投資対効果の順に並べています。

実践1:モデル階層ルーティング(効果が最大)

すべての呼び出しにフラッグシップモデルが必要なわけではありません。分類、フォーマット変換、単純な書き換え、インテント判定といったタスクは小モデルでも十分な品質になることが多く、価格は桁違いに違います。

実装方法:アプリ内の呼び出し種別ごとにモデル階層を定義します。ルーティングロジックは通常10数行です:

MODEL_TIERS = {
    "classify":  "small model",   # intent, tags, formatting
    "summarize": "mid-tier model", # summarization, rewriting
    "reason":    "flagship model", # complex reasoning, code generation
}

def route(task_type: str) -> str:
    return MODEL_TIERS.get(task_type, MODEL_TIERS["reason"])

まずタスク種別ごとに品質評価を行い(実ビジネスのサンプルで小モデルを走らせ、人手で抜き取り検査)、基準を満たすことを確認してから切り替えます。統一ゲートウェイでのモデル切替は model パラメータを変えるだけで、ビジネスコードは無変更です。

実践2:コンテキスト削減——履歴を丸ごとモデルに渡さない

マルチターン対話アプリで最も多い無駄は全履歴を無差別に持ち込むことです。三段階の削減戦略:

経験値:多くの対話アプリでは履歴の半分以上を削減しても、回答品質に感じ取れる低下はありません——初期の対話はそもそも現在の回答に影響していないからです。

実践3:プロンプトキャッシュ(Prefix Caching)の活用

多くの主要モデルはプレフィックスキャッシュに対応しています:入力の安定した前置部分(システムプロンプト、長い参考資料)がキャッシュにヒットすると大幅な割引で課金されます。ポイント:

  1. 変わらない内容を先頭に置く(システムプロンプト → 長文書 → few-shot 例)。変わりやすい内容(ユーザー入力、履歴)は最後に置く。
  2. プレフィックスの内容はバイト単位で一致させてください——スペース1つでもキャッシュが無効になることがあります。
  3. タイムスタンプやランダム ID などをプレフィックスに混ぜない。

システムプロンプトが長い、または大きな文書を添付するアプリでは、この項目だけで入力コストの半分以上を削減できることがよくあります。

実践4:出力の制約——max_tokens と構造化

出力トークンの単価は通常入力より高いのに、モデルは max_tokens の上限を「目標の長さ」として扱うことがあります。2つのアクション:

resp = client.chat.completions.create(
    model="deepseek-chat",
    messages=messages,
    max_tokens=500,        # reasonable cap for summarization
    response_format={"type": "json_object"},  # structured output
)

実践5:リトライとフォールバック戦略——「無駄遣い」になる呼び出しを避ける

無駄は通常の呼び出しトークンからだけでなく、失敗した呼び出しのリトライ方法からも生まれます:

これらのロジックは自前ゲートウェイでは自作が必要ですが、一部のマネージドゲートウェイ(4-4 AI のような new-api エコシステム基盤を含む)にはチャネル切替とリトライが内蔵されており、そのまま利用できます。

実践6:バッチ API(Batch API)でオフラインタスクを処理

オフラインバッチ処理(データクレンジング、一括翻訳、評価セットの採点)はリアルタイムの応答を必要としません。バッチ非同期インターフェースに対応するモデルは通常5割前後の価格で、オンラインのレート制限枠も消費しません。判断基準はシンプルです:この呼び出しは今夜結果が出るのと今出るのとで違いはあるか?なければバッチキューへ。

実践7:使用量モニタリングと予算ガードレール

モニタリングのない最適化はすべて盲目的な最適化です。最低限の構成:

4-4 AI コンソールの使用量統計とトークン上限設定はこの2種類のニーズをカバーします。自前構築の場合は one-api 系のログテーブルで自作できます。

実装順序の推奨

順序実践理由
17. モニタリングと予算ガードレール先にデータがあれば、その後の最適化に根拠が生まれる。ガードレールは事故防止
21. モデル階層ルーティング効果が最大で、コード量は少ない
33. プレフィックスキャッシュ+2. コンテキスト削減長いコンテキストを扱うアプリで効果が顕著
44・5・6アプリの形態に応じて必要に応じて補完

よくある質問(FAQ)

もっと安いプロバイダに変える方が直接的では?

有効な手段ですが、効果は一回限りで、チャネルの安定性・レート制限・プロトコル互換のリスク評価も必要です。エンジニアリング実践は複利です:一度最適化すれば、ビジネスの成長とともに効果が続きます。両者は矛盾しないので、まずエンジニアリング最適化、その後にプロバイダ見直しを。

小モデルの品質が足りない場合は?

階層ルーティングは全量のダウングレードではありません。品質が重要なタスクはフラッグシップモデルを維持し、小モデルの出力は抜き取り検査して「十分」なタスクから段階的に移行します。「小モデルで一次ふるい+フラッグシップで再確認」のハイブリッド構成も有効です。

キャッシュヒット率はどう検証する?

レスポンスのキャッシュヒット計量フィールドを観察するか(API ごとに項目名は異なります)、同じプレフィックスの連続呼び出しの請求を比較します。ヒット率の分母は「本来キャッシュ可能だったプレフィックス量」です。

関連記事

自前構築 one-api / new-api vs マネージドAIゲートウェイ:コスト・運用・セキュリティ比較 「ゲートウェイを自前で構築すべきか」で迷うチーム向けの正直な意思決定フレームワーク:隠れた運用コスト、障害シナリオの比較、どの段階でどちらを選ぶか。 Cursor / Claude Code / Cherry Studio をカスタムAIゲートウェイに接続するガイド 主要AIコーディング・チャットツールのカスタムBase URL設定手順、401/404/モデル不可用のトラブルシュート早見表付き。
接続する準備はできましたか?

1つのキーで GLM、DeepSeek、Qwen などの主要モデルに統一接続。課金の統一と使用量の可視化に対応。

モデルと料金を見る 登録して試す