人工知能(AI)の大規模言語モデル(LLM)において、処理単位である「トークン」の単価が急激に下落しているにもかかわらず、企業のAI関連費用が急増する現象が生じています。米ベンチャーキャピタルのアンドリーセン・ホロウィッツの分析によると、同じ性能を得るためのトークン単価は年に約10分の1のペースで低下しており、2021年に100万トークン当たり約60ドルだった処理コストは、2024年後半には約0.06ドルまで下がりました。しかし、2025年から2026年にかけて単価が約8割下落した一方で、企業のLLM APIに対する支払額は前年比84%増と倍増に近いペースで増加しています。
この費用の急増を招いている主要な要因は、一問一答型のチャットから、自律的にタスクを遂行する「AIエージェント」への移行です。エージェントは計画立案、ツール呼び出し、結果の確認と修正というループを繰り返し実行するため、1つのタスクでモデルを数十回から200回近く呼び出すことがあります。米アンソロピックの研究によれば、エージェント型ワークフローは通常のチャットの約4倍、複数エージェントが連携する構成では約15倍のトークンを消費します。さらに、会話履歴や大規模なシステムプロンプトをやり取りごとに再送信することが隠れたコストとなり、単価の下落速度を超える消費量の増大を引き起こしています。
また、APIをエージェント向けツールとして連携させる際の実装方法もトークン消費と処理精度に影響を与えています。例えば「MCP(Model Context Protocol)」を用いて既存APIをそのままツール化すると、ツール定義のみで数万トークンを費やし、モデルの文脈枠(コンテキストウィンドウ)を圧迫します。米ポストマンによる検証では、18種類の主要モデルにおいて利用可能なツール数が増えるほど選択ミスが発生しやすく、簡単な課題でも回答精度が低下することが示されました。無制限にツールを提供するのではなく、主要な目的(インテント)に応じて10〜30程度に絞り込むことで、選択精度が3倍以上に向上し、トークン消費量も大幅に削減できると指摘されています。
さらに、AI運用の全コストのうちモデル自体の生成コストが占める割合は一部にとどまります。本番運用におけるAIコストの約72%は、オーケストレーションやリトライ、監視、データ変換といった周辺処理で発生していると分析されています。こうした「目に見えにくいコスト」の増大を受け、企業におけるコスト管理(FinOps)の重要性が高まっています。FinOps Foundationの調査によると、AI支出を独立した管理対象として扱う組織の割合は2024年の31%から2025年には63%、2026年には98%へと急拡大しており、AIコスト管理は技術現場だけでなく経営課題として捉えられつつあります。