「PoCでは月30万円だったAPI課金が、本番リリース3か月で月1,100万円に膨らんだ」――こうした相談が編集部に増えている。今号は、Andreessen Horowitz が2023年に公開した一連のTCO論考と、生成AI実装現場での共通パターンを照合し、推論コストが線形試算から外れる構造的要因を3層に分けて解剖する。

セクション1：今週のフェイラーケース

業界共通の典型例として、生成AIを顧客サポートに統合した中堅SaaS企業のケースを構造化する。社名は伏せるが、複数の導入支援ベンダーから聞かれた共通パターンであり、後述する一次ソースの数値帯域とも符合する。

PoC段階のAPI課金は月額30万円前後だった。前提は、問い合わせ1件あたり約1,500トークン、月間1,000件、社内検証ユーザ50名。「年間400万円弱なら投資対効果は十分」との判断で、経営会議は本番化を承認した。

ところが本番リリースから3か月で、月額API課金は1,100万円に到達した。試算の3.7倍である。Andreessen Horowitz が2023年7月に公開した「The New Language Model Stack」は、LLMアプリケーション事業者の多くが推論コスト（COGS）に売上の20〜50%を投じている実態を報告しており、本ケースもこの帯域に着地した。

爆発の内訳は明確だった。第一に、RAG（検索拡張生成）で社内ドキュメント約5,000トークンを毎回コンテキストに付与したため、入力トークンがPoC時の3倍に膨らんだ。第二に、回答品質を担保するため「主モデルで生成 → 別モデルで検証」というデュアルパス構成を採用し、API呼び出し回数が実質2倍化した。第三に、レイテンシ要件を満たすためのリトライ・タイムアウト時の再実行が、想定の約1.4倍のリクエスト数を生んだ。

加えて、トラフィック増加に対応すべくクラウド側のProvisioned Throughput（専用容量）契約を追加したが、最低コミットが固定費として乗った。a16zの「Financial Models Explain LLMs」（2023年4月）が指摘するとおり、推論コストは「ユーザ数」ではなく「コンテキスト長 × モデル世代 × 重複呼び出し」の関数であり、PoC時点の線形試算では構造的に追いつかない。

結末として、当該プロジェクトは4か月目に経営会議で「コスト構造の根本見直し」として一時停止が決議された。投資判断の根拠資料に推論コストの非線形性が記載されておらず、CFOからは「本番化承認の意思決定プロセス自体を再設計すべき」との指摘が入った。

一次ソース:
・a16z「The New Language Model Stack」(2023.07)：https://a16z.com/the-new-language-model-stack/
・a16z「Financial Models Explain LLMs」(2023.04)：https://a16z.com/2023/04/27/financial-models-explain-llms/

セクション2：失敗パターン分析

1. 「リクエスト数 × 単価」の線形試算しかしていない
なぜそうなるか：PoC時点ではコンテキストが軽く、コスト試算もスプレッドシート1枚で完結するため、複雑性を盛り込む動機が薄い。
どこで気づけたか：本番化承認資料で「1リクエスト平均入出力トークン数」の前提が明記されていない時点でレッドフラグ。

2. RAGによるコンテキスト膨張を見積もりに入れていない
なぜそうなるか：RAGの精度改善を優先するあまり、検索ヒット文書数を増やす方向にチューニングが進み、入力トークンが知らぬ間に倍々で膨らむ。
どこで気づけたか：精度評価レビューで「Top-K設定値」の議論をした瞬間、コスト試算の再実行をトリガーにすべきだった。

3. 品質担保のための複数モデル並走コストを想定外にしている
なぜそうなるか：「品質課題」と「コスト構造」が別チームで議論されるため、デュアルパス採用の意思決定がコスト試算に反映されない。
どこで気づけたか：プロンプト設計レビューに必ずCFO配下の財務担当を1名陪席させる運用にすべきだった。

4. Provisioned Throughputの最低コミットを変動費扱いしている
なぜそうなるか：「使った分だけ」のメンタルモデルが先行し、SLA担保のための専用容量契約が固定費化することへの理解が薄い。
どこで気づけたか：クラウド側営業からの提案書に「最低月額」「契約期間」が明記されている時点で固定費分類に切り替えるべき。

5. モデル世代交代サイクル（6〜12か月）が契約に折り込まれていない
なぜそうなるか：「最新モデルが安価になる」想定で稟議を通すが、実際は旧モデル廃止に伴う再検証・再評価コストが発生する。
どこで気づけたか：ベンダー契約の「モデル廃止予告期間」条項を法務レビューで明示確認すべきだった。

セクション3：回避チェックリスト

☐ PoC API課金を本番想定リクエスト数で再試算したか
なぜ重要か：PoCの「月数万円」感覚で本番投資を承認すると、ほぼ確実に3〜10倍ズレる。

☐ RAGコンテキスト・システムプロンプト・対話履歴を含めた1リクエスト平均トークン数を実測したか
なぜ重要か：「入力トークン」を見落とすと、コスト試算が体感の2〜5倍ズレる主要因になる。

☐ リトライ・フォールバック・複数モデル並走のオーバーヘッドを20〜50%加算したか
なぜ重要か：本番のSLA担保構成は、PoCの素朴な単発呼び出しとは別物のコスト構造になる。

☐ Provisioned Throughput / Reserved Capacity の最低契約期間と最低月額を固定費に分類したか
なぜ重要か：固定費認識を誤ると、トラフィック減少時にCOGS率が跳ね上がる。

☐ ベンダー側の料金改定・モデル廃止サイクル（6〜12か月）を契約条項で確認したか
なぜ重要か：再検証コストは見えにくいが、年次で人件費換算500〜2,000万円規模になる。

☐ 日次/週次のコスト監視アラート（予算超過閾値）を本番リリース前に設定したか
なぜ重要か：月次請求で初めて気付くと、暴走を1か月分丸ごと支払うことになる。

☐ Self-hosted / OSSモデルへの移行可能性を技術的に評価し、ベンダーロックインの解除コストを試算したか
なぜ重要か：交渉カードを持たないと、ベンダーの料金改定に対する経営的抵抗力がゼロになる。

セクション4：関連深掘り記事

「マルチLLM戦略のコスト最適化パターン」
GPT・Claude・Gemini・OSSモデルをタスク別に振り分けることで、推論コストを30〜60%削減した実装パターン。タスク分類軸、ルーティング設計、品質ガードレールの3点を扱う予定。

「契約条項から読むLLMベンダーロックインの構造」
モデル廃止予告期間、料金改定通知期間、データ持ち出し条項――生成AIベンダー契約で必ず確認すべき条項を、Microsoft・Google・Anthropic公開契約から横並びで比較する企画。

サイト全体の関連トピックは ai-media.co.jp をご覧ください。個別テーマのご要望は ai-media.co.jp/contact/ から編集部までお寄せください。

セクション5：編集後記

今号は「PoCの線形試算が本番で破綻する」構造を扱った。取材を進めるなかで共通していたのは、コスト見積もりの責任所在が技術部門とCFO配下の間で曖昧になっていた点だ。次号（Vol.5）は「経営会議で生成AI投資をどう議論すべきか――稟議フォーマットの再設計」を予定している。

弊社が運営する連載『AIで投資の壁を越える』(note) では、AI 投資・AI 商用化の構造的な壁を 18 本の実装記録で検証しています。AI 導入失敗の根源を技術側から知りたい方はこちらへ。