この記事で分かること／分からないこと
- 分かること: 「実行時0LLM」という設計が何を指し、どういう条件で成立するか
- 分かること: 自社の単位経済(ビルド時コスト・実行時コスト・検証コスト)
- 分からないこと: この設計を導入した場合に運用コストが何%下がるか
- 分からないこと: 「有界」と「有界でない」の境界を数値で示す基準
「実行時0LLM」とは何を指すか
ここでいう実行時0LLMとは、想定される質問への回答をあらかじめ生成し検証したうえで索引に格納しておき、実行時には生成をせず索引を引いて返すだけにする配信方式を指す。自社の単位経済では、この生成と検証を行うビルド時のコストは1テナントあたり概算¥1,500(一回)、実行時のコストは概算¥0〜1/会話とされ、実測では0.12円/sessionという値が記録されている(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。検証そのものにかかったLLMコストは別に¥72という実測がある(出所: services/verifier/out/*.json、確認日2026-09-06)。つまり、費用が発生する場所を実行時からビルド時・検証時へと動かす設計であり、費用そのものが消えるわけではない。
外せる条件 ― 答えの集合が閉じている「有界ドメイン」
この設計が成立するのは、想定される質問とその正しい答えの組み合わせを、事前にほぼ列挙し尽くせる領域に限られる。編集部ではこれを「有界ドメイン」と呼んでいる。有界ドメインであれば、ビルド時にすべての組み合わせを生成し、無料の機械照合と別モデルによる盲検の2層で検証してから配信できるため(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)、実行時に新たに生成する必要がなくなる。ビルド時に払う¥1,500というコストは、この「検証してから出す」という手順のための対価であり、実行時のコストをほぼゼロに落とすための前提になっている。
外せない条件 ― 答えの集合が閉じていない領域
一方で、初見の組み合わせの質問が絶えず生じる領域、自由記述の相談のように答えが一意に定まらない領域、状況が頻繁に変わり前提が更新され続ける領域では、この設計は成立しない。ビルド時にすべての組み合わせを用意しきれないため、想定していない質問が来た時点で、実行時に何らかの生成が必要になる。この場合に無理に実行時0LLMへ寄せようとすると、想定外の質問に対して「分かりません」と答えるか、近そうな既存の答えを誤って返すかのどちらかになりやすく、後者は根拠のない回答につながりうる。有界でない領域にこの手法をそのまま持ち込むことはできない。
線引きの実務的な判断基準
有界かどうかは白黒で分かれるものではなく、程度の問題として現れることが多い。実務での判断材料としては、想定される質問をあらかじめ列挙できるか、誤った答えを返した場合に許容できる被害の大きさ、前提となる情報がどれくらいの頻度で変わるか、の3点が挙げられる。列挙しきれない領域が一部にあるからといって全体を諦める必要はなく、よくある質問に該当する部分だけを事前に生成・検証して確定配信に載せ、そこから外れた質問だけを別の経路(実行時に生成する経路や、人が対応する経路)に回すという、混在させる設計も選択肢になる。どこまでを確定配信に載せるかという線引きそのものが、この手法を使う際の設計判断の中心になる。
よくある質問
Q1. 実行時0LLMにすれば運用コストは下がりますか
自社の単位経済では、実行時コストは概算¥0〜1/会話、実測0.12円/sessionとされている(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。ただし、この設計を導入する前後の比較による削減率の実測は無い。費用が実行時からビルド時・検証時に動く、という構造として理解する必要がある。
Q2. どんな領域でも実行時からLLMを外せますか
外せない。想定される質問と答えの組み合わせを事前に列挙し尽くせる「有界ドメイン」でのみ成立する設計である。初見の組み合わせが絶えず生じる領域や、答えが一意に定まらない相談のような領域では、ビルド時にすべてを用意しきれず、実行時の生成が必要になる。
Q3. 有界ドメインかどうかはどう判断すればよいですか
想定される質問をあらかじめ列挙できるか、誤答時に許容できる被害の大きさ、前提情報の更新頻度の3点が判断材料になる。全体が有界でなくても、よくある質問の部分だけを確定配信に載せ、それ以外を別経路に回す混在設計も選べる。
Q4. ビルド時のコストと実行時のコストはどちらが安いのですか
単純比較はできない。ビルド時コストは1テナントあたり概算¥1,500(一回)、実行時コストは概算¥0〜1/会話・実測0.12円/session(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)であり、発生するタイミングも回数も異なる。どちらが有利かは、想定される会話量やビルドし直す頻度によって変わる。
関連記事
有界ドメインかどうかの見極めを含め、実行時0LLM設計の適用可否について相談したい場合は、お問い合わせフォームからご連絡ください。