RAGのコストというと、多くの場合「1セッションあたりいくらか」という実行コストに関心が向く。しかし、RAGの精度をどう測るかという評価そのものにも費用がかかる。本記事はRAG精度評価シリーズの一環として、自社実測の評価コストと実行コストを並べ、両者を混同すると何を見誤るかを整理する。
この記事で分かること・分からないこと
分かること
- RAGの「評価コスト」(検証・検査にかかる費用)と「実行コスト」(サービスとして応答を返す費用)が別の予算項目であるという整理
- 自社実測での評価コスト(¥72)と実行コスト(0.12円/session)が、それぞれ何を測った数字か
- 実行コストが低く抑えられている構造的な理由(実行時に索引だけを触る確定配信)
分からないこと
- ¥72という評価コストが、107テナント分のみを指すのか、それ以外の検証(別テナントのLayer1・Layer2分)まで含む合計かは、一次資料上明記されていない
- 他社RAGサービスとの評価コスト・実行コストの比較
- 標本数を増やした場合に評価コストがどこまで増えるかの実測値
評価コストと実行コストは別の予算に乗る
RAGのコストを議論するとき、注目されやすいのは利用のたびに発生する実行コストである。しかし、応答の妥当性をLLMに判定させる評価(盲検チェックなど)を行う場合、その判定自体がLLM呼び出しであり課金対象になる。
評価コストと実行コストは、発生するタイミングも予算の性質も異なる。評価コストは検証・監査のたびに発生する一時的あるいは定期的な費用であり、実行コストは利用者が使うたびに継続的に発生する費用である。この2つを合算して「RAGのコスト」と一括りにすると、どちらの構造を改善すべきかが見えなくなる。
実測: 検証にかかったLLMコストは¥72
自社RAG基盤の実測レポートには、検証にかかったLLMコストとして¥72という数値が記録されている(出所: services/verifier/out/ucaro-verification.json および out/univ-demo.report.json、確認日2026-09-06)。この検証は、有界ドメインの107テナント・約9,933件の科目データを対象にした一括検証と、別テナントでのLayer1(53クエリ)・Layer2盲検(12サンプル)を含む一連の確認作業である。
どの範囲にどれだけの金額が対応しているかは資料上明記されていないため、107テナント分のみの金額なのか、それ以外の確認作業を含む合計なのかは判別できない。この点は今回のデータの限界として扱う。
この金額が低く抑えられている背景には、評価の仕組み自体の設計がある。応答中の事実主張を無料の機械的照合(Layer1)でふるいにかけ、判定が難しいものだけを課金の発生する盲検(Layer2)に回す構造になっている(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。すべての判定をLLMに任せていれば、この金額はもっと大きくなっていたはずである。
実測: 実行時は0.12円/session ― 索引だけを触る確定配信
一方、実行時のコストは評価コストとは別に実測されている。自社RAG基盤では、実行時に触るのは索引(D1のfaqs)だけであり、実行時にLLM呼び出しを行わない確定配信の経路を持つ。この経路での実測コストは0.12円/sessionである(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。
実行時にLLMを呼ばないという構造は、コストだけでなくレイテンシにも関わる。この構造上の違いについてはレイテンシの記事でも扱っている。ここで重要なのは、0.12円/sessionという数字が「評価にかかった¥72」とは性質の異なる金額だという点である。前者は利用のたびに発生する経常費用、後者は検証のたびに発生する費用であり、単純に比較したり合算したりすべきではない。
この2つを混同すると予算計画を誤る
実行コストだけを見て「1セッションあたり0.12円なら安い」と判断し、評価・検証にかかる費用を予算に含めずに導入計画を立てると、検証の頻度や標本数を増やそうとした際に想定外の費用が発生する。逆に、評価コストを気にして検証自体を省略すると、幻覚率や根拠提示率がどの水準にあるかを確認しないままサービスを運用することになる。
標本数を増やせば評価コストは増える一方で、主張できる精度の上限(95%信頼区間)は狭まる。この標本数とコストのトレードオフについては標本数をいくつ取れば何が言えるかの記事で扱う。評価コストの予算を検討する際は、どこまでの精度の主張が必要かを先に決め、それに必要な標本数から逆算するのが実務上の順序になる。
よくある質問
Q1. RAGの評価コストと実行コストは何が違いますか？
評価コストは検証・検査のたびに発生する費用で、応答の妥当性をLLMに判定させる場合はその判定自体が課金対象になる。実行コストは利用者が使うたびに継続的に発生する費用である。両者は別の予算項目として扱う必要がある。
Q2. 検証にかかったLLMコスト¥72は何を対象にした金額ですか？
有界ドメインの107テナント・約9,933件の科目データを対象にした一括検証と、別テナントでのLayer1(53クエリ)・Layer2盲検(12サンプル)を含む一連の確認作業に対する実測値である(出所: services/verifier/out/ucaro-verification.json ほか、確認日2026-09-06)。どの範囲にいくら対応しているかの内訳は資料上明記されていない。
Q3. 実行時のコストが低く抑えられているのはなぜですか？
実行時に触るのは索引だけであり、LLM呼び出しを行わない確定配信の経路を持つためである。この経路での実測は0.12円/sessionである(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。
Q4. 評価コストと実行コストを合算して「RAGのコスト」として管理してよいですか？
推奨できない。発生するタイミングと予算の性質が異なるため、合算するとどちらの構造を改善すべきかが見えなくなる。別々に管理し、評価コストは標本数とセットで見積もる必要がある。
関連記事
自社のRAG基盤における評価コスト・実行コストの見積もりについて相談したい場合は、お問い合わせフォームからご連絡ください。