この記事で分かること／分からないこと
- 分かること: 運用監視で見ていないと壊れたことに気づけない指標の種類
- 分かること: 無料でできる監視と、課金が発生する監視の境目
- 分からないこと: 監視の頻度を上げた場合に費用が具体的にいくら増えるか(自社で頻度別に測った実測は無い)
- 分からないこと: 障害を検知するまでの平均時間(本記事では扱わない)
何を見ていないと壊れたことに気づけないか
自社実装では、応答の裏付けが取れているかを検査する仕組みを持っている。有界ドメインの107テナント・約1万件のデータを対象にした集計では、hit率91%を下回るテナントは0件、致命的な失敗があったテナントも0件だった(出所: out/ucaro-verification.json、確認日2026-09-06)。この「hit率が基準を下回っていないか」という数字は、監視で継続的に見ていないと、基準を下回るテナントが出ても気づけない指標の一つである。
無料で監視できる部分と課金が発生する部分
検査は2層に分かれている。Layer1はLLMを使わない無料の機械照合で、応答から事実主張を取り出し、裏付けの有無を正規化照合で判定する。Layer2は別モデルによる盲検で、こちらは呼び出すたびに課金が発生する。実測では、Layer1の53クエリとLayer2の盲検12サンプルを合わせたLLM利用コストは72円だった(出所: out/univ-demo.report.json、確認日2026-09-06)。無料のLayer1を常時回し、疑わしいものだけをLayer2に回す構成のため、監視を継続すること自体のコストは低く抑えられる。
監視の粒度を上げるほど費用は増える
Layer1は無料でも、Layer2は呼び出し回数に応じて費用が発生する。すべての応答を毎回Layer2まで通せば、より細かく監視できる一方でコストは増える。逆に、盲検をサンプリングに絞れば費用は抑えられるが、サンプルに含まれなかった応答の状態は分からないままになる。監視の設計は、この粒度と費用のどちらを優先するかという選択でもある。ビルド時と実行時でコストの性質が異なる点は評価コストと実行コストの違いを整理した記事で扱っている。
何を記録に残すかで後からの調査費用が変わる
検証レポートのフルJSONはR2に置き、UIが1回だけ取得する構成になっている。テナントや会話ログのような構造化データはD1に置き、集計やJOINができるようにしてある(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。この記録が残っていれば、監視で異常を見つけたときに、いつからどの範囲で起きているかを過去の記録から追える。記録を残さず都度再検証する運用だと、調査のたびに検証コスト(72円の単位)が積み上がることになる。
まとめ: 監視は「何を残すか」の設計でもある
運用監視の費用は、監視ツールの利用料だけでなく、無料の機械照合と課金の発生する盲検をどう組み合わせるか、そして異常が起きたときに追える記録をどれだけ残しておくかによって変わる。障害が実際に起きたときの復旧費用については障害対応の費用を扱った記事で扱っている。
よくある質問
Q1. 運用監視で最低限見るべき指標は何か
自社実装ではhit率が基準(91%)を下回るテナントの有無を集計している(出所: out/ucaro-verification.json、確認日2026-09-06)。基準を下回るテナントが出ていないかを継続して見ていないと、精度が落ちたことに気づけない。
Q2. 無料の監視と課金が発生する監視の違いは何か
LLMを使わない機械照合(Layer1)は無料で継続的に回せるが、別モデルによる盲検(Layer2)は呼び出すたびに費用が発生する。実測では53クエリのLayer1と12サンプルのLayer2を合わせて72円だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. 監視の頻度を上げるとなぜ費用が増えるのか
無料のLayer1と異なり、Layer2は呼び出し回数に応じて課金される。監視の対象を広げてLayer2にかける割合を増やすほど、費用も増える構造になっている。
Q4. 壊れたことに後から気づいた場合、費用はどう変わるのか
異常が起きた範囲や時期を追える記録が残っていなければ、調査のたびに再検証が必要になり、検証コストが繰り返し発生する。検証レポートや会話ログを構造化して残しておく設計については保管の費用を扱った記事で扱っている。
運用監視の土台になる保管の設計は保管の費用を扱った記事で扱っている。RAG全体のサービス比較はRAGサービス比較15選を参照してほしい。運用監視の設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 評価コストと実行コストの違い
- 関連記事: 保管の費用
- 関連記事: 権限管理が費用に効いてくる場面