RAGのキャッシュはどこで効き、どこで効かないか ― 実測の無い前提を明記して整理する
キャッシュは当たれば効くが、当たらなければ効かない。自社にキャッシュ導入の実測値は無いため、本記事は効く条件・効かない条件の整理にとどめる。
18 / 72 ページ
キャッシュは当たれば効くが、当たらなければ効かない。自社にキャッシュ導入の実測値は無いため、本記事は効く条件・効かない条件の整理にとどめる。
確定配信は実行時コストをほぼゼロに落とす一方、想定外の質問への柔軟さを手放す設計でもある。何を捨てて何を得ているかを自社実測から確認する。
多言語対応の費用は自社で測っていない。測っていないことを前提に、保管・検査ロジック・検証のどこに費用が発生しうるかを分解する。
権限管理の設計方法ではなく、権限を分けるほど何の費用が積み上がるのかを、テナント単位のビルド費用と保管構造から見る。
監視は無料の部分と課金が発生する部分に分かれる。自社実装の2層検査を手がかりに、監視の粒度を上げるとなぜ費用が増えるのかを整理する。
保管費用は容量の大小だけでは決まらない。実行時に読むかどうかという軸で置き場所を分けた自社実装をもとに、分けない場合に何が起きるかを整理する。
RAGのビルド時費用≈¥1,500/テナントは一回限りではなく、原本が変わるたびに繰り返しうる。差分再生成で何が減り、何が減らないのかを自社実装の構造から整理する。
RAG構築費用のうち、検証にかかる部分は自社実測で¥72と、ビルド時費用≈¥1,500/テナントに比べて小さい。なぜ小さく抑えられているか、そして¥72という金額の標本規模をどう読むべきかを整理する。
埋め込み生成の費用は、自社実装ではビルド時費用(≈¥1,500/テナント)の一部として発生する。内訳が資料上分解されていないことを踏まえたうえで、再生成が必要になる条件を差分検知の仕組みから整理する。