RAGで用途ごとにモデルを切り替える判断軸 ― 料金ではなく設計の切り分け方
モデルの切り替えは料金表の比較だけでは決まらない。何をLLMに任せ、何をLLM抜きで済ませるかという切り分けの判断軸を整理する。
20 / 75 ページ
モデルの切り替えは料金表の比較だけでは決まらない。何をLLMに任せ、何をLLM抜きで済ませるかという切り分けの判断軸を整理する。
変わっていない文書の埋め込みまで毎回作り直せば費用がかさむ。差分判定で何を省けるか、どこでは省けないかを整理する。実測値は無い。
キャッシュは当たれば効くが、当たらなければ効かない。自社にキャッシュ導入の実測値は無いため、本記事は効く条件・効かない条件の整理にとどめる。
確定配信は実行時コストをほぼゼロに落とす一方、想定外の質問への柔軟さを手放す設計でもある。何を捨てて何を得ているかを自社実測から確認する。
多言語対応の費用は自社で測っていない。測っていないことを前提に、保管・検査ロジック・検証のどこに費用が発生しうるかを分解する。
権限管理の設計方法ではなく、権限を分けるほど何の費用が積み上がるのかを、テナント単位のビルド費用と保管構造から見る。
監視は無料の部分と課金が発生する部分に分かれる。自社実装の2層検査を手がかりに、監視の粒度を上げるとなぜ費用が増えるのかを整理する。
保管費用は容量の大小だけでは決まらない。実行時に読むかどうかという軸で置き場所を分けた自社実装をもとに、分けない場合に何が起きるかを整理する。
RAGのビルド時費用≈¥1,500/テナントは一回限りではなく、原本が変わるたびに繰り返しうる。差分再生成で何が減り、何が減らないのかを自社実装の構造から整理する。