RAG導入前に自社の現状を実測する|短縮できるのは「探す時間」だけ
RAGが変えるのは業務のうち「探す」工程だけである。業務全体の時間で効果を測ろうとすると、導入前も導入後も何が変わったのか読めなくなる。
16 / 72 ページ
RAGが変えるのは業務のうち「探す」工程だけである。業務全体の時間で効果を測ろうとすると、導入前も導入後も何が変わったのか読めなくなる。
同じRAGの構成でも、答えの集合が決まっている業務と、都度状況が変わる業務では出る結果が違う。最初に選ぶべき業務の見分け方を整理する。
出典を提示するという一般的なグラウンディング強化の実務が、権限のない引用元名の露出という新しい漏れ経路を作ることがある。
検索段階では権限フィルタが効いていても、要約という圧縮の過程で、どの文がどの権限レベルの文書に由来するかという情報は失われやすい。
「見つかりませんでした」という素っ気ない返答と、詳しく踏み込んだ返答の差そのものが、権限のない読者への手がかりになることがある。
検索結果を権限でフィルタしたという事実だけでは、実際に何が使われ何が答えに反映されたかは分からない。監査ログの設計を考える。