この記事で分かること／分からないこと
- 分かること: 社内文書RAGの監査ログに残しておくべき項目の考え方
- 分かること: 検索結果のログだけでは追跡が不十分になる理由
- 分からないこと: 監査ログの保存期間や消去のタイミングについての一般的な基準（法令に基づく期限はここでは扱わない）
- 分からないこと: 自社の社内文書RAGでの実測データ（自社データはまだ無い）
「見せない」と「知らせない」は別の問題
社内文書RAGの権限設計は、多くの場合「検索結果に権限のある文書だけを残す」というフィルタから始まる。しかしこれは「文書そのものを見せない」対策であって、「文書の内容を答えの中で知らせない」対策ではない。検索結果からは除外できていても、生成された回答の要約・言い換え・出典表示という経路を通じて、除外したはずの内容が読者に伝わってしまうことがある。監査ログの設計を考えるときは、この2つを同じ問題として扱わないことがまず必要になる。
検索結果のログだけでは足りない理由
「誰がどの文書にアクセスできるか」を検索段階のフィルタで管理していても、そのフィルタが通した文書一覧をログに残すだけでは、後から何が起きたかを再現できない。生成モデルは検索結果をそのまま返すわけではなく、複数の候補から一部だけを使って要約したり、言い換えたりする。フィルタを通過した文書のログと、実際に回答に使われた根拠のログは、別の情報である。前者だけを残す設計では、「権限のある文書しか検索に上がっていない」ことは示せても、「権限のある内容しか答えに出ていない」ことは示せない。
監査ログに残すべき項目
事後に追跡できる状態を作るには、少なくとも次を分けて記録しておく設計が考えられる。
- 誰が、いつ、どのような検索語を投げたか
- 権限フィルタを適用する前に検索でヒットした文書の一覧
- 権限フィルタを適用した後に残った文書の一覧
- そのうち実際に生成の入力として使われた根拠の集合
- 最終的に配信された回答の全文
検索結果のログと生成に使われた根拠のログを分けて残すのは、両者が一致するとは限らないためである。フィルタを通過した文書がすべて回答に使われるわけではなく、逆に、要約の過程で複数の文書の内容が1つの文にまとめられ、どの文書に由来する記述かが失われることもある。この失われ方については要約が権限の境界を溶かす記事で扱っている。
grounding-gateのログは権限のログではない
自社実装の機械照合(実体: services/verifier/src/grounding-gate.ts)は、回答中の事実主張を取り出し、根拠集合と正規化した上で照合し、裏付けの無い主張を幻覚候補として検出する仕組みである。この仕組みが検査しているのは「その主張に根拠があるか」であって、「その根拠を、今この質問をしている人に見せてよいか」ではない。裏付けのある正しい主張が、同時に権限のない情報である、という状態は普通に起こり得る。監査ログを設計する際は、grounding-gateのようなログ(何を根拠にしたか)と、権限チェックの結果のログ(その根拠を見せてよいと判定したか)を、別の記録として両方残す必要がある。出典の見せ方そのものが漏れになる場合については引用表示という論点の記事で扱っている。
よくある質問
Q1. 検索結果のログを残していれば監査として十分か
十分ではない。検索でヒットした文書と、実際に回答の生成に使われた根拠は一致するとは限らない。両方を分けて記録しておかないと、答えに何が反映されたかを事後に再現できない。
Q2. grounding-gateのログを監査ログとして使い回せるか
そのままでは使えない。grounding-gateが記録するのは主張に根拠があるかどうかであり、その根拠を見せてよい相手かどうかの判定は別の処理として記録しておく必要がある。
Q3. 要約された回答では、どの文書由来かをどう追跡するか
回答文からの逆算では追跡できないことが多い。生成の入力として使われた根拠の集合を、要約が行われる前の時点でログに残しておく必要がある。
Q4. 監査ログ自体が機密情報を含む場合はどう扱うか
監査ログには検索語や根拠の内容が含まれるため、ログ自体にも元の文書と同等かそれ以上のアクセス制御が必要になる。この記事では保存期間や消去のタイミングの一般的な基準までは扱わない。
社内文書RAGの権限設計では、検索結果を絞るだけでなく、何が実際に使われたかを事後に追跡できる状態を作っておくことが起点になる。索引や生成物からの削除をどう扱うかは削除要求への対応の記事で、複数サービスの比較はRAGサービス比較15選で扱っている。社内文書RAGの権限設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 出典提示の設計とその限界
- 関連記事: 要約が権限の境界を溶かす
- 関連記事: 削除要求への対応