この記事で分かること／分からないこと
- 分かること: 社内向けと社外向けのRAGで、誤答が起きたときの代償がどう違うか
- 分かること: 公開前に検査してから出す、という運用がなぜ社外向けで要るか(自社実装の例)
- 分からないこと: 各社カスタマーサポート製品が持つ幻覚対策機能の実際の性能(要個別検証)
- 分からないこと: 検査を通過した回答が、本番のあらゆる問い合わせパターンで安全かどうか
社内向けと社外向けで、誤答の代償が違う
社内問い合わせであれば、誤った回答が返っても、担当者に確認してその場で訂正できることが多い。カスタマーサポートは顧客に直接届く窓口であり、誤った回答がそのまま顧客の手元に渡ってから気づく、という順序になりやすい。訂正の機会が回答の前ではなく後にしかない、という前提の違いが、社外向けRAGの設計を社内向けよりも慎重にすべき理由になる。
「答えを作ってしまう」設計のリスク
RAGは、検索結果が薄い場合でもそれらしい文章を生成できてしまう。社内向けであれば、その「それらしさ」に違和感を持った担当者が確認を挟む余地があるが、社外向けでは、生成された回答がそのまま顧客への返信として使われる場面がある。根拠が薄い状態で回答を組み立ててしまう設計は、社外向けほどリスクが大きくなる。
出す前に検査する、という順番(自社実装の例)
自社の実装では、新しい対象を公開する前に、無料の機械照合(Layer1)と別モデルによる盲検(Layer2)を通し、その結果を見てから公開するという順番を取っている(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。有界ドメインの107テナント・約9,933件のデータを対象にした集計では、平均hit率は99.7%、hit率91%の基準を下回ったテナントは0件だった(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。この107という数はあくまで自社で構築した対象の件数であり、顧客数を示すものではない。
「0%」は単独では書けない
別テナントでの検証では、Layer1が53件のクエリで幻覚率0%、Layer2の盲検は12件のサンプルで0%だった(出所: out/univ-demo.report.json、確認日2026-09-06)。ただし、この0%という結果は、幻覚が今後も起きないことを保証するものではなく、標本数から導かれる上限として読む必要がある。0件しか観測しなかった場合の真の発生率の95%上限は、53件なら5.5%、12件なら22.1%になる(出所: 二項比率の信頼区間、確認日2026-09-06)。標本数が小さいほど、この上限は緩くなる。
選ぶときに何を見るか
- 公開前に応答を検査する仕組み(幻覚検査・根拠照合)を組み込めるか
- 検査結果を、標本数や信頼区間も含めて開示できるか、それとも「合格」という結論だけを示すか
- 根拠が薄い質問に対して、無理に回答を作らず保留・確認する動作を選べるか
- 誤答が起きた場合に、どの応答をいつ生成したかを追跡できる記録が残るか
これらは、社内向けの用途であれば省略できる場合もあるが、顧客に直接回答が届く社外向けの用途では、検討の優先順位が上がる論点である。
よくある質問
Q1. カスタマーサポートRAGが社内問い合わせRAGと違う点は何か
誤答が起きたときに、訂正の機会が回答の前にあるか後にしかないかという違いがある。社外向けでは回答がそのまま顧客に届くため、公開前の検査がより重要になる。
Q2. 公開前検査で「全件合格」だった場合、何が保証されるのか
検査した範囲では問題が見つからなかった、という以上のことは保証されない。標本数が小さい場合、その型の失敗が起きないことまでは言えない。
Q3. 幻覚率0%という結果は、幻覚が起きないという意味か
そうではない。0件しか観測していない場合の真の発生率には95%上限があり、53件の観測なら上限は5.5%、12件なら上限は22.1%になる。標本数を伴わない「0%」は読み方として不十分である。
Q4. 自社実測の107テナントは、導入実績や顧客数を示すものか
示すものではない。107は自社で構築した検証対象の数であり、契約している顧客数とは別の数字である。
社外向けRAGで検査してから出すという運用の具体的な中身は公開前検査の記事で扱っている。社内向けと社外向けの違いを考える前段として、規程の版が複数ある場合の難所は社内問い合わせRAGの記事、提案先ごとに見せてよい情報が変わる難所は営業支援RAGの記事にまとめている。RAGサービス全体の比較はRAGサービス比較15選を参照してほしい。カスタマーサポートRAGの導入について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGを公開前に検査してから出す運用
- 関連記事: 営業支援RAGの難所
- 関連記事: 人事RAGの難所