この記事で分かること／分からないこと
- 分かること: RAGに「分かりません」と答えさせる設計(fallback経路)が幻覚対策になる理由
- 分かること: 自社実装での「答えない」ことの扱いと、実測でのIDK正答率
- 分からないこと: 「分からない」と答えるべき境界線を汎用的に定義する方法
- 分からないこと: ユーザー体験として「分かりません」がどこまで許容されるかの一般則
なぜ「答えない」を設計に組み込むのか
RAGは検索した根拠が乏しい場合でも、モデルの性質上、それらしい回答を作ってしまうことがある。これを防ぐ直接的な方法のひとつが、「分からない」と答える経路をあらかじめ用意し、根拠が不十分なときにはそちらへ流すことである。自社実装では、この経路をfallbackと呼んでいる(実体: services/verifier/src/grounding-gate.ts)。
fallback経路は構造的に幻覚を作らない
グラウンディング検査の実装を見ると、応答の経路がfallback(確認・非該当の応答)である場合、その応答は事実主張をしない前提で扱われ、検査自体をスキップして「幻覚なし」と判定される。これは、fallbackという経路を選んだ時点で、その応答が新しい事実を主張しないよう設計上縛られているという意味である。生成してから検出して直すのではなく、「事実を主張しない形」をあらかじめ用意しておく点が、この設計の要になる。
断定せず確認する、という選択肢
実測で観測された失敗モードの中には、曖昧な質問に対して確認をせずに断定してしまうケース(1件)や、否定文を取り違えて誤った断定をしてしまうケース(1件)が含まれていた(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。件数はいずれも1件と少なく、この型の失敗が起きにくいと言い切れるほどの検査規模ではないが、こうした境界事例をあらかじめ想定したテスト項目として持っていること自体が、「答えない」設計の一部になっている。投げやりな入力や非協力的な入力(3件)への対応も、無理に何かを答えようとしないという設計方針の延長にある。
IDKを正しく選べているかの実測
53件のクエリに対する検査では、IDKを選ぶべき場面で正しく「分からない」と判断できた割合(IDK正答率)は100%だった(出所: out/univ-demo.report.json、確認日2026-09-06)。ただし検査件数は53件であり、他の指標と同様に、ゼロ失敗をもって「常に正しい」と言い切れる規模ではない。有界ドメインの107テナント全体の集計でも、同種の指標の平均は100%だったが、テナントごとの内訳は非公開である。
よくある質問
Q1. 「分かりません」と答えさせることの何が幻覚対策になるのか
根拠が不十分なときに新しい事実を主張しない経路(fallback)へ流すことで、その応答は構造的に幻覚を作らなくなる。検出して修正するのではなく、幻覚が生まれる余地そのものを設計で減らす考え方である。
Q2. fallback経路はどうやって幻覚検査から除外されているのか
グラウンディング検査の実装では、応答の経路がfallbackの場合、事実主張をしない前提として検査自体をスキップし、「幻覚なし」として扱っている。
Q3. IDK正答率100%(53件)はそのまま信頼してよいのか
そのまま「常に正しい」とは言えない。53件という検査規模でのゼロ失敗の実測であり、確認日2026-09-06時点の一時点の数字にとどまる。他の指標と同じく、件数の規模を踏まえて読む必要がある。
Q4. 曖昧な質問への対応で見つかった失敗はどんなものか
曖昧な質問に確認をせず断定してしまうケースや、否定文を取り違えるケースがそれぞれ1件観測されている。件数は少なく、この型が十分に検査されたとは言えない。
「答えない」経路を用意する前提には、そもそも事実主張を機械的に照合できる仕組みが要る。その中身は根拠必須にする設計の記事で扱っている。固有名の取り違えという別の失敗の型は固有名の照合の記事で扱っている。幻覚率という指標自体の測り方は幻覚率の測り方の記事にまとめている。RAGのハルシネーション対策について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 根拠必須にする設計
- 関連記事: 固有名の照合