この記事で分かること／分からないこと
- 分かること: 存在しない対象について尋ねられたときの自社RAGの検査項目と結果
- 分かること: 検査件数がn=1という極めて少ない標本を、どう読めばよいか
- 分からないこと: 検証対象としたドメインの具体的な内容(非公開)
- 分からないこと: 存在しない対象の尋ね方を変えた場合(遠回しな聞き方など)の応答
「存在しない対象」への質問とは何か
RAGは検索対象のデータに含まれない事柄を尋ねられたとき、本来は「そのような対象は見当たらない」と回答すべきである。しかし、質問文の体裁や周辺の話題から類推し、存在しない対象についてもっともらしい情報を作り出してしまうことがある。編集部が検証に使っている自社RAG基盤では、汎用的な失敗モード(G)に加えて、検証対象ドメインに固有の失敗モード(U)も8種検査しており、そのうちの一つ(U1)が、この「存在しない対象を答える」というパターンにあたる(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。検証対象ドメインの具体的な内容は非公開とする。
自社検証:U1は1件、合格
同レポートのLayer1検査(LLMを使わない無料の機械照合。実体はservices/verifier/src/grounding-gate.ts)では、全53クエリのうち存在しない対象を答えるパターンに分類されるものが1件含まれ、合格(passed)と記録されている。合格とは、存在しない対象について、根拠のない事実主張を組み立てて答えてしまうことがなかったことを指す。
なぜこの型が重要か
存在しない対象について答えてしまう失敗は、他の失敗モードと違い「間違った情報を答える」のではなく「そもそも存在しないものについて情報を作り出す」という点で、利用者に与える誤解の度合いが大きい。検索結果が0件になった場合に、周辺の類似情報から無理に類推して答えを構成してしまう設計は、この型の失敗を招きやすい。編集部の自社基盤では、応答中の事実主張を真実集合と照合するLayer1の仕組みによって、この種の作り話を検出する構成をとっている。
n=1という標本をどう読むか
検査が1件しかないという事実は重く受け止める必要がある。全53クエリで0件の失敗だった場合、真の失敗率の95%上限は5.5%になる(0件を観測したときの上限は1 − 0.05^(1/n)で計算される。出所: 検証レポートの標本数、確認日2026-09-06)。この53件のうち存在しない対象を答えるパターンはわずか1件であり、1件という母数だけを取り出せば、その上限はさらに大きく緩む。1件の合格は「存在しない対象について作り話をしない」ことの証明にはならず、「今回試した1つの尋ね方では作り話が観測されなかった」という以上のことは言えない。
実務で備える際の視点
存在しない対象への質問に備える設計としては、検索結果が0件または該当性が低い場合に「見当たらない」と明示的に返す、周辺の類似情報から類推して断定することを避ける、といった選択肢がある。ドメイン固有の失敗モードは汎用的な失敗モードに比べて検査項目自体が少なく、U1を含む8種はいずれも1〜2件の検査にとどまっている。件数を積み増していくことが、この型の読み方の精度を上げる手段になる。
よくある質問
Q1. 存在しない対象を答える失敗の検査は何件行われているか
自社検証のLayer1で、全53クエリ中1件がこのパターンに分類され、合格と記録されている(確認日2026-09-06)。
Q2. n=1の合格は何を意味するか
今回試した1つの尋ね方では作り話が観測されなかった、という以上の意味は持たない。全53クエリで0件だった場合の真の失敗率の95%上限は5.5%とされており、1件だけを取り出せばその上限はさらに緩くなる。
Q3. なぜ検証対象ドメインの具体的な内容を明かさないのか
検証に使ったデータは自社で構築したものであり、対象や案件の詳細を明かすと固有名詞の開示につながるため、規模の性質(件数)だけを記載している。
Q4. 他のドメイン固有の失敗モードとの違いは何か
存在しない対象を答える(U1)以外にも、別カテゴリの情報を混ぜる、曖昧な質問に確認せず断定するなど7種のドメイン固有の失敗モードが検査されており、いずれも1〜2件の少ない件数にとどまっている。
RAGの精度評価全体については幻覚率の記事で2層検査の仕組みを解説している。プロンプト抽出・インジェクションへの応答はプロンプト抽出・インジェクションの記事、退化入力への応答は退化入力の記事で扱っている。RAGの失敗モード検査について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率の測り方
- 関連記事: プロンプト抽出・インジェクションへの応答
- 関連記事: 退化入力への応答