この記事で分かること／分からないこと
- 分かること: 否定文の取り違え(否定の誤射)に対する自社RAGの検査項目と結果
- 分かること: 検査件数がn=1という極めて少ない標本を、どう読めばよいか
- 分からないこと: 否定文の言い回しを変えた場合(二重否定、婉曲な否定など)の応答
- 分からないこと: 検索段階と生成段階のどちらで否定が正しく扱われているかの内訳
否定の誤射とは何か
否定の誤射とは、「〜ではない」「〜を除く」といった否定を含む質問を、RAGが検索や応答生成の過程で見落とし、否定される前の対象について答えてしまう現象を指す。検索エンジンの多くはキーワードの一致を重視するため、否定語を挟んでいても否定対象のキーワード自体には一致してしまい、本来除外すべき情報を拾ってしまう構造的な弱点がある。編集部が検証に使っている自社RAG基盤では、この否定の誤射を12種ある失敗モードの一つ(G11)として検査項目に組み込んでいる(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。
自社検証:G11は1件、合格
同レポートのLayer1検査(LLMを使わない無料の機械照合。実体はservices/verifier/src/grounding-gate.ts)では、全53クエリのうち否定の誤射に分類されるものが1件含まれ、合格(passed)と記録されている。12種ある失敗モードの中でも、否定の誤射はG11以外にU2〜U8の一部と並んで検査数が最も少ない部類に入る。
n=1という標本をどう読むか
検査が1件しかないという事実は、他の失敗モードよりもさらに重く受け止める必要がある。全53クエリで0件の失敗だった場合、真の失敗率の95%上限は5.5%になる(0件を観測したときの上限は1 − 0.05^(1/n)で計算される。出所: 検証レポートの標本数、確認日2026-09-06)。この53件のうち否定の誤射はわずか1件であり、1件という母数だけを取り出せば、その上限はさらに大きく緩む。1件が合格したという事実は「否定文を取り違えない」ことの証明にはならず、「今回試した1つの言い回しでは取り違えが観測されなかった」という以上のことは言えない。
なぜこの型が見落とされやすいか
否定の誤射は、検索段階でキーワードが一致してしまうこと、生成段階で否定語の効力範囲を正しく処理できないことの二つの原因が重なって起きる。編集部の自社基盤では、生成された応答から事実主張を取り出して真実集合と照合するLayer1の仕組みを通じて、この種の取り違えを検出する構成をとっている。ただし否定文のパターンは「〜ではない」以外にも婉曲な言い方や二重否定など多様であり、1件の検査ではそのごく一部しか確認できていない。
実務で備える際の視点
否定文を含む質問に対しては、検索クエリを組み立てる段階で否定対象を明示的に除外条件として扱う、生成された応答が否定対象に言及していないかを機械的に照合する、といった設計が選択肢になる。件数が少ない失敗モードほど、実運用で検査件数を積み増していくことが読み方の精度を上げる唯一の手段になる。
よくある質問
Q1. 否定の誤射の検査は何件行われているか
自社検証のLayer1で、全53クエリ中1件が否定の誤射に分類され、合格と記録されている(確認日2026-09-06)。
Q2. n=1の合格は何を意味するか
今回試した1つの否定文のパターンでは取り違えが観測されなかった、という以上の意味は持たない。全53クエリで0件だった場合の真の失敗率の95%上限は5.5%とされており、1件だけを取り出せばその上限はさらに緩くなる。
Q3. 否定の誤射はなぜ起きやすいのか
検索段階で否定語を挟んでいてもキーワード自体には一致してしまうこと、生成段階で否定語の効力範囲を正しく処理できないことが重なって起きるためである。
Q4. 他の失敗モードと比べて検査件数はどうか
退化入力(G7)が5件、投げやり・非協力な入力(G8)が3件であるのに対し、否定の誤射(G11)は1件と、12種の中でも少ない部類に入る。
RAGの精度評価全体については幻覚率の記事で2層検査の仕組みを解説している。投げやりな入力への応答は投げやり・非協力な入力の記事、プロンプト抽出・インジェクションへの応答はプロンプト抽出・インジェクションの記事で扱っている。RAGの失敗モード検査について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率の測り方
- 関連記事: 投げやり・非協力な入力への応答
- 関連記事: プロンプト抽出・インジェクションへの応答