この記事で分かること／分からないこと
- 分かること: 「既知を拡張した未知への断定」(F7表のU7)と「複数対象への片側断定」(F7表のU8)がどう違うか
- 分かること: 自社検証でU7・U8にそれぞれ何件のテストが実施され、結果がどうだったか
- 分からないこと: 対象の数や既知範囲の広さが変わった場合にも同じ結果が再現するか
- 分からないこと: 片側断定が起きたときに、答えられなかった側をRAGが自覚できているか
既知を拡張した未知への断定(U7)と複数対象への片側断定(U8)とは何か
U7は、RAGが検証済み・データに含まれる範囲については正しく答えられる場合でも、その傾向を検証していない範囲にまで延長し、あたかも確認済みであるかのように断定してしまう失敗である。「AとBについてはこうだったので、Cもおそらく同じだろう」という推論自体は自然だが、それを留保なしの事実として提示してしまうと、実際には検証されていない主張になる。編集部の自社RAG基盤の検証では、これをF7分類の「U7: 既知を拡張した未知への断定(superset)」として扱っている(出所: services/verifier/out/univ-demo.report.json の layer1.failureModes、確認日2026-09-06)。
一方でU8は、1つの質問の中に複数の対象が含まれている場合に起きる失敗である。「AとBについて教えてほしい」という質問に対し、RAGが一方の対象(A)については断定的に答えるものの、もう一方(B)については触れないか、答えられなかったことを示さずに済ませてしまう。質問全体としては応答が返っているため、利用者はB側についても同程度の確からしさで回答が得られたと誤解しやすい。
2つに共通する「見えない範囲」の問題
U7とU8は現象としては異なるが、どちらも「実際に検証・確認できた範囲」と「回答として提示された範囲」がずれている点で共通する。U7は範囲を検証済みの外側へ広げてしまう失敗、U8は複数ある範囲のうち一部だけを検証済みであるかのように見せてしまう失敗であり、いずれも自社の2層検査のLayer1(実体: services/verifier/src/grounding-gate.ts)が個々の事実主張のトークンを照合する仕組みだけでは、範囲の過不足そのものは検出しにくい。
自社検証における実績:U7・U8はそれぞれ1件
53件のテストクエリのうち、既知を拡張した未知への断定を狙ったU7のテストは1件、複数対象への片側断定を狙ったU8のテストは1件、それぞれ実施され、結果はいずれも合格だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
1件ずつの合格で言えること・言えないこと
標本数が少ない場合にどこまで言えるかという考え方(F6、確認日2026-09-06)では、n=12でも真の発生率の95%上限は22.1%とされている。U7・U8の検証件数はいずれもこのn=12よりさらに少ない1件であり、1件の合格は「そのテストケースでは範囲を誤らなかった」という事実にとどまる。既知範囲の広さや対象の数を変えた場合にも同じ結果になるかは、この検証だけでは確認できていない。
導入前に何を確認すべきか
対象データに「一部は検証済み、一部は未検証」という構造がある場合や、1つの質問が複数の対象をまたぐ場合は、それぞれを狙ったテストケースを個別に用意することが望ましい。1件ずつの合格を根拠に、既知範囲の外側への拡張や複数対象への対応が全般的にできていると判断するのは早い。
よくある質問
Q1. U7とU8は同じ失敗の言い換えか
異なる。U7は検証済みの範囲を未検証の対象にまで広げて断定する失敗、U8は1つの質問に含まれる複数の対象のうち一部だけを断定的に扱い、残りを暗黙に省いてしまう失敗である。どちらも回答が提示された範囲を実際より広く見せてしまう点が共通する。
Q2. U7・U8の検証はそれぞれ何件か
自社の53件のテストクエリのうち、U7・U8を狙った質問がそれぞれ1件ずつ含まれており、いずれも結果は合格だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. 幻覚検査(Layer1)だけでこの2つの失敗は検出できるか
検出しにくい。Layer1は個々の事実主張のトークンが真実集合に含まれるかを見る仕組みであり、既知範囲を超えて断定したことや、複数対象のうち一部だけに答えたこと自体を判定する設計ではない。
Q4. 1件ずつの合格はどこまで一般化できるか
標本数が少ない場合の考え方(F6)では、n=12でも真の発生率の95%上限は22.1%とされる。U7・U8の1件はそれより少ない標本であり、そのテストケースで範囲を誤らなかったという事実以上には一般化できない。
自社のRAG検証全体の枠組みについては幻覚率の記事で扱っている。RAGの精度評価やテスト設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 別カテゴリの情報を混ぜて答える型
- 関連記事: 曖昧な質問に確認せず断定する型