この記事で分かること／分からないこと
- 分かること: 「別カテゴリの情報を混ぜて答える」失敗(F7表のU2)がどのような仕組みで起きるか
- 分かること: 自社検証でU2に該当するテストが何件実施され、結果がどうだったか
- 分からないこと: 業界全体でこの失敗がどの程度の頻度で起きるか
- 分からないこと: カテゴリの数や組み合わせが増えた場合にも同じ結果が再現するか
別カテゴリの情報を混ぜて答えるとは何か
RAGは質問に対して検索で複数の文書チャンクを取得し、それらをまとめて回答を生成する。取得したチャンクが本来別々のカテゴリに属する情報だった場合、RAGはそれを区別せず1つの回答に混ぜてしまうことがある。個々のチャンクは実在する文書から取れているため、事実主張そのものは「根拠がある」ように見えてしまう点が、この失敗型を見つけにくくしている。
編集部が検証に使っている自社RAG基盤では、この種の失敗をF7の分類で「U2: 別カテゴリの情報を混ぜる」として扱っている(出所: services/verifier/out/univ-demo.report.json の layer1.failureModes、確認日2026-09-06)。
なぜ検索は当たるのに混ざるのか
自社の2層検査(実体: services/verifier/src/grounding-gate.ts)のLayer1は、応答から事実主張を取り出し、正規化したうえで真実集合(grounding fact)と照合する。取り出す対象は数値+単位や、特定の語尾パターンを持つ語などで、主張中の全トークンが真実集合のテキストに含まれていれば「裏付けあり」と判定される仕組みである。この方式は個々の事実主張の裏付けは検査できるが、複数カテゴリにまたがる情報を1つの文として結合したこと自体は、トークン単位の照合だけでは見抜きにくい。U2はこの種の失敗を狙ったテストケースにあたる。
自社検証における実績:U2は1件
53件のテストクエリのうち、U2に該当するテストは1件実施され、結果は合格(意図した誤った混合をせずに回答)だった(出所: out/univ-demo.report.json、確認日2026-09-06)。53件という検証規模については、幻覚率の記事でも扱っているとおり、n=53で0件だった場合の95%上限は5.5%とされている。
1件の「合格」で言えること・言えないこと
標本数が少ない場合にどこまで言えるかという考え方(F6、確認日2026-09-06)では、n=12でも真の発生率の95%上限は22.1%とされている。これは「12回試して1回も起きなかった」としても、真の発生率が2割程度まである可能性を否定できないという意味である。U2の検証件数はこのn=12よりもさらに少ない1件であり、1件の合格は「その1つの問い方では混合しなかった」という事実以上のことを保証しない。カテゴリの組み合わせが増えるほど、1件のテストで確認できる範囲は相対的に狭くなる。
導入前に何を確認すべきか
自社でRAGを評価する際は、対象データが複数カテゴリに分かれているかをまず確認し、分かれている場合はカテゴリをまたぐ質問を意図的に複数パターン用意してテストすることが有効である。1件や2件のテストで「合格」となった場合も、それが対象とするカテゴリの組み合わせのごく一部でしかないことを踏まえ、件数を増やしてから判断する必要がある。
よくある質問
Q1. 別カテゴリの情報が混ざる失敗は、検索の失敗と何が違うのか
検索自体は正しいカテゴリの文書も含めて取得できているが、生成の段階でカテゴリを区別せず1つの回答にまとめてしまう点が異なる。取得した個々のチャンクは実在する文書のため、事実主張としては裏付けがあるように見えてしまう。
Q2. U2の1件はどのような検証か
自社の53件のテストクエリのうち、別カテゴリの情報を混ぜて答えるかを狙った質問が1件含まれており、結果は合格だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. 1件の合格はこの失敗が起きないことの証明になるか
ならない。標本数が少ない場合の考え方(F6)に当てはめると、n=12でも真の発生率の95%上限は22.1%とされており、U2の1件はそれよりもさらに少ない標本である。1件の合格は、そのテストケースで混合しなかったという事実以上には一般化できない。
Q4. Layer1の機械照合だけでこの失敗は検出できるか
Layer1は個々の事実主張の裏付けをトークン単位で照合する仕組みであり、複数カテゴリの情報が1つの文にまとまっていること自体を検出する設計ではない。この種の失敗を狙ったテストケースを別途用意して確認する必要がある。
自社のRAG検証全体の枠組みについては幻覚率の記事で扱っている。RAGの精度評価やテスト設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 曖昧な質問に確認せず断定する型
- 関連記事: 前提条件の捏造・取り違えの型