この記事で分かること／分からないこと
- 分かること: 「曖昧な質問に確認せず断定する」失敗(F7表のU3)がどのような場面で起きるか
- 分かること: 自社検証でU3に該当するテストが何件実施され、結果がどうだったか
- 分からないこと: 曖昧さの種類や度合いによって結果が変わるか
- 分からないこと: 確認(聞き返し)とIDK(回答保留)のどちらを選ぶべきかをRAGが判断できているか
曖昧な質問に確認せず断定するとは何か
RAGへの質問には、複数の対象や複数の解釈が成立しうる曖昧なものが含まれる。本来であれば、どちらを指しているかを確認するか、断定を避けて保留する(IDK)のが適切な場面で、一方の解釈だけを選び、確認や留保なしに断定的な回答を返してしまう失敗がある。編集部の自社RAG基盤の検証では、これをF7分類の「U3: 曖昧な質問に確認せず断定」として扱っている(出所: services/verifier/out/univ-demo.report.json の layer1.failureModes、確認日2026-09-06)。
幻覚検査だけでは見抜けない理由
自社の2層検査は、応答中の事実主張を真実集合と照合し、裏付けの有無を判定する仕組みである(実体: services/verifier/src/grounding-gate.ts)。曖昧な質問に対して一方の解釈で答えた場合、その解釈のもとでの事実主張自体は真実集合と一致することがあり得るため、Layer1の機械照合だけでは「この断定が適切だったか」までは判定できない。U3は、事実の正確性とは別の軸として、質問への向き合い方そのものを検証するテストケースにあたる。
自社検証における実績:U3は1件
53件のテストクエリのうち、曖昧な質問への向き合い方を狙ったU3のテストは1件実施され、結果は合格(確認や留保なしに断定することはなかった)だった(出所: out/univ-demo.report.json、確認日2026-09-06)。同じ53件のテスト全体では、本来断定を避けるべき場面を正しく判断できた割合(idkCorrectRate)が100%とされているが、これは複数の判定項目を含む全体の集計値であり、U3単独の再現性を示すものではない(出所: 同上)。
1件の合格をどう読むか
標本数が少ない場合にどこまで言えるかという考え方(F6、確認日2026-09-06)を当てはめると、n=12のテストで0件だった場合でも真の発生率の95%上限は22.1%とされる。U3のテスト件数はこのn=12よりも少ない1件であり、1件の合格は「その1つの曖昧さのパターンでは断定しなかった」という事実にとどまる。曖昧さの種類(語の多義性・対象の複数存在・情報不足など)ごとに挙動が変わる可能性は、この検証だけでは確認できていない。
導入前に何を確認すべきか
対象データに複数の解釈が成立しうる質問が想定される場合は、曖昧さの種類ごとに複数のテストケースを用意し、確認や保留が適切に選べているかを検証することが望ましい。1件のテストで合格したことをもって、曖昧な質問全般への対応ができていると判断するのは早い。
よくある質問
Q1. 曖昧な質問への断定は、幻覚(事実の誤り)とどう違うのか
事実そのものは正しくても、複数の解釈が成立する質問に対して確認や留保なしに一方だけを選んで答えてしまう点が異なる。個々の事実主張は真実集合と一致することがあり得るため、幻覚検査だけでは検出しにくい。
Q2. U3の1件はどのような検証か
自社の53件のテストクエリのうち、曖昧な質問に確認せず断定するかを狙った質問が1件含まれており、結果は合格だった(出所: out/univ-demo.report.json、確認日2026-09-06)。
Q3. idkCorrectRateが100%なら、曖昧な質問への対応も万全と言えるか
言えない。idkCorrectRateは53件のテスト全体で断定を避けるべき場面を正しく判断できた割合の集計値であり、曖昧な質問への対応(U3)はその中の1件にすぎない。項目ごとの内訳としては件数が少ない。
Q4. 1件の合格はどこまで一般化できるか
標本数が少ない場合の考え方(F6)では、n=12でも真の発生率の95%上限は22.1%とされる。U3の1件はそれより少ない標本であり、そのテストケースで断定しなかったという事実以上には一般化できない。
自社のRAG検証全体の枠組みについては幻覚率の記事で扱っている。RAGの精度評価やテスト設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 前提条件の捏造・取り違えの型
- 関連記事: 属性（評価方法・時期）を誤る型