この記事で分かること／分からないこと
- 分かること: 「出典を示させる」という指示だけでは幻覚を防げない理由
- 分かること: 自社が実装している機械的な裏付け照合(Layer1)の仕組みと、それが検査できる範囲
- 分からないこと: あらゆる種類の事実誤認を機械的に検出できる保証があるかどうか
- 分からないこと: 出典提示を採用している他社実装の内部構成
出典を示させる設計とは何を指すか
RAGの回答生成では、モデルに対して「根拠となった文書や資料名を示したうえで回答すること」と指示する設計がよく使われる。読み手は提示された出典を見て、回答をそのまま受け取るのではなく参照元に当たって確認できる、という建て付けである。狙いは、回答の信頼性を後から検証できる状態にしておくことにある。
出典提示だけでは幻覚を防げない理由
出典の提示は、モデルへの指示の一つにすぎない。出典という文字列自体もモデルが生成する対象であり、実在しない資料名や、実在はするが該当の記述を含まない資料を、いかにも根拠であるかのように提示することがある。読み手が出典の実在や中身まで確認しなければ、出典が付いているという見た目だけで信頼してしまう危険が残る。出典提示は検証の入口を作るが、それ自体は裏付けの証明にはならない。
自社実装：出典の代わりに主張そのものを機械的に照合する
編集部が検証に使っている自社RAG基盤は、出典をモデルに書かせる代わりに、回答に含まれる事実主張そのものを機械的に照合する構成を持つ(実体: services/verifier/src/grounding-gate.ts)。回答から数値+単位(単位/点/%/名/期)、前期・後期・通年、「〜学/論/基礎/入門/演習/実験/科学/経済」で終わる語といった、裏付けが必要な主張のトークンを抽出し、記号を除いて正規化したうえで、真実集合(grounding fact)のテキストに全トークンが含まれているかを見る。すべて含まれていれば裏付けあり、一つでも欠ければ幻覚候補として扱う。この判定(Layer1)はLLMを呼ばないため無料で、まず全件をここでふるいにかけ、幻覚候補として残ったものだけを別モデルによる盲検(Layer2)に回す構成になっている。
この照合方式にも限界がある
Layer1が検査するのは、あらかじめ決めたパターン(数値+単位、時期を示す語、特定の語尾を持つ語)に一致する主張だけである。実装上、抽出したトークンが一つも無い主張は検査対象外として素通りする。つまり、数字や時期、科目名らしき語を含まない事実の誤りは、この機械照合だけでは捕まえられない。出典提示の限界(出典自体が捏造されうる)と、機械照合の限界(パターンに合わない主張は素通りする)は別種の穴であり、どちらか一方だけで幻覚を防いだとは言えない。
実測の規模と、そこから言えること
有界ドメインの107テナント・約1万件の科目データを対象にした検証では、平均幻覚率0%・幻覚が出たテナントは0件だったが、1テナントあたりの検査件数の内訳は非公開である(出所: 検証レポート services/verifier/out/*.json、確認日2026-09-06)。別途、内訳の分かる検証では、Layer1が53クエリ中0件、Layer2の盲検が12サンプル中0件の幻覚だった(確認日2026-09-06)。0件を観測した場合の真の発生率の95%上限は、n=53なら5.5%、n=12なら22.1%である。この検証にかかったLLMコストは合計72円だった(確認日2026-09-06)。
出典提示という設計と、機械照合という設計は対立するものではなく、組み合わせて使うものだと考えられる。幻覚率の測り方そのものについては別記事で詳しく扱った。引けなかった場合にどう振る舞わせるかは再検索と諦めの設計、複数の判定を突き合わせる仕組みは複数候補の突合で扱っている。RAGの精度設計について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
よくある質問
Q1. 出典を提示させれば幻覚は防げるか
防げない。出典という文字列自体もモデルが生成する対象であり、実在しない資料や無関係な資料をそれらしく提示することがある。出典提示は検証の入口を作るが、裏付けの証明にはならない。
Q2. Layer1の機械照合は何を検査しているか
回答から数値+単位や時期を示す語、科目名らしき語といった裏付けが必要な主張を抽出し、真実集合のテキストと正規化して照合する。すべてのトークンが真実集合に含まれていれば裏付けありと判定する。
Q3. Layer1はすべての誤りを検出できるか
できない。抽出できる裏付けトークンを一つも含まない主張は検査対象外として素通りするため、数字や時期、科目名らしき語を含まない事実誤認は機械照合だけでは捕まえられない。
Q4. 実測の幻覚率0%はどう読めばよいか
標本数とセットで読む必要がある。Layer1の53件で0件なら「5.5%以下」、Layer2の盲検12件で0件なら「22.1%以下」という意味になる(確認日2026-09-06)。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 引けなかった時に再検索させるか諦めさせるか
- 関連記事: 複数候補を突き合わせて矛盾を見つける