この記事で分かること／分からないこと
- 分かること: 応答中の事実主張を根拠集合と照合し、裏付けの無いものを検出する仕組み(Layer1グラウンディング検査)
- 分かること: この検査がLLMを使わず無料で動く理由と、検証全体での位置づけ
- 分からないこと: 業界横断で通用する汎用的な幻覚検出アルゴリズムの設計
- 分からないこと: Layer2(盲検)側の具体的なモデル構成
「根拠必須」を機械的なルールにする
RAGの回答が幻覚を含むかどうかを人手で毎回読んで判定するのはコストが高い。編集部が検証に使っている自社RAG基盤では、この判定の一次段階を、LLMを使わない機械的な照合(Layer1グラウンディング検査)として実装している(実体: services/verifier/src/grounding-gate.ts)。考え方はシンプルで、応答の中から「事実主張」を取り出し、その主張が根拠集合(grounding fact)に含まれているかどうかだけを見る。含まれていなければ、裏付けの無い主張、つまり幻覚候補として扱う。
何を取り出し、どう正規化して照合するか
Layer1が抽出の対象にしているのは、数値+単位(単位・点・%・名・期)、前期・後期・通年といった時期を表す語、「〜学/論/基礎/入門/演習/実験/科学/経済」で終わる固有名らしき語である。これらのパターンに当てはまらない主張(意見や一般論に近い文)は、そもそも検査対象から外れる。抽出した主張は、小文字化と、句読点・括弧・記号(%を含む)の除去という正規化を経てから、根拠集合のテキストと文字列として突き合わされる。主張から取り出した全トークンが根拠集合に含まれていれば「裏付けあり」、ひとつでも欠ければ幻覚候補としてリストに挙がる。なお、確認応答や、根拠をそのまま返す確定配信の経路は、構造上新しい事実主張を作らないため、この検査の対象から外れる設計になっている。
無料だから、課金の前にふるいにかけられる
Layer1の最大の利点は、LLMを呼ばないため検査そのものに費用がかからないことである。すべての応答をまずLayer1に通し、幻覚候補として残ったものだけを、より精度の高い別モデルによる盲検(Layer2)に回す。Layer1はあくまで一次推定であり、幻覚の最終確定はLayer2側で行う。この2段構えにより、実測ではLayer1の53クエリとLayer2の盲検12サンプルを合わせた検証で、LLM利用コストは72円に収まった(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。
実測値をどう読むか
有界ドメインの107テナント・約1万件の科目データを対象にした集計では、平均幻覚率は0%、幻覚が出たテナントは0件だった(出所: out/ucaro-verification.json、確認日2026-09-06)。ただし、テナントごとの検査件数の内訳は非公開のため、この0%から具体的な上限値を計算することはできない。一方、別テナントでのLayer1検査53件で幻覚候補0件という結果からは、「幻覚率5.5%以下」という95%上限が導ける(0件観測時の真の発生率の95%上限は1 − 0.05^(1/n)で計算され、n=53のとき5.5%になる)。0%という数字だけを見るのではなく、その裏にある件数を確認する必要がある。
よくある質問
Q1. Layer1はどうやって「事実主張」を判定しているのか
数値+単位、前期・後期・通年といった時期の語、「〜学/論」などで終わる固有名らしき語を機械的なパターンで抽出している。これらは表記が定型的で、根拠集合との文字列照合がしやすいという理由で選ばれている。
Q2. Layer1だけで幻覚の有無を確定できるのか
できない。Layer1は無料で動く一次推定であり、幻覚の最終確定は別モデルによる盲検(Layer2)で行う。Layer1は、Layer2に回す前にふるいにかけるための仕組みである。
Q3. なぜLLMを使わない検査を先に置くのか
LLMを使う判定には費用がかかる。すべてのクエリを先に無料のLayer1に通し、幻覚候補として残ったものだけをLayer2に回すことで、検証全体のコストを抑えられる。実測では53件と12件を合わせた検証で72円だった(確認日2026-09-06)。
Q4. 幻覚率0%という数値はそのまま信じてよいのか
信じてよいとは言えない。標本数によって、真の発生率がどこまであり得るかの上限が変わる。n=53であれば「5.5%以下」、n=12であれば「22.1%以下」という意味になり、内訳が非公開の集計では上限を計算できない場合もある。
Layer1の機械照合を通っても、それだけで根拠との対応関係が完全に保証されるわけではない。答えを避ける判断については「分かりません」を許す設計の記事、数値そのものの照合の詳細は数値・単位の照合の記事で扱っている。幻覚率という指標自体の測り方は幻覚率の測り方の記事にまとめている。RAGのハルシネーション対策について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: 「分かりません」を許す設計
- 関連記事: 数値・単位の照合