この記事で分かること／分からないこと
- 分かること: 幻覚率を検査する自社の2層構成(Layer1=機械照合、Layer2=盲検)の仕組み
- 分かること: 「幻覚率0%」という数値が、標本数によってどう読み方が変わるか
- 分からないこと: 業界横断で通用する平均的な幻覚率の水準
- 分からないこと: Layer2の盲検に使われている別モデルの詳細な構成
幻覚率とは何か、なぜ2層で検査するのか
幻覚率とは、RAGの回答のうち、根拠のない事実主張(幻覚)を含んでいた割合を指す。編集部が検証に使っている自社RAG基盤は、この検査を2層構成で行っている(実体: services/verifier/src/grounding-gate.ts)。
Layer1はLLMを使わない無料の検査である。応答から事実主張を取り出し(数値+単位、前期・後期・通年、「〜学/論/基礎/入門/演習/実験/科学/経済」で終わる科目名らしき語など)、小文字化や記号除去で正規化したうえで、真実集合(grounding fact)のテキストと照合する。主張中の全トークンが真実集合に含まれていれば「裏付けあり」、含まれなければ幻覚候補として挙げる。Layer2は別モデルによる盲検で、最終的な幻覚の確定はLayer2側で行う。Layer1はあくまで一次推定という位置づけである。
自社実測：n=53で0%、n=12(盲検)で0%
実測では、あるテナントのLayer1検査で53クエリ中0件、別テナントのLayer2盲検で12サンプル中0件の幻覚が確認された(出所: 検証レポート services/verifier/out/*.json、確認日2026-09-06)。この53件・12件という検査にかかったLLMコストは合計72円だった。107テナント全体の集計でも平均幻覚率は0%、幻覚が出たテナントは0/107だったが、こちらは1テナントあたりの検査件数の内訳が非公開のため、後述する上限値を具体的に計算することはできない。
「0件を観測した」ときに、真の発生率がどこまであり得るかは、標本数によって決まる。95%上限(1 − 0.05^(1/n))は次のとおりである。
| 標本数n | 95%上限 |
|---|---|
| 12 | 22.1% |
| 30 | 9.5% |
| 53 | 5.5% |
| 100 | 3.0% |
| 300 | 1.0% |
| 1000 | 0.30% |
したがって、盲検12件で0件だった場合は「幻覚率22.1%以下」、Layer1の53件で0件だった場合は「幻覚率5.5%以下」としか言えない。1%以下を主張したいのであれば300件の検査が必要になる。
無料の機械照合を先に置く理由
Layer1はLLMを呼ばないため費用がかからない。すべてのクエリをまずLayer1で機械的にふるいにかけ、幻覚候補として残ったものだけを課金のかかるLayer2の盲検に回す構成になっている。今回の検証(Layer1の53件とLayer2の12件を合わせた実行)のLLMコストが72円で済んでいるのは、この2段構えによるところが大きい。
幻覚率0%をどう読むべきか
「幻覚率0%」という表現は、標本数を伴わずに書くと性能保証のように読めてしまうが、実際には測定できた範囲の上限を示しているにすぎない。標本数が小さいほど、その上限は緩くなる(n=12なら22.1%まで許容される)。逆に、同じ0件でもn=300で得られた0%であれば「1%以下」と、より強い主張ができる。数値だけを見るのではなく、その裏にある標本数を確認したうえで読む必要がある。
よくある質問
Q1. 幻覚率0%は幻覚が一切起きないという意味か
そうではない。0%は観測された範囲での結果であり、標本数に応じた95%上限とセットで読む必要がある。n=53であれば「5.5%以下」、n=12であれば「22.1%以下」という意味になる。
Q2. なぜLayer1とLayer2の2段階に分けているのか
Layer1はLLMを使わない無料の機械照合で、まず幻覚候補をふるいにかける。そのうえで、確定判定が必要なものだけを別モデルによる盲検(Layer2)に回すことで、課金のかかる判定を必要な分だけに抑えられる。
Q3. 72円という検証コストは何を指しているのか
Layer1の53クエリとLayer2の盲検12サンプルを合わせた検証で発生したLLM利用コストの実測値である(確認日2026-09-06)。
Q4. 1%以下の幻覚率を主張するには何件必要か
95%上限の考え方に基づくと、300件の検査で0件であれば「1%以下」と言える。0.30%以下を主張するには1000件が必要になる。
幻覚率は、ヒット率が高いことと引き換えに生まれる副作用にもなり得る指標である。検索結果の届き方はヒット率の記事、答えを避ける判断についてはIDK率の記事で扱っている。RAGの精度評価について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGのヒット率とは何か
- 関連記事: RAGのIDK率とは何か
- 関連記事: RAGの引用提示率の測り方