RAGの評価指標として「根拠を提示できたか」を測りたいという要望は多い。回答に出典が付いていれば利用者は検証できるし、付いていなければ鵜呑みにするしかない。ただし「根拠提示率」という言葉は、hit率や幻覚率とどう違うのかが曖昧なまま使われがちである。本記事はRAG精度評価シリーズの一環として、この指標が指しているものと、自社の仕組みで何が実測できていて何ができていないかを整理する。
この記事で分かること・分からないこと
分かること
- 「根拠提示率」という概念が、hit率(配信成功率)・幻覚率(裏付けのない主張の割合)とどう関係し、どう違うか
- 自社RAG基盤で根拠の有無を判定している仕組み(Layer1: LLMを使わない無料の機械的照合)の具体的な手続き
- 実測データ(有界ドメインの107テナント・約9,933件の科目データ、幻覚率0%、hit率99.7%)が、根拠提示という観点から何を示しているか
分からないこと
- 「根拠提示率」という名前そのものでの集計値。今回参照した一次データには、この名称での指標は含まれていない
- 提示された根拠が、利用者にとって本当に納得できる質と量だったかという主観評価
根拠提示率とは何か ― hit率・幻覚率との関係
RAGの回答が「根拠を提示できた」というとき、実務では少なくとも2つの意味が混ざっている。ひとつは「そもそも回答自体が返せたか」(hit率に近い)。もうひとつは「返した回答の中身に、裏付けとなる事実との対応関係を示せたか」(幻覚率の裏返し)である。
この2つは独立ではない。裏付けのない主張(幻覚候補)を含む回答は、たとえ何かしらの文章を返せていても、根拠提示という観点では失敗している。逆に「分かりません」と正直に回答を保留した応答は、hit率としては未回答扱いになりうるが、根拠のない主張をしていないという意味では安全側の失敗である。根拠提示率を語るときは、どちらの失敗を数えているのかを先に決める必要がある。
Layer1 ― LLMを使わない無料の照合が根拠の有無を判定する
自社のRAG基盤には、応答中の事実主張に根拠があるかどうかを機械的に判定する仕組みがある(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。
この仕組み(Layer1)はLLMを一切使わない無料の検査である。応答文から「事実主張」にあたる部分、具体的には数値+単位(単位・点・%・名・期)、前期・後期・通年といった時期表現、「〜学」「〜論」「〜基礎」「〜入門」「〜演習」「〜実験」「〜科学」「〜経済」のような科目名らしき語を抽出する。抽出した語は小文字化し、句読点や括弧などの記号を除去して正規化したうえで、あらかじめ用意された真実集合(grounding fact)のテキストと照合する。主張中の全トークンが真実集合に含まれていれば「裏付けあり」と判定する(出所: 同上)。
この機械的な照合は根拠提示率を測るうえで重要な役割を持つ。課金の発生する判定にすべての応答を回す前に、無料の照合で明らかに裏付けのある主張とそうでない主張をふるいにかけられるからだ。評価そのものにかかるコスト構造については評価コストの記事で扱う。
実測から言えること ― 107テナントの数字は根拠提示の何を示すか
有界ドメインの107テナント・約9,933件の科目データを対象にした実測では、平均幻覚率0%、平均hit率99.7%、幻覚が出たテナントは0だった(出所: services/verifier/out/ucaro-verification.json および out/univ-demo.report.json、確認日2026-09-06)。
幻覚率0%ということは、Layer1の照合を通過しなかった(裏付けのない)主張が検出されなかったことを意味する。根拠提示という観点で言えば、少なくともこの検証範囲では裏付けのない主張を含む応答が観測されなかった、ということになる。ただし「0%」を無条件の保証と読むべきではない。標本数によって、この0%が実際に意味する上限は変わる。この点は標本数をいくつ取れば何が言えるかの記事で数値的に扱う。
実務への提案 ― 根拠提示率を測る前に決めておくこと
根拠提示率を自社の指標として使うなら、まず「hit率としての失敗」と「幻覚としての失敗」のどちらを、あるいは両方をどう合成して数えるのかを定義する必要がある。次に、無料の機械的照合(Layer1)で拾えるのはどこまでで、盲検のような別の確認にどこから先を委ねるのかという役割分担を決める。この役割分担については人手評価との一致率を扱う記事で詳しく整理している。
いずれの場合も、「根拠提示率100%」を最終目標に置くのではなく、何件測ってその数字を出したのかを併記する運用が実務上望ましい。
よくある質問
Q1. 根拠提示率とhit率は同じ指標ですか？
異なる。hit率は「回答自体を返せたか」を測る指標であり、根拠提示率は「返した回答の主張に裏付けを示せたか」を測る指標である。両者は関連するが同じではない。
Q2. Layer1の照合はどうやって「裏付けの有無」を判定していますか？
応答文から数値+単位や科目名らしき語などの事実主張を抽出し、正規化したうえで真実集合(grounding fact)のテキストと照合する。主張の全トークンが真実集合に含まれていれば裏付けありと判定する(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。
Q3. Layer1だけで根拠提示率を確定できますか？
できない。Layer1は一次推定であり、確定は別モデルによる盲検(Layer2)で行う設計になっている(出所: 同上)。役割分担の詳細は人手評価との一致率を扱う記事で整理している。
Q4. 107テナントで幻覚率0%だったなら、根拠提示率も100%と言えますか？
言い切れない。0%はこの検証範囲での観測結果であり、標本数によって実際に主張できる上限が変わる。標本数の考え方は別記事で扱っている。
関連記事
自社のRAG基盤における根拠提示・グラウンディング検査の設計について相談したい場合は、お問い合わせフォームからご連絡ください。