この記事で分かること／分からないこと
- 分かること: ヒット率の定義と、情報検索分野の「recall@k」との違い
- 分かること: 自社RAG基盤の実測値(有界ドメインの107テナント平均で99.7%)
- 分からないこと: テナントごとの内訳や1件あたりのクエリ数(非公開のため信頼区間を計算できない)
- 分からないこと: 素朴なtop-k検索(ベースライン)のヒット率の実測値(今回のデータに含まれない)
ヒット率とは何か
RAGの評価指標の中でもっとも基本的なのが「ヒット率」である。ユーザーの質問に答えるために本来引き当てるべき文書を、検索(retrieval)が実際に引けたかどうかを示す。似た言葉に情報検索分野の「recall@k」があるが、こちらは検索結果の上位k件に正解文書が含まれていたかを見る指標で、対象が検索そのものに限定される点が異なる。RAGの現場でヒット率を見る目的は、検索の内部動作ではなく、利用者にとって必要な情報が実際に手元に届いたかを確認することにある。
自社実測：107テナント平均で99.7%
編集部が検証に使っている自社RAG基盤では、有界ドメインの107テナント・約1万件(9,933件)の科目データを対象に検証を行い、平均ヒット率は99.7%だった(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。この107テナントは自社で構築した検証用のデータセットであり、顧客数を示す数値ではない。
なお、RAG市場全体は2024年の12.0億ドルから2030年には110億ドル規模に拡大すると予測されている(年平均成長率49.1%、2025〜2030年。出所: Grand View Research「Retrieval Augmented Generation Market Size, Share & Trends Analysis Report」、確認日2026-09-06、https://www.grandviewresearch.com/industry-analysis/retrieval-augmented-generation-rag-market-report )。
この数値だけでは分からないこと
99.7%という平均値には、テナントごとの内訳や、1テナントあたり何件のクエリで判定したかが含まれていない。標本数が分からなければ、この平均値に統計的な信頼区間を計算できない。標本数と信頼性の関係は、件数が明確な幻覚率の実測(次の記事)で具体的に示している。
また、素朴なtop-k検索(k=5)のベースライン実装が社内に存在するが(services/verifier/src/baseline-rag.ts)、そのヒット率を測定したデータは今回の検証に含まれていない。「自社方式はベースラインより何%高いか」という比較は、現時点では行えない。
他の指標と組み合わせて読む
ヒット率が高くても、それだけでRAGの品質を保証したことにはならない。文書が届いても中身が誤っていれば幻覚として現れるし、答えられない質問には「分かりません」と返すのが正しい。ヒット率は幻覚率や、答えられる質問の範囲を示す回答可能率と組み合わせて初めて意味を持つ。RAGサービス全体の選び方はRAGサービス比較15選、根拠の示し方は引用提示率の測り方も参考にしてほしい。
よくある質問
Q1. ヒット率とrecall@kは同じ指標か
異なる。recall@kは検索結果の上位k件に正解文書が含まれていたかを見る、検索段階だけの指標である。ヒット率は検索から回答提示までを含め、利用者に必要な情報が実際に届いたかを見る指標である。
Q2. 107テナント平均99.7%という数値はどこから来ているか
自社RAG基盤の検証データから得られた実測値である。有界ドメインの107テナント・約1万件の科目データを対象にしており、これは自社で構築した検証用データセットであって、顧客数を示すものではない(確認日2026-09-06)。
Q3. 99.7%はほぼ完璧と言えるか
言い切れない。テナントごとの内訳や1件あたりのクエリ数が公開情報に含まれていないため、この平均値に信頼区間を計算することができない。標本数が明確なデータでの読み方は幻覚率の記事で扱っている。
Q4. 素朴なtop-k検索と比べてどれだけ高いのか
比較できない。ベースライン実装は社内に存在するが、そのヒット率を測定したデータは今回の検証には含まれていない。
RAGのヒット率だけを見ても、精度の全体像は分からない。幻覚をどう検出しているか、そもそも答えられる質問がどれだけあるかまで含めて評価することを勧める。RAGの精度評価について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: RAGの回答可能率とは何か
- 関連記事: RAGの引用提示率の測り方