この記事で分かること／分からないこと
- 分かること: 「回答可能率」(そもそもデータに答えがある質問の割合)という考え方
- 分かること: この限界がモデルの性能ではなくデータ側の問題であること
- 分からないこと: 自社RAG基盤の回答可能率そのものの実測値(本稿執筆時点で未計測)
- 分からないこと: 対象外の質問が全体のどれだけの割合を占めるか
回答可能率とは何か――モデルではなくデータの限界
回答可能率とは、利用者が投げかける質問のうち、そもそも参照データの中に答えが存在する割合を指す。検索(retrieval)の精度をいくら上げても、生成(generation)の質をいくら磨いても、データそのものに答えが含まれていなければ正しい回答は作れない。この意味で回答可能率は、ヒット率(データの中にある答えを実際に届けられたか)や幻覚率(届いた回答に根拠のない内容が混ざっていないか)より手前にある、データ側の限界を示す指標である。
自社データの規模感
編集部が検証に使っている自社RAG基盤は、有界ドメインの107テナント・約1万件(9,933件)の科目データを対象に構築されている(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。この107テナントは自社で構築した検証用のデータセットであり、顧客数を示す数値ではない。データの範囲がこの規模で区切られている以上、この範囲の外にある質問は、検索や生成の仕組みをどれだけ改善しても、原理的には正しく回答できない。
データ側の限界とアーキテクチャ側の対応
編集部のRAG基盤は、実行時に索引(D1のfaqs)だけを参照し、実行時にLLMを呼び出さない確定配信を行っており、実測で1セッションあたり0.12円というコストで動作している(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。この構成では、配信できる答えは索引に含まれる範囲に限られる。索引の外にある質問に対しては、無理に答えを作らず「分かりません」と返す判断(IDK率という別の指標で扱う)が必要になる。事実主張の裏付けを機械的に確認する仕組み(Layer1、実体: services/verifier/src/grounding-gate.ts)は、データの範囲を超えて答えようとした場合に、根拠のない主張を検出する役割を担っている。
実測できていないこと
回答可能率そのものを数値として示すには、実際に投げかけられる質問の集合を用意し、そのうちデータの範囲内に答えが存在する質問が何割かを数える必要がある。現時点で公開している検証データは、107テナントというデータの規模感と、その範囲内でのヒット率・幻覚率の実測にとどまっており、質問全体に対する回答可能率という比率そのものは測定されていない。したがって本稿の時点で「回答可能率は何%」という数値は示せない。
よくある質問
Q1. 回答可能率が低いのはモデルの性能が悪いからか
そうとは限らない。回答可能率はデータの範囲によって決まるものであり、検索や生成のモデルをどれだけ改善しても、データに答えが無ければ解決しない。データ側の限界として扱うべき問題である。
Q2. 自社RAG基盤の回答可能率は公開されているか
本稿執筆時点では公開データに含まれていない。測定するには、実際の質問の集合と、そのうちデータの範囲内に答えがある質問の割合を数える必要がある。
Q3. データの範囲外の質問にはどう対応すべきか
無理に回答を作るのではなく「分かりません」と返す判断が必要になる。この判断の質はIDK率という別の指標で扱う。
Q4. 有界ドメインの107テナントとはどのような規模か
約1万件(9,933件)の科目データを扱う、自社で構築した検証用のデータセットである。顧客数や導入実績を示す数値ではない(確認日2026-09-06)。
回答可能率は、精度の議論をする前提となるデータ側の限界を示す指標である。検索の再現率と適合率のトレードオフはこちらの記事、必要な情報が実際に届いたかはヒット率の記事で扱っている。RAGの精度評価について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの再現率と適合率
- 関連記事: RAGのヒット率とは何か
- 関連記事: RAGの引用提示率の測り方