この記事で分かること／分からないこと
- 分かること: RAG導入で「公開してよいか」を判断する合格基準の決め方
- 分かること: 合格基準を100%ではなく91%に置く場合の考え方
- 分からないこと: 91%という数値が業種・用途を問わず適切かどうか
- 分からないこと: 基準を満たした後に品質が維持され続けるかどうか
基準は測定を始める前に決める
合格基準は公開の可否を判断する材料になる。基準を測定の後に決めると都合の良いラインを選んでしまう可能性があるため、何を測るか(指標)を決めた段階で合格ラインも決めておく必要がある。
100%ではなく91%を基準にする理由
合格基準を100%に置くと、根拠となる文書に答えが無い質問が1件でもあれば、その対象は基準を満たせず永久に公開できなくなる。文書には「書かれていないこと」が常に残るため、100%は理論上ほぼ到達不可能な基準になりやすい。
自社の検証では、hit率(質問に対して根拠のある回答ができた割合)の合格基準を91%に置いている。有界ドメインの107テナント・約9,933件の科目データの集計では、平均hit率99.7%、91%を下回ったテナントは0件という結果が記録されている(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。測定結果を踏まえた、到達可能なラインを基準にしている。
基準は「測れる範囲」で決め、下回った件数として記録する
この結果は「hit率91%達成」ではなく「91%を下回るテナントが何件あったか」という形で記録されている(確認日2026-09-06)。致命的な失敗のあったテナントも0件で、外れ値の件数を数える設計になっている。91%という基準自体は平均hit率99.7%という実測を踏まえた下限のラインであり、平均そのものを基準にしているわけではない。基準を測れる範囲で決めることで、平均が良好でも外れ値が出ていないかを確認する運用につながる。
よくある質問
Q1. 合格基準はなぜ100%にしないのか
根拠となる文書に答えが無い質問が1件でもあれば、100%基準ではその対象は永久に公開できなくなるため。文書には「書かれていないこと」が常に残る。
Q2. 自社のhit率91%という基準はどのように記録されているか
「hit率91%達成」という形ではなく「91%を下回るテナントが何件あったか」という形で記録される。107テナントの集計で、下回ったテナントは0件だった(出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)。
Q3. 基準は高いほど良いのか
そうとは限らない。到達できない基準を掲げ続けると基準自体が形骸化する。基準は測れる範囲の中で、守り続けられるラインとして決める必要がある。
Q4. hit率とは何を測る指標か
質問に対し根拠ある回答ができた割合を指す。自社の集計平均は99.7%。
基準を満たしているかを確認してから出す運用は公開前ゲートの記事、基準を満たさなくなった場合に止める条件は撤退条件の記事で扱っている。検査の具体的な中身は公開前検査の記事を参照してほしい。RAG導入の合格基準について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 公開前ゲートの運用
- 関連記事: 撤退条件を先に決める
- 関連記事: 公開前検査の読み方