この記事は、RAGの精度評価を指標ごとに掘り下げるシリーズの1本である。全体の選び方はRAGサービス比較15選にまとめている。
この記事で分かること
- 「幻覚率0%」だけでは何も主張できていないこと
- 標本数ごとの95%信頼上限(n=12→22.1%からn=1000→0.30%まで)
- 自社の実測サンプル(n=12・n=53)と、公式から導いた参考値(n=30/100/300/1000)の違い
- 自分のRAGを評価する際、何件テストすればどのくらいの精度を主張できるか
この記事で分からないこと(正直に書く)
- 幻覚が1件以上観測された場合の信頼区間の計算方法(本稿は0件観測のケースのみを扱う)
- 107テナント一括検証で、1テナントあたり何件のクエリで判定したかの内訳(非公開のため信頼区間が計算できない)
「幻覚率0%」だけでは何も言っていない
「幻覚率0%」という表記を見たら、まず確認すべきは分母、つまり何件のテストで0件だったかである。10件で0件と1000件で0件では意味が違う。前者は「たまたま当たらなかった」可能性を排除できないが、後者はかなりの精度で幻覚が起きにくいと言える。この問題を数値で扱う方法が二項比率の信頼区間である。0件観測の場合、片側95%信頼上限は次の公式で求まる(出所E: 二項比率信頼区間の公式、確認日2026-09-06)。
1
片側95%信頼上限 = 1 - 0.05^(1/n)
nは標本数(テスト件数)である。この式は「本当の幻覚率がこの上限より高ければ、n件すべてで0件になる確率は5%未満」であることを意味する。「0件だった」という結果と矛盾しない上限を示す式であり、「幻覚率は0%である」という主張を保証する式ではない。
標本数と95%信頼上限の対応表
| 標本数(n) | 0件観測時の95%信頼上限 | 位置づけ |
|---|---|---|
| 12 | 22.1% | 実データ(出所D: Layer2盲検の実測サンプル数) |
| 30 | 9.5% | 参考値(出所E: 公式による試算) |
| 53 | 5.5% | 実データ(出所D: Layer1全クエリの実測サンプル数) |
| 100 | 3.0% | 参考値(出所E: 公式による試算) |
| 300 | 1.0% | 参考値(出所E: 公式による試算) |
| 1000 | 0.30% | 参考値(出所E: 公式による試算) |
n=12とn=53は単一テナントの詳細検証(出所D: services/verifier/out/univ-demo.report.json、生成日2026-07-20、確認日2026-09-06)で実際に使われた標本数であり、架空の数値ではない。Layer2の盲検判定が12件、Layer1の全クエリ検証が53件で、いずれも幻覚率0%だった。ヒット率という別指標の合格基準は姉妹記事「ヒット率とは何か」、幻覚率の定義自体は姉妹記事「幻覚率とは何か」に譲る。一方n=30・100・300・1000は追加で実施した検証ではなく、公式に基づく試算値である。この2つを混同すると、実施していない検証をしたかのような誤った印象を与える。
107テナント一括検証はなぜ信頼区間が計算できないのか
自社では107テナント・9,933科目を対象にした一括検証も実施しており、平均幻覚率0%・全テナントPASSだった(出所C: services/verifier/out/ucaro-verification.json、生成日2026-06-23、確認日2026-09-06)。一見強い実績に見えるが、この0%に信頼区間を計算することはできない。1テナントあたり何件のクエリで判定したかの内訳が非公開のため、標本数(n)が分からず公式を当てはめようがないからである。仮に1テナント5件しか使っていなければ95%信頼上限は約45%になり、説得力は大きく下がる。標本設計を公開していない「0%」は単体では評価できない。
実務ガイド: 何件テストすれば何が言えるか
上の対応表は次のように読み替えられる。「22%程度以下」でよければ12件、「5%程度以下」なら53件前後、「3%程度以下」なら100件、「1%以下」なら300件、「0.3%程度以下」なら1000件のテストで0件である必要がある。いずれも0件観測のケースであり、1件でも幻覚が見つかれば別の計算方法(Wilson score intervalなど)が要る。テストに使うクエリが実際の利用パターンを代表しているかも別途確認すべき論点である。
自社のRAG運用を、標本設計から含めて評価したい場合は、お問い合わせから編集部まで相談してほしい。
よくある質問
Q1. 「幻覚率0%」という表記の何が問題なのか
標本数を示さずに「0%」とだけ書くと、10件で0件だったのか1000件で0件だったのか区別がつかない。両者では本当の幻覚率がどこまで低いと言えるかがまったく異なる。
Q2. 95%信頼上限とはどういう意味か
0件観測を前提にした95%信頼上限は、「本当の幻覚率がこの値より高ければ、全件で幻覚が起きなかった確率は5%未満」という意味の上限値である。この値以下だと証明しているわけではない。
Q3. なぜn=12とn=53は実データで、n=30・100・300・1000は参考値なのか
n=12とn=53は自社の単一テナント検証で実際に使ったテスト件数である。n=30・100・300・1000は追加で実施したわけではなく、公式に当てはめた場合の参考値である。
Q4. 107テナントで幻覚0/107なら安心していいのか
平均幻覚率0%という結果自体は実測データである。ただし1テナントあたりのクエリ件数の内訳が非公開のため、この0%に対応する95%信頼上限を計算できない。
Q5. 自分のRAGは何件テストすればいいか
主張したい精度の水準で必要な件数は変わる。目安として5%程度以下なら50件前後、1%以下なら300件前後、0.3%程度以下なら1000件前後のテストで0件である必要がある。