この記事で分かること／分からないこと
- 分かること: IDK率(「分かりません」と正しく答えられた割合)という指標の考え方
- 分かること: 幻覚率とIDK率がなぜ別の指標として扱われるべきか
- 分からないこと: 自社RAG基盤のIDK率そのものの実測値(本稿執筆時点で公開データに含まれない)
- 分からないこと: 業界平均のIDK率
IDK率とは何か――「答えない」ことも精度のうち
IDK率とは、本来答えられない、あるいは根拠を持って答えられない質問に対して、RAGが正しく「分かりません」と応答できた割合を指す。RAGの評価は「正しく答えられたか」に注目しがちだが、答えられない場面で無理に答えを作ってしまう(幻覚)よりも、答えを保留する方が安全な領域は多い。IDK率は、この「答えない判断」の質を測るための指標である。
幻覚率とIDK率は別の指標である
幻覚率が低いという結果は、2通りの理由で起こり得る。ひとつは、根拠のある正しい回答を生成できているケース。もうひとつは、根拠が不確かな場面で答えを避けている(IDKで返している)ケースである。幻覚率の数値だけでは、このどちらによって低く出ているのかを区別できない。
編集部の検証では、あるテナントのLayer1検査(53クエリ)とLayer2盲検(12サンプル)のいずれも幻覚率0%だった(出所: services/verifier/out/*.json、確認日2026-09-06)。ただしこれは標本数に基づく95%上限として「53件なら5.5%以下」「12件なら22.1%以下」としか言えない数値であり、詳しい考え方は幻覚率の記事で扱っている。この幻覚率の低さが、正しい回答によるものか、IDK判断によるものかは、幻覚率の数値だけからは分からない。
自社アーキテクチャでIDK判断を支えているもの
編集部のRAG基盤は、応答中の事実主張を機械的に取り出し、真実集合と正規化照合して裏付けの有無を判定する仕組み(Layer1)を持っている(実体: services/verifier/src/grounding-gate.ts)。この仕組みは幻覚を検出するためのものだが、裏付けの無い主張を検出できるということは、その主張をそのまま届けるのではなく、答えを保留する判断につなげる余地があるということでもある。根拠が無い場面でどう応答するか(IDKとして返す、再検索する等)は、幻覚を減らすための設計判断の一部になる。
実測できていないこと
IDK率そのものを実測するには、あらかじめ「答えられない」と分かっている質問の集合を用意し、そのうち何割を正しく「分かりません」と返せたかを数える必要がある。現時点で公開している検証データ(53件のLayer1検査、12件のLayer2盲検)は、いずれも「回答した内容に幻覚が含まれていたか」を見るものであり、「答えを保留すべき場面で保留できたか」を直接数えたものではない。したがって本稿の時点で、自社RAG基盤のIDK率という数値そのものは示せない。
よくある質問
Q1. IDK率と幻覚率はどう違うのか
幻覚率は、実際に返した回答の中に根拠のない主張が含まれていた割合を測る。IDK率は、本来答えられない質問に対して正しく「分かりません」と返せた割合を測る。幻覚率が低いことは、IDK判断が優れていることをそのまま意味しない。
Q2. 幻覚率が低ければIDK率も高いと言えるか
言えない。幻覚率の低さは、正しい回答によるものか、答えを避けたことによるものかを区別できないため、IDK率は別途測定する必要がある指標である。
Q3. 自社RAG基盤のIDK率は公開されているか
本稿執筆時点では公開データに含まれていない。IDK率を測るには、答えられないと分かっている質問の集合を用意し、正しく保留できた割合を数える必要がある。
Q4. IDK判断はどのような仕組みで支えられているのか
事実主張を機械的に取り出し、根拠となるデータと正規化照合して裏付けの有無を判定する仕組み(Layer1)が、裏付けの無い主張を検出する土台になっている。検出後にどう応答するかは設計判断の一部である。
IDK率は、幻覚率とセットで見て初めて意味を持つ指標である。検索結果の届き方は幻覚率の記事、検索の再現率と適合率のトレードオフについてはこちらの記事で扱っている。RAGの精度評価について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率をどう測るか
- 関連記事: RAGの再現率と適合率
- 関連記事: RAGの引用提示率の測り方