この記事で分かること／分からないこと
- 分かること: 再現率(recall)と適合率(precision)の定義と、両者がトレードオフの関係にあること
- 分かること: 自社にベースライン(素のtop-k検索)実装があり、比較できる構造を持っていること
- 分からないこと: 自社RAG基盤・ベースラインそれぞれの再現率・適合率の実測値(本稿執筆時点で未計測)
- 分からないこと: どちらを優先すべきかの一般解(用途によって異なる)
再現率と適合率とは何か
再現率(recall)は、本来引き当てるべき正解文書のうち、実際に検索で引けた割合を指す。適合率(precision)は、検索結果として返した文書のうち、実際に正解だった割合を指す。検索対象を広げる(kを大きくする)と再現率は上がりやすいが、無関係な文書も混じりやすくなるため適合率は下がる傾向がある。逆にkを絞ると適合率は上がりやすいが、必要な文書を取りこぼす可能性が高まり再現率は下がる。この2つは一般にトレードオフの関係にある。
RAGではどちらを優先すべきか
「間違った回答を返すくらいなら答えない方がいい」領域では、検索に無関係な文書が混ざること(適合率の低下)が、そのまま誤った回答の材料になりやすい。一方で、必要な文書を検索の時点で取りこぼす(再現率の低下)と、そもそも正しい回答を作る材料が無くなる。編集部が実測しているヒット率(有界ドメインの107テナント平均99.7%。出所: services/verifier/out/ucaro-verification.json、確認日2026-09-06)は、必要な情報が最終的に利用者へ届いたかを見る指標であり、再現率に近い性質を持つ。他方、幻覚率は届いた回答に無関係・不正確な内容が混ざっていないかを見る指標であり、適合率に近い関心事を扱っている。ただしこれらは検索段階そのものを直接測定した数値ではなく、あくまで概念的に近い関係にあるという整理である。
自社に比較用のベースラインがある
編集部のRAG基盤には、素朴なtop-k検索(k=5)によるベースライン実装が社内に存在し、自社方式と並べて比較できる構造になっている(実体: services/verifier/src/baseline-rag.ts)。再現率・適合率のトレードオフを定量的に議論するうえで、比較対象となる基準の実装を持っていること自体は土台になる。
今回のデータで測れていないこと
ただし、このベースラインおよび自社方式について、再現率・適合率そのものを定量的に測定した実測値は、本稿執筆時点のデータには含まれていない。編集部が現時点で持っている実測値は、ヒット率(107テナント平均99.7%)や幻覚率(標本数に応じた95%上限つきで0%)であり、これらは検索段階の中間結果ではなく、最終的に届いた回答を見た指標である。したがって「自社方式の再現率は何%、適合率は何%」という数値を、現時点で示すことはできない。
よくある質問
Q1. 再現率と適合率はどちらを優先すべきか
用途によって異なる。誤った回答のリスクが大きい領域では適合率(混入の少なさ)が重視されやすく、必要な情報の取りこぼしが致命的な領域では再現率が重視されやすい。一般解として一方を常に優先すべきとは言えない。
Q2. ヒット率は再現率と同じ指標か
同じではない。ヒット率は検索から回答提示までを含めた「利用者に情報が届いたか」を見る指標であり、検索段階だけを測る再現率とは測定対象が異なる。概念的に近い関心事を扱っているという整理にとどまる。
Q3. 自社のベースラインとの比較で再現率・適合率の差は分かるか
現時点では分からない。ベースライン実装(素のtop-k検索、k=5)は社内に存在するが、その再現率・適合率を定量的に測定したデータは今回の検証には含まれていない。
Q4. kを大きくすれば精度は上がるか
一概には言えない。kを大きくすると再現率は上がりやすいが、無関係な文書が混ざりやすくなり適合率が下がる可能性がある。両者はトレードオフの関係にある。
再現率と適合率のトレードオフを踏まえたうえで、答えられない場面をどう扱うかはIDK率の記事、そもそも答えられる質問がどれだけあるかは回答可能率の記事で扱っている。RAGの精度評価について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGのIDK率とは何か
- 関連記事: RAGの回答可能率とは何か
- 関連記事: RAGの引用提示率の測り方