RAGの評価で精度の次によく話題になるのがレイテンシである。だがこの数字は測定地点をどこに置くかで意味が変わる。本記事はRAG精度評価シリーズの一環として、レイテンシ計測の設計をどう考えるべきかを整理する。
この記事で分かること・分からないこと
分かること
- レイテンシは「検索」「生成」「往復全体」のどこで測るかで数字の意味が変わるという整理
- p50(中央値)とp95(裾)のどちらを見るかで運用上の結論が変わりうるという一般論
- 自社RAG基盤でcontrol経路(索引を引くだけ)とtail経路(生成を伴う)がコード構造上分かれている事実
- baseline-rag.ts(出所B)のtimeoutMs=90000が実測の平均応答時間ではなく設定上の上限値であるという事実
分からないこと
- 自社基盤の具体的なミリ秒単位のレイテンシ実測値。今回の一次データには含まれていない
- control経路・tail経路それぞれの実測分布、p50・p95の実測値
- 他社RAG製品との速度比較
レイテンシは「どこで測るか」で数字が変わる
RAGのレイテンシは一つの数字で語れない。検索(retrieval)のみ、生成(generation)のみ、往復全体(end-to-end)の3地点で意味が変わる。検索だけ高速化しても生成側が律速なら体感速度は変わらず、生成モデルを軽くしても検索が非効率なら往復全体は改善しない。どの地点を指しているかを揃えないと議論が噛み合わない。
p50とp95、どちらを見るかで結論が変わる
レイテンシの分布は長い裾を持つことが多く、平均値だけを見るのは適さない場合が多い。p50(中央値)は典型的な体感速度を、p95(裾)は最悪に近いケースの待ち時間を表す。SLAの議論ではp95やp99が重視されることが一般的だが、p50だけ・p95だけでは全体像を捉えられない。
自社の構造上の事実 — control経路とtail経路
Layer1のグラウンディング検査を実装するservices/verifier/src/grounding-gate.tsのコード上のコメントには、fallback応答とcontrol応答(確定済み事実をそのまま返す経路)は索引を引くだけでLLM呼び出しが発生しない構造であることが明記されている。一方、自由入力に生成で応答するtail経路ではLLM呼び出しが発生する(出所A、確認日2026-09-06)。
この違いは論理的にはレイテンシとコストの両方に効くはずだが、「はず」と「実測でそうなっている」は別の主張である。編集部では現時点でcontrol経路・tail経路それぞれのミリ秒単位の実測値を持っていない。
timeoutMs=90000は「上限」であって「実測の平均」ではない
比較対象として実装しているベースライン実装services/verifier/src/baseline-rag.tsには、LLM呼び出しのタイムアウト上限としてtimeoutMs=90000(90秒)がコード上に設定されている(出所B、確認日2026-09-06)。
この90000という値を「典型的な応答が90秒近くかかる」と読むのは誤りである。タイムアウト値は実用限界を示す運用上の閾値であり、実際の典型応答時間よりかなり大きく設定されるのが通例だ。90秒という値からは典型的な応答時間の情報は引き出せない。設定値か実測値かを確認せずに数字を議論すると、この種の読み違いが起きやすい。
実務への提案 — 経路別にレイテンシを分けて計測する
検索・生成・往復全体のどの地点を測っているかを明記し、p50とp95を両方併記し、control経路とtail経路のように呼び出し構造が異なる経路は合算せず分けて計測する。合算すると、LLM呼び出しのないcontrol経路の速さが、tail経路の遅さを覆い隠しかねない。編集部でも経路別の実測レイテンシは今後の課題であり、揃い次第別記事で扱う予定である。
よくある質問
Q1. RAGのレイテンシを計測する際、まず何を決めるべきですか？
A. まず「どこで測るか」を決めることです。測定地点によって数字の意味が変わるため、比較の前に測定地点を固定する必要があります。
Q2. p50とp95のどちらを見るべきですか？
A. 目的によります。典型的な体験ならp50、最悪に近いケースやSLAの遵守を見るならp95(裾)が必要で、片方だけでは全体像を捉えられません。
Q3. 自社のRAG基盤ではミリ秒単位のレイテンシ実測値を公開していますか？
A. 公開していません。今回参照した一次データにはこの数値が含まれておらず、編集部では現時点で持っていません。
Q4. baseline-rag.tsのtimeoutMs=90000という値は実測の応答時間ですか？
A. いいえ。LLM呼び出しのタイムアウト上限として設定された値であり、実測の平均応答時間ではありません(出所B、確認日2026-09-06)。
関連記事
自社のRAG基盤における評価設計や、レイテンシ計測の経路分割について相談したい場合は、お問い合わせフォームからご連絡ください。