この記事で分かること／分からないこと
- 分かること: RAGが短縮できるのは業務全体ではなく「探す」工程だけであること
- 分かること: 導入前に測っておくべき2つの数字とその測り方
- 分からないこと: 測定を省略した場合に具体的にどれだけ効果を見誤るか(個々の業務による)
- 分からないこと: 「探す時間」以外の工程(理解・判断・記録)をRAGで短縮する方法
RAGが変えるのは「探す」工程だけである
RAGの仕組みは、質問に対する事実の裏付けを、あらかじめ用意した文書や索引から取り出して照合する検索と検証の機構である(出所: services/verifier/src/grounding-gate.ts、確認日2026-09-06)。この仕組みが担っているのは、答えの根拠を探して突き合わせる工程であり、質問の背景を理解する工程や、答えを踏まえて何をするかを判断する工程、対応の結果を記録する工程には関与しない。したがって、ある業務の対応時間全体のうち、RAGが短縮しうるのは「探す」に相当する部分だけであり、業務全体の対応時間ではない。
業務全体の時間で効果を測ってはいけない理由
導入前後を比較する際、担当者1人あたりの対応時間の合計だけを見ると、探す工程以外の変動(問い合わせ内容の難易度、担当者の習熟、繁忙期かどうか)が混ざり込み、RAGの効果なのか別の要因なのかを切り分けられなくなる。RAGが担っているのは対応工程の一部でしかないため、比較の単位を「対応1件の総時間」に固定してしまうと、探す工程が短縮されても、他の工程の変動に埋もれて見えなくなることがある。効果を読みたいなら、比較の対象を「探す」工程そのものに絞る必要がある。
導入前に測るべき2つの数字
導入前に最低限測っておくべきなのは次の2つである。1つ目は「対応1件あたりの総時間」、2つ目は「そのうち探すのに使った時間」である。この2つを分けて記録することで、対応全体に占める探す工程の比率が分かり、RAGを入れた場合にどこまで短縮しうるかの上限を見積もる材料になる。記録の方法は、対応ログに開始・終了時刻を残す方法でも、担当者に都度メモしてもらう方法でもよいが、重要なのは「探す」に使った時間を、他の工程と分けて記録することである。
測らずに始めるとどうなるか
この測定を飛ばして導入すると、導入後に担当者の体感として「速くなった」という感想は得られても、それが探す工程の短縮によるものか、対応件数や難易度の変動によるものかを区別できない。比較する基準値(ベースライン)が無いため、導入前後の差を数値で示すこともできない。自社の実行時コストについては、実行時に触るのは索引だけという構成で1セッションあたり0.12円という実測値を持っている(出所: docs/STORAGE_AND_BILLING.md、確認日2026-09-06)。コストのように定義が明確な指標でさえ実測して初めて比較できるのであり、時間という測りにくい指標はなおさら、導入前の記録なしに比較することはできない。
測定した数字をどう使うか
測定して得られる「対応1件あたりの総時間」と「探すのに使った時間」の比率は、その業務にRAGを入れる価値があるかどうかの一次的な判断材料になる。探す工程の比率がそもそも小さい業務では、RAGを入れても短縮できる余地自体が小さい。逆に探す工程の比率が大きい業務は、RAGが効きうる業務として優先度が上がる。この比率の記録は、対象業務が有界かどうかの見極めとは別の軸であり、両方を導入前に確認しておくと、最初の1件を選ぶ判断がぶれにくくなる。
よくある質問
Q1. RAG導入前に何を測っておけばよいか
対応1件あたりの総時間と、そのうち探すのに使った時間の2つを分けて記録しておく。この2つが分かれば、対応全体に占める探す工程の比率が分かり、RAGで短縮しうる範囲の上限を見積もれる。
Q2. なぜ業務全体の対応時間だけで効果を測ってはいけないのか
RAGが担っているのは根拠を探して照合する工程だけであり、質問の理解や判断、記録には関与しない。業務全体の時間で比較すると、探す工程以外の変動に埋もれて、RAGの効果が見えなくなる。
Q3. 測定を省略して導入するとどうなるか
比較する基準値が無いため、導入後に速くなったという体感があっても、それが探す工程の短縮によるものか他の要因によるものかを区別できず、効果を数値で示せない。
Q4. 時間以外に導入前に確認しておくべきことは何か
対象業務が有界かどうか、つまり答えの集合が既存文書の中に決まっているかどうかも別軸で確認しておく必要がある。時間の測定と有界性の確認は両方が必要である。
対象業務が有界かどうかの見極め方は最初に着手する業務の選び方の記事にまとめている。測定した文書の中身がどこまで揃っているかを確認する手順はデータの棚卸しの記事で扱っている。自社の実測値と標本数の関係は幻覚率0%は何件で言えるかの記事を参照してほしい。RAG導入の進め方について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: 最初に着手する業務の選び方
- 関連記事: データの棚卸し
- 関連記事: 幻覚率0%を主張できる標本数