RAGは退化入力にどう応答するか｜空文字・記号・絵文字・連打を検査した5件

この記事で分かること／分からないこと

• 分かること: 空文字・記号・数字・絵文字・連打といった「退化入力」に対する自社RAGの検査項目と結果
• 分かること: 検査件数が5件という少なさを、どう読めばよいか
• 分からないこと: 5件に含まれない退化入力パターン(未検査の入力形式)への応答
• 分からないこと: 他社RAG製品における同種の挙動

退化入力とは何か

退化入力とは、空文字・記号の羅列・数字だけ・絵文字だけ・同じ文字の連打など、通常の質問文としての体裁を持たない入力を指す。RAGは検索クエリとして意味のある文字列が来ることを前提に設計されていることが多く、こうした入力に対して的外れな検索結果を返したり、根拠のない事実主張を生成したりする恐れがある。編集部が検証に使っている自社RAG基盤では、退化入力への応答を12種ある失敗モードの一つ(G7)として検査項目に組み込んでいる(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。

自社検証:G7は5件、全て合格

同レポートのLayer1検査(LLMを使わない無料の機械照合。実体はservices/verifier/src/grounding-gate.ts)では、全53クエリのうち退化入力に分類されるものが5件含まれ、5件とも合格(passed)と記録されている。合格とは、根拠のない事実主張を生成せず、応答すべきでない場面では回答を控えるという基準を満たしたことを指す。

12種の失敗モードの内訳を並べると、退化入力(G7)は他の型に比べて検査数が多い部類に入る。

少ない件数をどう読むか

5件全てが合格したという結果は、検査した5件の範囲で失敗が観測されなかった、という以上の意味を持たない。全53クエリで0件の失敗だった場合、真の失敗率の95%上限は5.5%になる(0件を観測したときの上限は1 − 0.05^(1/n)で計算される。出所: 検証レポートの標本数、確認日2026-09-06)。退化入力の5件はこの53件の内訳の一部にすぎず、5件だけを取り出した場合の上限はさらに緩くなる。件数が増えるほど「たまたま5件とも通っただけ」という可能性は下がるが、現状の5件ではその可能性を否定しきれない。

実務で備える際の視点

退化入力への応答を設計する際は、検索処理に入る前に入力の妥当性を機械的にチェックする層を挟む、応答すべきでない入力には「回答できない」旨を明確に返す、といった設計が選択肢になる。編集部の自社基盤では、この判定をLayer1の機械照合が担い、判定に迷うものだけを別モデルによる盲検(Layer2)に回す構成をとっている。この構成が退化入力に対してどこまで有効かは、検査件数を増やしながら見ていく必要がある領域である。

よくある質問

Q1. 退化入力の検査は何件行われているか

自社検証のLayer1で、全53クエリ中5件が退化入力(空文字・記号・数字・絵文字・連打)に分類され、5件とも合格と記録されている(確認日2026-09-06)。

Q2. 「合格」とは具体的に何を判定しているか

根拠のない事実主張を生成しないこと、応答すべきでない場面では回答を控えることを、Layer1の機械照合とLayer2の盲検で判定した結果を指す。

Q3. 5件という数字だけで「退化入力に強い」と言えるか

言い切れない。全53クエリで0件だった場合の真の失敗率の95%上限は5.5%とされており、その内訳の一部である5件だけではさらに緩い上限しか示せない。

Q4. 退化入力以外にはどんな失敗モードが検査されているか

投げやり・非協力な入力、否定文の取り違え、プロンプト抽出・インジェクションなども別の失敗モードとして検査されている。それぞれの中身は関連記事で扱っている。

RAGの精度評価全体については幻覚率の記事で2層検査の仕組みを解説している。投げやりな入力への応答は投げやり・非協力な入力の記事、存在しない対象への応答は存在しない対象の記事で扱っている。RAGの失敗モード検査について相談したい方は、お問い合わせから編集部までご連絡いただきたい。

• ハブ記事: RAGサービス比較15選
• 関連記事: RAGの幻覚率の測り方
• 関連記事: 投げやり・非協力な入力への応答
• 関連記事: 存在しない対象への応答