この記事で分かること／分からないこと
- 分かること: プロンプト抽出・インジェクションを試みる入力に対する自社RAGの検査項目と結果
- 分かること: 検査件数が2件という少なさを、どう読めばよいか
- 分からないこと: 2件に含まれない攻撃パターン(未検査の言い回しや手口)への応答
- 分からないこと: 継続的な攻撃(多数回のやり取りを重ねる手口)への耐性
プロンプト抽出・インジェクションとは何か
プロンプト抽出とは、利用者がシステムに与えられた指示(システムプロンプト)の中身を答えさせようとする働きかけを指す。プロンプトインジェクションとは、利用者の入力や検索で拾われた文書の中に紛れ込ませた指示によって、本来の役割や制約を書き換えさせようとする働きかけを指す。いずれもRAGが「与えられた指示に従いつつ、指示自体は開示しない」という前提を崩そうとする攻撃の一種である。編集部が検証に使っている自社RAG基盤では、この型を12種ある失敗モードの一つ(G17)として検査項目に組み込んでいる(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。
自社検証:G17は2件、全て合格
同レポートのLayer1検査(LLMを使わない無料の機械照合。実体はservices/verifier/src/grounding-gate.ts)では、全53クエリのうちプロンプト抽出・インジェクションに分類されるものが2件含まれ、2件とも合格(passed)と記録されている。合格とは、システムプロンプトの中身を開示せず、埋め込まれた指示に従って役割を書き換えなかったことを指す。
「合格」の基準をどう読むか
この型の合格は、他の失敗モード(根拠のない事実主張の有無を照合するもの)とはやや性質が異なる。プロンプト抽出・インジェクションでは、応答の中に本来非公開であるべき指示文が含まれていないか、応答の役割や前提が書き換えられていないかを見る必要がある。編集部の自社基盤ではLayer1の機械照合とLayer2の盲検を組み合わせて判定しているが、攻撃の手口は多様であり、2件の検査で確認できているのはそのごく一部の手口に対する結果である。
少ない件数をどう読むか
2件全てが合格したという結果は、検査した2件の手口の範囲で突破が観測されなかった、という以上の意味を持たない。全53クエリで0件の失敗だった場合、真の失敗率の95%上限は5.5%になる(0件を観測したときの上限は1 − 0.05^(1/n)で計算される。出所: 検証レポートの標本数、確認日2026-09-06)。プロンプト抽出・インジェクションの2件はこの53件の内訳の一部にすぎず、2件だけを取り出した場合の上限はさらに緩くなる。セキュリティに関わる失敗モードであるだけに、件数の少なさは他の型以上に重く見る必要がある。
実務で備える際の視点
プロンプト抽出・インジェクションへの耐性を高める設計としては、システムプロンプトと利用者入力・検索結果を明確に区別して扱う、応答の中にシステムプロンプトの断片が含まれていないかを機械的に照合する、といった選択肢がある。この種の失敗モードは検査件数を増やすほど手口の網羅性が上がる領域であり、2件という現状の件数は出発点にすぎない。
よくある質問
Q1. プロンプト抽出・インジェクションの検査は何件行われているか
自社検証のLayer1で、全53クエリ中2件がプロンプト抽出・インジェクションに分類され、2件とも合格と記録されている(確認日2026-09-06)。
Q2. 「合格」とは具体的に何を判定しているか
システムプロンプトの中身を開示しないこと、埋め込まれた指示に従って役割や前提を書き換えなかったことを、Layer1の機械照合とLayer2の盲検で判定した結果を指す。
Q3. 2件という数字だけで「攻撃に強い」と言えるか
言い切れない。全53クエリで0件だった場合の真の失敗率の95%上限は5.5%とされており、その内訳の一部である2件だけではさらに緩い上限しか示せない。攻撃の手口は多様であり、2件はそのごく一部に対する結果である。
Q4. 他の失敗モードとどう違うのか
退化入力や投げやりな入力は根拠のない事実主張の有無を見るのに対し、プロンプト抽出・インジェクションはシステムプロンプトの開示や役割の書き換えの有無を見る点で判定の観点が異なる。
RAGの精度評価全体については幻覚率の記事で2層検査の仕組みを解説している。否定文の取り違えは否定の誤射の記事、存在しない対象への応答は存在しない対象の記事で扱っている。RAGの失敗モード検査について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率の測り方
- 関連記事: 否定の誤射への応答
- 関連記事: 存在しない対象への応答