この記事で分かること／分からないこと
- 分かること: 投げやり・非協力的な入力に対する自社RAGの検査項目と結果
- 分かること: 検査件数が3件という少なさを、どう読めばよいか
- 分からないこと: 3件に含まれない投げやり入力のパターン(未検査の言い回し)への応答
- 分からないこと: 利用者が実際にどの程度の頻度でこうした入力をするか
投げやり・非協力な入力とは何か
投げやり・非協力な入力とは、「なんでもいい」「わからない」「適当に」のように、質問として成立していない、あるいは回答者に判断を丸投げするような入力を指す。RAGにとってこの種の入力は、検索すべき対象が定まらないため、無理に検索結果を当てはめて根拠の薄い応答を作ってしまう恐れがある。編集部が検証に使っている自社RAG基盤では、投げやり・非協力な入力への応答を12種ある失敗モードの一つ(G8)として検査項目に組み込んでいる(出所: services/verifier/out/univ-demo.report.json、確認日2026-09-06)。
自社検証:G8は3件、全て合格
同レポートのLayer1検査(LLMを使わない無料の機械照合。実体はservices/verifier/src/grounding-gate.ts)では、全53クエリのうち投げやり・非協力な入力に分類されるものが3件含まれ、3件とも合格(passed)と記録されている。合格とは、質問の意図が定まらない状況で無理に断定した回答を作らず、確認や「回答できない」という応答を選べたことを指す。
12種ある失敗モードのうち、退化入力(G7・5件)に次いで検査数が多いのがこの投げやり・非協力な入力(G8・3件)である。
「合格」の基準をどう読むか
ここでの合格は、根拠のない事実主張を生成しないというLayer1の機械照合の基準を満たしたことを意味する。投げやりな入力に対しては、そもそも検索の手がかりが乏しいため、機械照合が「主張に対応する裏付けが見つからない」と判定しやすい。その意味で、この型は他の型に比べて機械的に検出しやすい失敗モードだとも言える。ただし最終的な確定はLayer2の盲検に委ねられる構成であり、Layer1の判定だけで全てが終わっているわけではない。
少ない件数をどう読むか
3件全てが合格したという結果は、検査した3件の範囲で失敗が観測されなかった、という以上の意味を持たない。全53クエリで0件の失敗だった場合、真の失敗率の95%上限は5.5%になる(0件を観測したときの上限は1 − 0.05^(1/n)で計算される。出所: 検証レポートの標本数、確認日2026-09-06)。投げやり入力の3件はこの53件の内訳のさらに一部であり、3件だけを取り出した場合の上限はより緩くなる。3件という数字は、まだ「投げやり入力に強い」と言い切れる水準ではない。
実務で備える際の視点
投げやりな入力への応答を設計する際は、質問の意図を確認する一往復を挟む、判断を丸投げされた場合は選択肢を提示するといった設計が考えられる。編集部の自社基盤では、こうした判定の一次フィルタをLayer1が無料で担い、判定に迷うものだけを課金のかかるLayer2の盲検に回している。この検証全体(Layer1の53件とLayer2の盲検12件)にかかったLLMコストは72円だった(確認日2026-09-06)。
よくある質問
Q1. 投げやり・非協力な入力の検査は何件行われているか
自社検証のLayer1で、全53クエリ中3件が投げやり・非協力な入力に分類され、3件とも合格と記録されている(確認日2026-09-06)。
Q2. 「合格」とは具体的に何を判定しているか
質問の意図が定まらない状況で根拠のない事実主張を生成しないこと、無理に断定せず確認や回答保留を選べたことを、Layer1の機械照合とLayer2の盲検で判定した結果を指す。
Q3. 3件という数字だけで「投げやり入力に強い」と言えるか
言い切れない。全53クエリで0件だった場合の真の失敗率の95%上限は5.5%とされており、その内訳の一部である3件だけではさらに緩い上限しか示せない。
Q4. 退化入力の検査と何が違うのか
退化入力(G7)は空文字や記号など質問の体裁自体が壊れている入力を指すのに対し、投げやり・非協力な入力(G8)は質問の体裁はあっても意図の判断を放棄している入力を指す。検査件数もG7が5件、G8が3件と別に集計されている。
RAGの精度評価全体については幻覚率の記事で2層検査の仕組みを解説している。空文字や記号への応答は退化入力の記事、否定文の取り違えは否定の誤射の記事で扱っている。RAGの失敗モード検査について相談したい方は、お問い合わせから編集部までご連絡いただきたい。
- ハブ記事: RAGサービス比較15選
- 関連記事: RAGの幻覚率の測り方
- 関連記事: 退化入力への応答
- 関連記事: 否定の誤射への応答