RAGのハルシネーション対策：ローカルLLM16モデルに答えの無い文書（近い話題）を渡すと、答えを出した割合は17.8〜85.3%、辞退の指示を足すと0.8〜23.3%｜Qwen・Gemma・gpt-oss・DeepSeek【2026年11月】

渡した文書にキャンペーン価格が無いのに、キャンペーン価格を聞くと、16 モデルすべてが答えを出しました（辞退の指示を入れていない指示文での、1 問の例です）。問いは「Copilot Business（既存のプランへのアドオン）の年払いのキャンペーン価格は、月いくらですか。」です。渡した文書に Copilot Business の価格として書かれているのは「¥3,148 相当（年払い）」だけです。これは通常の価格で、キャンペーン価格（正解の ¥2,698）を書いた段落は渡していません。13 モデルが、通常の価格と同じ金額を答えました（書き方は「¥3,148」「¥3,148 相当」「3,148円。」などモデルで違います）。次の 1 文を足すと、11 モデルは 2 回とも「文書には書かれていません」と辞退しました。残る 5 モデルのうち 4 モデルは 2 回とも数を答えました。gpt-oss 20B は 2 回目だけ辞退しました。

文書に答えが書かれていない時は、「文書には書かれていません」とだけ答えてください。

上の例は、同じ答えを出したモデルが多い問いから、編集部が選んだ 1 問です（選び方は図の注）。全体の傾向は、次の測定で見ます。編集部は、無料で使え、自社のサーバーで動かせる LLM（大規模言語モデル）16 モデルを、文書に答えが無い問い 129 問を含む測定で調べました。同じ問いに、文書の種類を 3 種（答えのある文書、答えの無い文書（近い話題。以下「近い話題」）、答えの無い文書（別の話題。以下「別の話題」））、指示文を 3 種（指示なし・辞退の指示あり・根拠の引用）組み合わせ、各 2 回測っています。「指示なし」は、辞退の指示を入れていない指示文のことで、「次の文書を読んで、質問に答えてください。答えだけを短く書いてください。」という基本の指示は入っています。渡す文書はどれも 3 つの段落でできていて、その全体を「文書」、1 つを「段落」と呼びます。文書なしで聞く対照も 1 回測りました。

RAG は、問いに関係する文書を検索し、LLM に読ませて答えさせる仕組みです。ハルシネーションは、LLM がもっともらしい誤りを出力することを指す言葉で、原因も形もさまざまです。この記事が測ったのは、文書に答えが無いのに答えを出すことで、ハルシネーションの全部ではありません。文書にある内容を言い換える時の誤りは測っていません。この記事では、文書に答えが無いのに答えを出すことを「答えを出した」と表します。

答えの無い文書（近い話題）で答えを出した割合は、指示なしで 17.8〜85.3% でした。辞退の指示を 1 文足すと 0.8〜23.3% に下がり、16 モデル中 16 モデルで 2 回とも、検定で差がありました（検定の方法は測定の条件の「差の判定」）。ただし、答えのある文書での不要な辞退は 16 モデル中 15 モデルで 2 回とも増えました（検定で 2 回とも差があったのは Phi-4 14B だけです）。

• 測った問い：編集部が公開した実測記事と解説記事の段落から、数・名前・日付を答える問いを作りました（問いの作成には LLM を使いました。測定の条件の「編集部の作業と LLM」）。実行した 168 問から、基準に沿って 39 問を除外し、129 問で集計しています。
• 測り方：同じ設定（温度 0）で 2 回測り、2 回とも検定で差があった時だけ「差がある」と書きます（検定の方法は測定の条件の「差の判定」）。2 回の値は「小さい方〜大きい方」で書きます。
• 用語：「答えを出した割合」は、（答えを出した＋断りながら答えた）÷ 問いの数です。「断りながら答えた」は、「書かれていません」と言いつつ数や名前も書いた出力です。「辞退」は、文書に答えが書かれていないとして答えを控えること（「文書には書かれていません」など）です。答えのある文書では、正解と一致した答えを「正答」、そうでない答えを「誤答」と呼び、文書なしの表では「正解と一致」「正解でない答え」にあたります。測った数値の表は「実測表」と呼びます。

実測表：答えの無い文書（近い話題）で答えを出した割合は、指示なしで 17.8〜85.3%、辞退の指示ありで 0.8〜23.3%

並びは、指示なしで答えを出した割合の値が大きい順です。値が最も大きいのは Qwen3 8B（83.7〜85.3%）、最も小さいのは Qwen3.5 27B（17.8%）で、辞退の指示ありで最も大きいのは gpt-oss 20B（22.5〜23.3%）です。モデルどうしの差は検定していないので、値の近いモデルどうしの順位は、この測定では決められません。指示なしで、Qwen3.5 27B と次の Gemma 4 26B（19.4〜21.7%）の差は 129 問中 2〜5 問、Qwen3 8B と次の gpt-oss 20B（79.1〜81.4%）の差は 3〜8 問です。Qwen3 30B-A3B Thinking-2507 と DeepSeek-R1 8B は、指示なしの近い話題で「答えも辞退も無い」出力が 2 割を超え（21.7〜27.1% と 21.7〜23.3%）、その分は答えを出した割合に入っていません。採点は規則で行い、規則で決まらない出力は LLM（以下、判定役）に分類させました。判定役は gpt-oss 120B で、測った 16 モデルの 1 つです。判定役の区分は、抜き取った 200 組を判定役とは別の LLM（Claude Fable 5.2）に読ませて確かめ、誤りは 3 組（1.5%）でした（人による読み直しはしていません。詳細は測定の条件の「採点」）。「答えを出した」には、文書にある別の事実を答えた出力も入ります（たとえば、フォントの名前を聞かれて種類の数を答える出力）。

辞退の指示を 1 文足すと、近い話題で答えを出した割合は 16 モデル中 16 モデルで下がったが、gpt-oss 20B では 22.5〜23.3% が残った

足した指示文は、冒頭に引用した 1 文です。指示なしと辞退の指示ありを、同じ問いどうしで比べる統計的な検定（符号検定）でも、16 モデル中 16 モデルが 2 回とも差ありでした（詳細は測定の条件の表）。低下幅は、Gemma 4 26B の 10.9〜14.0 ポイントから Qwen3 8B の 69.0〜70.5 ポイントまでです。指示を足しても、gpt-oss 20B のほか Gemma 3 27B（17.8〜18.6%）や Qwen3 30B-A3B Thinking-2507（17.1〜17.8%）などは、答えを出した割合が 2 割前後残りました。

辞退の指示で、答えのある文書での不要な辞退が 2 回とも増えたのは 16 モデル中 15 モデルだが、検定で差が出たのは Phi-4 14B だけだった

答えのある問いに「書かれていません」と答えるのが、不要な辞退です。Phi-4 14B の増加幅は 10.1 ポイントです。ほかのモデルの増加幅は、gpt-oss 20B の 0.0〜0.8 ポイント（2 回目は増えていません）から DeepSeek-R1 8B の 7.0〜11.6 ポイントまでの範囲でした。DeepSeek-R1 8B は、1 回目は差があるとは言えず、2 回目だけ差ありでした。検定で差があると言えなかったモデルでも、不要な辞退が増えている可能性は残ります。答えのある文書での正答が、2 回とも差ありで下がったのは、Llama 3.1 8B（93.8〜94.6% から 82.2〜82.9%）と Phi-4 14B（96.1% から 86.8〜87.6%）です。

別の話題の文書でも、gpt-oss 20B は指示なしで 84.5% の問いに答えを出した

別の話題の文書は、問いに関係の薄い 3 段落を渡した、答えが無いことが分かりやすい条件です。gpt-oss 20B は近い話題（79.1〜81.4%）より別の話題のほうが割合が高く、指示なしでこの向きだったのは 16 モデル中このモデルだけです（2 回とも）。割合が 4 割を超えたのは、ほかに gpt-oss 120B（66.7〜69.0%）、Qwen3 8B（43.4〜45.0%）、Llama 3.1 8B（43.4〜44.2%）です。文書を読まずに、自分の知識や推測で答えている可能性があります（推定）。

答えを出した出力には、「0」「0%」のように 0 を答えたものが多く含まれます。gpt-oss 20B は 109 件中 27〜28 件、gpt-oss 120B は 86〜89 件中 23〜25 件、Qwen3 8B は 56〜58 件中 33 件でした（件数は測定の条件の表）。文書に無いことを 0 と表した可能性があります（推定）。数を聞いた問いへの答えとしては誤りなので、答えを出した割合に数えています。

辞退の指示を足すと、gpt-oss 20B は 2.3〜3.1% に下がりました。

根拠の引用の指示では、Qwen3.5 9B の答えのある文書での正答が 62.8% に下がった

根拠の引用の指示は、辞退の指示ありの文面のうち「答えだけを短く書いてください。」を、「答えの根拠になる文を文書から 1 文、そのまま引用してから、答えを短く書いてください。」に置き換えた文面です（原文は測定の条件の表）。辞退の指示ありとの差は、この置き換えの効果にあたり、引用を求めた効果と「答えだけを」を外した効果は分けられません。この指示は検定していません。

Qwen3.5 9B は、答えのある文書での正答が、指示なしの 96.1〜96.9%、辞退の指示ありの 94.6% から、62.8% に下がり、不要な辞退は 35.7% でした。引用する文が見つからない時に、辞退を選びやすくなった可能性があります（推定）。

近い話題で答えを出した割合は、Llama 3.1 8B で、辞退の指示ありの 14.7% から 60.5〜64.3% に上がりました（上の図には無い値で、測定の条件の「指示文ごとの数字の表」と「上限で切れた出力と空の出力」の表にあります）。ただし、この中には、出力の上限（256 トークン）に達して途中で切れた出力が 23〜25 件あります。切れた出力を LLM（Claude Fable 5.2）に読ませて確かめたところ、多くは文書の文を引用し続けたまま終わっていました。採点では、問いへの答えになっていない文を文書から写した出力も、答えを出した側に数えています。切れた出力を数えない場合の割合は 42.6〜45.0% で、この場合も辞退の指示ありの 14.7% より高い値です。Qwen3 14B も 14.0% から 24.0〜25.6% でした。ほかの 14 モデルでは、近い話題で答えを出した割合の、辞退の指示ありとの差は、最大で 5.4 ポイント（DeepSeek-R1 14B の 2 回目）でした。

近い話題・指示なしで、数を答える問いに誤って出た数は、渡した文書の中にある数と一致する出力が 443〜465 件で、渡していない文書とは 110 件だった

対象は、数を答える問いのうち、近い話題で答えを出した出力です（見出しの件数は指示なしの値）。答えの中の数が、渡した 3 段落に出てくるかをプログラムで自動的に調べました。渡していない別の話題の 3 段落にある数との一致も数え、文書を読まなくても一致する分（小さな整数がたまたま一致する場合など）の目安にしました。数の問い 101 問で、文書にある数は、渡した 3 段落が 1 問あたり平均 25.9 個、比較に使った別の話題の 3 段落が平均 19.3 個です。比較に使った段落の方が数が少ないので、数の個数をそろえた比較ではありません。

指示なしの出力（対象 789〜800 件）では、渡した文書の中にある数と一致したのが 443〜465 件でした。冒頭の例の ¥3,148 のように、渡した文書にある別の数を答えた出力が、ここに入ります（小さな整数がたまたま一致した出力も含みます）。答えの中の数が 0 個か 2 個以上で、どちらとも決められない出力は「分けられない」に入り、204〜214 件ありました。検索で答えのある段落を取りこぼすと、同じ記事の近い話題の段落にある別の数が答えとして出る場面が増えると考えられます（推定）。この測定は、検索を含みません。

同じ系列の大きい方が、答えを出した割合が低く 2 回とも検定で差があったのは、指示なしで 7 組中 1 組、辞退の指示ありで 7 組中 2 組だった

この比較は、結果を見た後に足しました。同じ系列の隣り合う大きさの 2 モデルを 1 組として、Gemma 3、Gemma 4、Qwen3（8B と 14B、14B と 30B-A3B Thinking-2507 の 2 組）、Qwen3.5、DeepSeek-R1、gpt-oss の 7 組を、近い話題で答えを出した割合で比べています。Qwen3 14B と Qwen3 30B-A3B Thinking-2507 の組は、大きさのほかに、モデルの構成（30B-A3B は、推論のたびに一部のパラメータだけを使う構成）と思考の設定も違います。DeepSeek-R1 の 8B と 14B は、Ollama が表示する系列（family）が qwen3 と qwen2 で、大きさのほかに、元にしたモデルも違います。

大きい方が低く 2 回とも差が出たのは、指示なしで Qwen3.5 9B と 27B（37.2〜38.0% と 17.8%）の 1 組、辞退の指示ありでその組（8.5% と 0.8%）と gpt-oss 20B と 120B（22.5〜23.3% と 7.0%）の 2 組です。大きい方が高い組は、差が出た組の中にありません。Gemma 3 12B と 27B（34.9〜36.4% と 45.7〜47.3%）、DeepSeek-R1 8B と 14B（37.2〜38.0% と 49.6〜50.4%）は、大きい方が答えを出した割合は高い値でしたが、差があるとは言えません。検定を別にして値の向きだけを見ると、大きい方が 2 回とも低かった組は、指示なしで 7 組中 5 組、辞退の指示ありで 7 組中 4 組です（辞退の指示ありの残りは、2 回とも高い組が 2 組、2 回とも同じ値の組が 1 組）。「答えも辞退も無い」出力を答えを出した側に数えると、指示なしでは 2 組で値の向きが逆になります。Qwen3 14B と 30B-A3B Thinking-2507 は「低い」から「高い」へ（「答えも辞退も無い」出力は、30B-A3B Thinking-2507 が 129 問中 28〜35 件、14B が 0 件）、DeepSeek-R1 8B と 14B は「高い」から「低い」へ変わります（8B が 28〜30 件、14B が 4 件）。どちらも、検定では差があるとは言えない組です。検定で差が出た 2 つの系列（Qwen3.5、gpt-oss）には、この比較の条件（近い話題の指示なしと辞退の指示あり）で「答えも辞退も無い」出力がありません。検定で差が出た系列は一部で、大きいモデルほど少ないとは言えません。

対策として確認すること

この測定の範囲から、導入の前に確認しておくことを 4 点挙げます。

• 指示文に辞退の 1 文を入れる：近い話題で答えを出した割合は、16 モデル中 16 モデルで下がりました。ただし 0.8〜23.3% は残りました。残る分を指示文だけで防げるかは、測っていません。出力を後段で検査する仕組みが必要になる場面があります（推定）。
• 答えのある問いで、不要な辞退が増えないかを自社の文書で確認する：測定では 16 モデル中 15 モデルで増え、Phi-4 14B では検定で差がありました。辞退の指示を足した後の正答を、足す前と同じ問いで比べます。
• 検索で近いが答えの無い文書が入る場面を想定する：指示なしで、近い話題のほうが別の話題より答えを出した割合が高かったのは、gpt-oss 20B 以外のモデルです。gpt-oss 20B だけは逆でした。検索でどんな文書が渡るかで、答えを出す割合が変わります。
• モデルや指示文を替えたら測り直す：根拠の引用の指示で、Qwen3.5 では 9B の正答が 62.8% に下がり、27B は 100.0% でした。順位と値は、モデルと指示文の組み合わせで変わりました。

測っていない対象と理由

• API で使うモデル：鍵と契約が必要なため、無料で使え、自社のサーバーで動かせるモデルに絞りました。
• ほかの量子化：Ollama の標準のタグで取得した量子化だけを測りました（種類は測定の条件の表）。
• 長い文書：渡した文書は 3 段落です。長い文書や、多数の段落を渡した場合は測っていません。
• 英語と他言語：問いと文書は日本語です。
• 検索を含めた通しの仕組み：文書は編集部が決めた 3 段落を渡しました。検索の精度は測っていません（検索側は埋め込みモデルの実測表を参照）。
• 速さとメモリ：共用の GPU サーバーで測ったため、モデルどうしの速さは比べていません（ローカル LLM の実測表、LLM サーバーの実測表を参照）。
• 表や図の中の答え、文章で答える問い：問いは、数・名前・日付を答える形です。

測定の条件

下の欄を開くと、問いと文書の出所・指示文の原文・モデル・採点・検定・除外した問いの一覧が表示されます。

先行の測定との違い

文書に答えが無い時の振る舞いは、先行の測定があります。

• RGB（Chen らの論文、AAAI で発表）は、検索した文書に必要な知識が無い時に断れるかを negative rejection（回答の拒否。この記事の辞退と同じ概念）として測っています。原文の定義は “Negative Rejection is a measure of whether LLMs can decline to answer a question when none of the contexts provide useful information.”（編集部訳: 与えられた文脈のどれにも有用な情報が無い時に、LLM が質問への回答を断れるかの尺度）です。渡す文書は答えを含まない文書だけで、答えられない時の決まった文を指示文に入れています。論文はBenchmarking Large Language Models in Retrieval-Augmented Generationです。
• FaithEval（Ming らの論文、ICLR で発表）は、unanswerable を “An unanswerable context arises when the context includes relevant details but lacks the information needed to answer the question.”（編集部訳: 答えられない文脈とは、文脈に関連する詳細は含むが、質問に答えるのに必要な情報が欠けている場合に生じる）と定義しています。文脈は、元の質問応答から答えを支えない文脈を LLM に作らせ、人が確認したものです。結果の節（4.1 Unanswerable Context）には “Larger model sizes are more advantageous within the same model family.” （編集部訳: 同じモデル系列の中では、大きなモデルのほうが有利である）という観察があり、要旨には “larger models do not necessarily exhibit improved faithfulness”（編集部訳: 大きなモデルが、必ずしも忠実さで上回るわけではない）という記述があります。前者は、同じ系列の中での比較についての観察です。モデルと言語の条件がこの記事とは違うので、結果は直接比べていません。論文はFaithEval の論文です。
• J-RAGBench（neoAI）は、日本語の RAG の評価データで、全部で 114 問、評価の区分は 5 つあり、その 1 つが回答拒否（原文は「根拠不足などの解答不能な状況下において適切に回答拒否を行う」。この記事の辞退は、このうち根拠不足の場合にあたります）です。オープンウェイトのモデルも評価されています。回答拒否だけの問いの数は、公開されたカードと紹介記事から確認できませんでした。データと紹介記事を参照してください。

この記事の違いは、次の 3 点です。

• Ollama で動かす 16 モデルを対象にしたこと
• 同じ問いへ 3 種類の文書（答えのある文書・近い話題・別の話題）を渡して比べたこと
• 辞退の指示の有無を比べ、2 回測ったこと

この実測表で分からないこと

• 自社の文書での値：文書は編集部の記事（実測記事と解説記事）の段落で、問いは数・名前・日付に偏っています（数が 129 問中 101 問）。文書の書き方や分量が違うと、値が変わる可能性があります（推定）。
• 採点の誤り：判定役の区分を 200 組読んだ監査では、誤りが 3 組、読む人によって区分が分かれる組が 14 組でした。読んでいない組にも、誤りが残っている可能性があります。監査で読んだのは LLM（Claude Fable 5.2）で、人による読み直しはしていません（測定の条件の「編集部の作業と LLM」）。
• 判定役：答えを出した側に入った出力は、すべて判定役（gpt-oss 120B）が区分しました。判定役は測った 16 モデルの 1 つで、自分の出力も判定しています。判定役を替えた時の値は測っていません。
• 答えも辞退も無い出力：指示なしの近い話題で、Qwen3 30B-A3B Thinking-2507 は 21.7〜27.1%、DeepSeek-R1 8B は 21.7〜23.3% が「答えも辞退も無い」でした（多くは、思考が出力の上限まで続いて空になった出力）。答えを出した割合にも辞退にも数えていないので、出力の上限を上げると、この 2 モデルの値は変わる可能性があります（推定）。
• 上限で切れた出力の扱い：Llama 3.1 8B の根拠の引用の指示では、上限で切れた出力を答えを出した側に数えるかどうかで、近い話題の値が 60.5〜64.3% と 42.6〜45.0% に分かれます。
• 「答えを出した」の中身：文書にある別の事実を答えた出力を含み、誤りの重さは区別していません。
• 近い話題の選び方：編集部が文字の重なりで選んだ 3 段落です。実際の検索が連れてくる文書とは違います。
• 2 回の揺れ：同じ設定の 2 回の差で、問いや文書の選び方による揺れは含みません。モデルどうしの差については、検定をしていません。値の近いモデルどうしの順位は、この測定では決められません。
• 思考の設定と出力の上限：思考（thinking）を使う 5 モデル（Qwen3 30B-A3B Thinking-2507、gpt-oss 20B・120B、DeepSeek-R1 8B・14B）は出力の上限を 3,256 トークン、ほかの 11 モデルは 256 トークンにしました。設定をそろえた比較ではありません。
• 辞退の言い方：辞退の指示は 1 種類の文面です。言い回しを変えた時の値は測っていません。
• 誤って出た数の出どころ：プログラムで数を分けた集計で、204〜214 件は分けられませんでした。数が一致しても、その数が選ばれた理由は測っていません。比較に使った別の話題の段落は、渡した段落より文書にある数が少なく（1 問あたり平均 19.3 個と 25.9 個）、渡していない文書との一致（110 件）は目安です。
• 学習データの影響：文書なしの対照で正解と一致したモデルは 16 モデル中 5 モデルで、最も多いモデルでも 129 問中 2 問でした。ただし、除外する前の 168 問では、2 モデル以上が正解と一致した問いが 26 問あり、基準 1 で除外しています。残した 129 問の値が小さいのは、この除外の結果でもあります。学習で覚えている影響は、切り分けていません。
• 大きさの比較：結果を見た後に足した比較で、隣り合う大きさの組だけです。事前に決めた仮説の検定ではありません。7 組のうち 2 組（Qwen3 の 14B と 30B-A3B Thinking-2507、DeepSeek-R1 の 8B と 14B）は、大きさのほかにも違いがあります。この 2 組は、「答えも辞退も無い」出力を答えを出した側に数えると、指示なしで値の向きが逆になります。
• 推定の文：本文の（推定）は、測定で確かめていない読みです。