DeepSeek-R1 14B は日本語で頼んだお詫びの文面の途中で、「努め」に続く語尾だけを韓国語で書きました(図1)。編集部では Ollama で無料で動かせる言語モデル18個を、日本語の問題集2つと業務の依頼40本で、2回ずつ測定しました。日本語の常識問題の正答率が最も高かったのは Qwen3.5 27B と Gemma 4 26B(96.1〜96.4%) です。GPU のメモリの使用量が12GB以下のモデルでも、常識問題の正答率(2回の平均)が93%を超えたものが4つありました。
日本語のお詫びの文面の途中で、DeepSeek-R1 14B は「努め겠습니다」と語尾だけ韓国語で書いた
- 依頼(編集部が書いた業務の依頼 40 本のうちの 1 本)
- お客様から「注文した商品と違う色が届いた」という問い合わせが来ました。最初の返信の文面を書いてください。
- DeepSeek-R1 14B の回答(出力のまま)
- お客様、申し訳ございません。注文した商品と違う色が届きましたこと、大変お騒がせしました。この件につきましては、弊社のミスでございます。お客様のご不便をおかけしましたことを深くお詫び申し上げます。
お客様のご希望に添えるよう、できるだけ早く正しい商品を送りかえすか、または返金手続きをとらせていただくことが可能です。お客様のご希望をお伺いできれば幸いです。
再度お詫び申し上げます。今後このようなことが起こらないよう、努め겠습니다。お客様のご理解とご協力を宜しくお願い申し上げます。
ローカルLLMは自社のパソコンやサーバーで動かす大規模言語モデル(LLM)です。入力した文章が外部のサービスに送られないため、社内の文書を扱う業務で使われます。実用的な速さで動かすには、画像処理用の演算装置である GPU と、そのメモリ(VRAM)が必要です。Ollama はローカルLLMを動かすための無料のソフトウェアで、ollama pull の1行でモデルを取得できます。モデル名の 8B や 27B はパラメーター数(Bは10億)を表し、おおむね、大きいほど多くのメモリを使います。
実測表:18モデルの正答率・外国語の混ざり方・GPU のメモリ
常識問題(JCommonsenseQA)と算数の文章題(MGSM)は正答率(%)、外国語は業務の依頼40本のうち、回答に外国語が混ざった本数です。どれも2回測った値を「/」で並べています。
| モデル | 開発元 | 常識問題 | 算数の 文章題 |
外国語が 混ざった本数 |
GPU の メモリ |
速さ (参考) |
ライセンス |
|---|---|---|---|---|---|---|---|
| Qwen3 8B | Alibaba(中国) | 83.1/83.0 | 82.8/81.2 | 0/0本 | 6.2GB | 229 | Apache-2.0 |
| Qwen3 14B | Alibaba(中国) | 93.9/94.4 | 83.6/84.8 | 1/0本 | 10.3GB | 149 | Apache-2.0 |
| Qwen3 30B-A3B Thinking-2507 | Alibaba(中国) | 94.1/94.1 | 90.0/90.0 | 2/2本 | 19.5GB | 259 | Apache-2.0 |
| Qwen3.5 9B | Alibaba(中国) | 91.2/91.4 | 80.4/79.6 | 1/4本 | 7.2GB | 161 | Apache-2.0 |
| Qwen3.5 27B | Alibaba(中国) | 96.4/96.4 | 87.2/87.2 | 1/2本 | 18.2GB | 73 | Apache-2.0 |
| Gemma 3 12B | Google(米国) | 91.9/92.0 | 80.0/80.4 | 0/1本 | 9.8GB | 140 | Gemma Terms of Use |
| Gemma 3 27B | Google(米国) | 92.4/92.3 | 83.2/83.2 | 1/1本 | 19.3GB | 85 | Gemma Terms of Use |
| Gemma 4 12B | Google(米国) | 92.1/92.3 | 84.8/86.0 | 1/1本 | 9.6GB | 217 | Apache-2.0 |
| Gemma 4 26B | Google(米国) | 96.1/96.1 | 87.6/87.6 | 1/1本 | 20.1GB | 259 | Apache-2.0 |
| gpt-oss 20B | OpenAI(米国) | 93.3/93.2 | 83.2/83.2 | 0/0本 | 13.6GB | 261 | Apache-2.0 |
| DeepSeek-R1 8B | DeepSeek(中国) | 84.2/84.5 | 74.0/71.6 | 6/5本 | 6.2GB | 228 | MIT |
| DeepSeek-R1 14B | DeepSeek(中国) | 92.6/91.9 | 81.2/80.8 | 20/15本 | 10.1GB | 138 | MIT |
| Llama 3.1 8B | Meta(米国) | 86.1/86.0 | 54.0/55.2 | 0/0本 | 5.9GB | 231 | Llama 3.1 Community License |
| Phi-4 14B | Microsoft(米国) | 93.4/93.2 | 80.4/80.4 | 0/0本 | 10.4GB | 159 | MIT |
| Qwen3-Swallow 8B | 東京科学大学ほか(日本) | 93.3/92.9 | 84.8/86.4 | 1/0本 | 6.0GB | 220 | Apache-2.0 |
| LLM-jp-4 8B | 国立情報学研究所(日本) | 94.5/94.5 | 73.2/74.4 | 0/0本 | 6.1GB | 234 | Apache-2.0 |
| Llama 3.1 Swallow 8B | 東京科学大学ほか(日本) | 92.1/92.2 | 56.8/57.2 | 1/1本 | 5.9GB | 191 | Llama 3.1 Community License と Gemma Terms of Use |
| Llama-3-ELYZA-JP 8B | ELYZA(日本) | 73.5/73.7 | 48.0/48.8 | 6/6本 | 5.9GB | 231 | Llama 3 Community License |
- 2026年11月8日に、NVIDIA H200(データセンター向けの GPU)1基で測定しました。速さは1秒あたりに出力したトークン(モデルが文章を区切って扱う単位)の数です。家庭用の GPU では遅くなるため(推定)、モデルどうしの比較にだけ使えます。
- GPU のメモリはモデルを読み込んで回答した時の使用量です(コンテキスト長4,096トークン)。
- ライセンスは各モデルの Hugging Face の配布ページの表示です(2026年11月8日に確認)。商用で使えるかは各ライセンスの全文で確かめる必要があります。
日本語の回答に外国語が混ざったのは、DeepSeek-R1 14B が40本中15〜20本で最も多かった
日本語の回答に外国語が混ざったのは、DeepSeek-R1 14B が40本中15〜20本で最も多かった
依頼40本は、お詫びのメール、問い合わせへの返信、社内ルールの案など、業務でよくある頼み方で編集部が書きました。DeepSeek-R1 14B は1回目で20本に外国語が入り、内訳は中国語6本、韓国語4本、英語10本でした。英語の回答には、日本語で頼んだのに日本語を1字も使わず、全体を英語で書いたものがありました。
ほかに、どちらかの回で4本以上だったのは、Llama-3-ELYZA-JP 8B(6本/6本)、DeepSeek-R1 8B(6本/5本)、Qwen3.5 9B(1本/4本)の3つです。残りの14モデルはどの回も2本以下でした。Qwen3.5 9B のように2回で3本違うモデルもあるため、この3つの間に順位は付けていません。Llama-3-ELYZA-JP 8B は6本とも英語で、編集部が中身を読んだ2本は、どちらも「Here is a message you can send to your boss」のように回答の全体が英語でした。
数え方は、中国語の簡体字か韓国語の文字が1字でも入るか、英語の文が入れば1本です。社外に出す文面を作らせる場合は、回答に外国語が入っていないかを確かめる手順が要ります。
GPU のメモリの使用量が12GB以下でも、常識問題の正答率(2回の平均)が93%を超えたモデルが4つあった
GPU のメモリの使用量が8GB以下だったのは8モデル。24GB以下なら測った全モデル
使用量が8GB以下だったのは、8〜9B級の8モデル(5.9〜7.2GB)です。12〜14B級の5モデルは9.6〜10.4GB、gpt-oss 20B は13.6GBでした。26〜30B級の4モデルは18.2〜20.1GBで、測った18モデルはすべて24GB以下に収まりました。
GPU のメモリの使用量が12GB以下でも、常識問題の正答率(2回の平均)が93%を超えたモデルが4つあった
画面の表示にも GPU のメモリが使われるため、使用量が GPU の容量に近いモデルは動かないことがあります(推定)。
| 使用量 | 常識問題の正答率が高かったモデル |
|---|---|
| 8GB 以下 | LLM-jp-4 8B(94.5%/94.5%)、Qwen3-Swallow 8B(93.3%/92.9%) |
| 8〜12GB | Qwen3 14B(93.9%/94.4%)、Phi-4 14B(93.4%/93.2%) |
| 12〜16GB | gpt-oss 20B(93.3%/93.2%)。外国語が混ざった回答は2回とも0本 |
| 16〜24GB | Qwen3.5 27B(96.4%/96.4%)、Gemma 4 26B(96.1%/96.1%) |
日本語の常識問題:最も高かったのは Qwen3.5 27B と Gemma 4 26B
日本語の常識問題の正答率が最も高かったのは、Qwen3.5 27B と Gemma 4 26B(96.1〜96.4%)
常識問題は JCommonsenseQA(日本語の常識を5つの選択肢から選ぶ問題集)のうち、検証用(valid)として公開されている1,119問です。2回の正答数の差は最も大きい DeepSeek-R1 14B で8問(0.8ポイント未満)でした。上位の2つの差は4問(0.4ポイント)で、2回の揺れより小さいため、同じ水準として扱っています。
8B級では日本製の LLM-jp-4 8B(94.5%/94.5%)と Qwen3-Swallow 8B(93.3%/92.9%)が、Qwen3 8B(83.1%/83.0%)や Llama 3.1 8B(86.1%/86.0%)より高くなりました。最も低かったのは Llama-3-ELYZA-JP 8B(73.5%/73.7%)です。
算数の文章題:常識問題で90%を超えたモデルでも、正答率は56.8〜90.0%に開いた
常識問題で90%を超えたモデルの間でも、算数の文章題の正答率は56.8〜90.0%と差が開いた
算数の文章題は MGSM(小学校の算数の文章題を各国語に訳した問題集)の日本語の250問です。2回とも87%以上だったのは、Qwen3 30B-A3B Thinking-2507(90.0%/90.0%)、Gemma 4 26B(87.6%/87.6%)、Qwen3.5 27B(87.2%/87.2%)の3つです。87%に最も近かった Qwen3-Swallow 8B(2回目86.4%)との差は2問、2回の揺れの最大は6問なので、この3つの間にも、87%の線の前後にも順位は付けていません。
常識問題で正答率が高かった日本製のモデルも、算数の文章題では低くなりました。LLM-jp-4 8B は常識問題が94.5%、算数の文章題が73.2%/74.4%です。Llama 3.1 Swallow 8B は常識問題が92.1%/92.2%、算数の文章題が56.8%/57.2%でした。同じ日本製でも、思考モード(答えの前に考える過程を出力する機能)で答える Qwen3-Swallow 8B は84.8%/86.4%でした。思考モードで答えるモデルは、出力の上限(6,144トークン)とコンテキスト長(8,192トークン)も、ほかのモデル(1,024トークン・4,096トークン)より大きくしています。差が思考モードによるものかは、この測定では分けられません。
DeepSeek-R1 8B は250問のうち37〜41問で、出力の上限(6,144トークン)までに答えを書き終えませんでした。書き終えなかった問題は不正解として数えています。
測定の条件
測定の条件の詳細を開く
モデル:Ollama の公式ライブラリの人気上位から14個と、日本製の4個を選びました(2026年11月8日)。日本製の4個は、Hugging Face の mmnga と mmnga-o が公開している GGUF 版を、Ollama の hf.co/ 経由で取得しました。量子化(モデルを小さくするために数値の精度を落とす方式)は、gpt-oss 20B が MXFP4、ほかの17個が Q4_K_M です。Ollama の qwen3:30b は思考モードだけで答える Qwen3-30B-A3B-Thinking-2507 でした。deepseek-r1:8b は DeepSeek-R1-0528-Qwen3-8B、deepseek-r1:14b は DeepSeek-R1-Distill-Qwen-14B(どちらも Qwen を元にした蒸留版)です。
| モデル | Ollama のタグ | digest |
|---|---|---|
| Qwen3 8B | qwen3:8b |
500a1f067a9f |
| Qwen3 14B | qwen3:14b |
bdbd181c33f2 |
| Qwen3 30B-A3B Thinking-2507 | qwen3:30b |
ad815644918f |
| Qwen3.5 9B | qwen3.5:9b |
56671c2ab938 |
| Qwen3.5 27B | qwen3.5:27b |
64ae5b1d651f |
| Gemma 3 12B | gemma3:12b |
b92b218582c5 |
| Gemma 3 27B | gemma3:27b |
6be2e2ba6843 |
| Gemma 4 12B | gemma4:12b |
6114515d63c1 |
| Gemma 4 26B | gemma4:26b |
001e5dafc3c7 |
| gpt-oss 20B | gpt-oss:20b |
f38aa0c53da5 |
| DeepSeek-R1 8B | deepseek-r1:8b |
6995872bfe4c |
| DeepSeek-R1 14B | deepseek-r1:14b |
c333b7232bdb |
| Llama 3.1 8B | llama3.1:8b |
46e0c10c039e |
| Phi-4 14B | phi4:14b |
ac896e5b8b34 |
| Qwen3-Swallow 8B | hf.co/mmnga-o/Qwen3-Swallow-8B-RL-v0.2-gguf:Q4_K_M |
18b49f298096 |
| LLM-jp-4 8B | hf.co/mmnga-o/llm-jp-4-8b-instruct-gguf:Q4_K_M |
66c13546c97e |
| Llama 3.1 Swallow 8B | hf.co/mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-gguf:Q4_K_M |
fd7317484a0c |
| Llama-3-ELYZA-JP 8B | hf.co/mmnga/Llama-3-ELYZA-JP-8B-gguf:Q4_K_M |
402c901b8f43 |
digest は測定に使った計算機で ollama list を実行し、表示された ID と先頭の12桁が一致することを確かめました(2026年11月9日)。
常識問題:JGLUE の JCommonsenseQA v1.3 の検証用データ(valid、1,119問、CC BY-SA 4.0)です。指示文は「次の質問に、最も適切な選択肢の番号を1つ選んでください。番号(0〜4)だけを答えてください。」で、出力の最初の0〜4の数字を答えとしました。
算数の文章題:MGSM の日本語版(250問、CC BY-SA 4.0)です。指示文で、最後の行に「答え:」に続けて数値だけを書くよう頼み、「答え:」の後の数値(無ければ最後の数値)を答えとしました。
外国語の判定:回答に、中国語の簡体字(日本語の文字コード Shift_JIS に無く、中国語の文字コード GB2312 にある字)、韓国語のハングル、機能語(the・to・you など)を含む英単語3つ以上の連なりのどれかがあれば、外国語が混ざった回答として数えました。「Slack, Teams, Chatwork」のような製品名の並びは数えません。業務の依頼40本は次のとおりです。
- 取引先に、納品が3日遅れることを伝えるお詫びのメールを、200字程度で書いてください。
- 新しく入った社員向けに、社内チャットの使い方の注意点を5つ、箇条書きで書いてください。
- 会議の日程を来週の火曜日から木曜日に変えてほしいと、上司に頼むメッセージを書いてください。
- 生成AIを社内で使う時に、情報漏えいを防ぐための決まりを4つ挙げ、それぞれ一文で説明してください。
- 次の文章を3行で要約してください。「当社は来月から、紙の申請書をやめて、すべての経費精算をオンラインで受け付けます。領収書は写真で提出でき、承認は上長がスマートフォンから行えます。移行期間は2か月で、その間は紙の申請も受け付けます。」
- お客様から「注文した商品と違う色が届いた」という問い合わせが来ました。最初の返信の文面を書いてください。
- 在宅勤務の良い点と難しい点を、それぞれ3つずつ挙げてください。
- 小学生にも分かるように、インターネットの仕組みを150字程度で説明してください。
- 「検討します」という返事を、相手に失礼のない形で、もう少し具体的な言い方に書き直してください。例を3つ挙げてください。
- 新商品の発表会の案内文を、日時と場所を空欄にして書いてください。
- 社内の勉強会で使う、自己紹介のテンプレートを作ってください。
- 電話の取り次ぎで、担当者が不在の時の受け答えの例を書いてください。
- 週報の書き方のコツを、新人に向けて300字程度で説明してください。
- 顧客アンケートの自由記述を分類する時の、分類の項目の例を6つ挙げてください。
- 飲食店の店長として、アルバイト募集の求人文を200字程度で書いてください。
- 取引先との打ち合わせのあとに送る、お礼のメールを書いてください。
- プロジェクトの遅れを上司に報告する時に、伝えるべき項目を順に挙げてください。
- 次の箇条書きを、つながりのある文章に書き直してください。・売上は前年比5%増・新規顧客が増えた・既存顧客の解約も増えた・来期は解約の対策を優先する
- パスワードを安全に管理する方法を、社員向けに分かりやすく説明してください。
- 「なるべく早く」と言われた依頼に、期限を確かめる返信の例を書いてください。
- 社内の備品を申請する手順を、5つの段階に分けて説明してください。
- 初めて会う取引先との会話で使える、話題の例を5つ挙げてください。
- 会社のホームページに載せる、会社紹介の文章を200字程度で書いてください。業種はパン屋とします。
- クレームの電話を受けた時に、やってはいけない対応を4つ挙げてください。
- 議事録を書く時に、必ず残すべき項目を挙げてください。
- 部下に仕事を任せる時の伝え方のポイントを3つ、理由とあわせて書いてください。
- 梅雨の時期に、店舗の売り場で気をつけることを挙げてください。
- 次のメールの文面を、より丁寧な言い方に直してください。「明日の会議、資料まだですか?早めに送ってください。」
- 新しい業務システムを導入する時に、現場の反対を減らす進め方を説明してください。
- 年末の挨拶のメールを、取引先向けに書いてください。
- 社員旅行の行き先を決めるアンケートの質問を5つ作ってください。
- Excelの表を共有する時に、よくある失敗と防ぎ方を3つずつ書いてください。
- 介護施設の職員向けに、夜勤の引き継ぎで伝えるべきことを挙げてください。
- 採用面接で、応募者に最初にかける言葉の例を3つ書いてください。
- 商品の値上げをお客様に伝えるお知らせの文章を書いてください。
- 社内の会議を短くするための工夫を5つ挙げてください。
- 工場の安全標語を5つ作ってください。
- 地方の観光案内所で、外国から来たお客様に地域を紹介する日本語の文を書いてください。
- 新年度の目標を立てる時の考え方を、300字程度で説明してください。
- 退職する同僚に贈るメッセージカードの文を3つ考えてください。
生成の設定:温度0(毎回もっとも確からしい語を選ぶ設定)、シード値42で、正答率は同じ手順で2回測っています。思考モードを持つモデルは、思考モードをオフにして測りました。
次の5つは、思考モードで答えさせました。Qwen3 30B-A3B Thinking-2507 と Qwen3-Swallow 8B は、思考モードをオフにできません。DeepSeek-R1 の2つは、オフにしても考える過程を書き続けました。gpt-oss 20B は思考の量を最小(low)にしました。
この5つは、コンテキスト長を8,192トークンにし、出力の上限を常識問題で4,096トークン、算数の文章題と業務の依頼で6,144トークンにしました。ほかのモデルは、コンテキスト長4,096トークン、出力の上限は常識問題64、算数の文章題1,024、業務の依頼800トークンです。
LLM-jp-4 8B:Ollama で取得したままでは、回答が何も返ってきませんでした。会話の書式が gpt-oss と同じ形式で、最初に出す記号が、Ollama が出力を止める合図の文字列に当たるためです。モデル本来の書式で依頼を送って測りました。
GPU のメモリと速さ:1モデルずつ読み込み、GPU のメモリの使用量の増加分を nvidia-smi(GPU の状態を表示する NVIDIA の道具)で測りました。Ollama の /api/ps が示す値は使っていません。Gemma 4 の2つでは1.1GB と、ollama list が示すモデルのファイルの大きさ(8.0GB と 18GB)より小さく出ました。ほかの16モデルでも、nvidia-smi で測った値より0.6〜1.8GB小さく出ました。速さは5本の依頼に回答した時の、出力のトークン毎秒の中央値です。
実行環境:Ollama 0.40.15(Docker)、NVIDIA H200 1基。正答率の測定は8本を同時に処理し、GPU のメモリと速さは1本ずつ処理しました。
この表で分からないこと
- 家庭用の GPU での速さ。測定は NVIDIA H200 で行ったため、速さはモデルどうしの比較にだけ使えます。
- 思考モードをオンにした時の正答率。Qwen3 8B・14B、Qwen3.5 9B・27B、Gemma 4 12B・26B は、思考モードをオフにして測りました。
- 思考モードで答えた5つの GPU のメモリ。正答率はコンテキスト長8,192トークンで測り、GPU のメモリは4,096トークンで測ったため、条件が違います。
- 問題集の選び方による誤差。2回の測定で分かるのは、実行のたびの揺れだけです。
- 長い文章の要約、社内文書を検索して答える使い方(RAG)、プログラムの作成など、問題集に無い用途の精度。
- 量子化の種類を変えた時の精度。Ollama が既定で配る量子化だけを測りました。
- LM Studio や llama.cpp など、Ollama 以外のソフトウェアで動かした時の結果。
- モデルの学習データに、今回の問題集の問題が含まれているか。各モデルについて確かめていません。
- 外国語が混ざったかの判定の当たり外れ。判定は文字の種類と英語の文を数える台本で行い、編集部が中身を読んだのは、図1の回答、DeepSeek-R1 14B の英語の回答1本、Llama-3-ELYZA-JP 8B の2本の、合わせて4本だけです。
この表は毎月再測定し、新しいモデルが出たら同じ問題で追加します。無料の文字起こしモデルの精度は文字起こしの実測表にまとめました。
よくある質問
日本語で使うローカルLLMのおすすめはどれですか。
編集部が測定した18モデル(2026年11月)では、日本語の常識問題の正答率が最も高かったのは Qwen3.5 27B と Gemma 4 26B(96.1〜96.4%)で、GPU のメモリをそれぞれ18.2GBと20.1GB使いました。12GB以下では、常識問題の正答率(2回の平均)が93%を超えたモデルが4つありました(LLM-jp-4 8B、Qwen3-Swallow 8B、Qwen3 14B、Phi-4 14B)。この4つの算数の文章題の正答率は、Qwen3-Swallow 8B が84.8〜86.4%、Qwen3 14B が83.6〜84.8%、Phi-4 14B が2回とも80.4%、LLM-jp-4 8B が73.2〜74.4%です。
DeepSeek は日本語で使えますか。
Ollama の deepseek-r1 の 8B と 14B は、日本語の回答に外国語が混ざることが多くありました。業務の依頼40本のうち、14B は15〜20本、8B は5〜6本で、中国語・韓国語の文字か英語の文が入りました。この2つは、DeepSeek-R1 の考え方を Qwen のモデルに学ばせた小型版(蒸留版)です。DeepSeek の大きなモデル(DeepSeek-V3 など)は測っていません。
ローカルLLMを動かすには、GPU のメモリが何GB必要ですか。
測定した18モデルでは、8〜9B級の8モデルが5.9〜7.2GB、12〜14B級の5モデルが9.6〜10.4GB、gpt-oss 20B が13.6GB、26〜30B級の4モデルが18.2〜20.1GBでした。コンテキスト長4,096トークンで測った値です。長い文書を入れると、さらに増えます(推定)。
LM Studio でも同じ結果になりますか。
この測定は Ollama だけで行いました。LM Studio も同じ GGUF 形式のモデルを読み込めますが、設定や量子化の種類が同じとは限らないため、同じ結果になるかは確かめていません。