メインコンテンツへスキップ

文章校正AI、無料のローカルLLMで誤字脱字はどこまで直せる?11モデルと専用モデルを1,427文で実測|Gemma・Qwen・textlint【2026年11月】

誤りの無い業務の文100文を渡すと、Qwen3.5 9B は67文を書き換えました。Gemma 4 26B は2〜3文でした。無料でローカルで実行できる11モデルと校正専用モデルの KWJA、規則による検査の textlint を、正解つきの1,427文で測り、直した数と、直さなくてよい文を書き換えた数を比べました。

誤りの無い業務の文100文を渡すと、Qwen3.5 9B は67文を書き換えました(指示のみの依頼文。2回の測定とも67%)。Gemma 4 26B が書き換えたのは、同じ100文のうち2〜3文です。校正を任せる時は、直した数と同じくらい、直さなくてよい文を変えないことが重要です。

この3例では、Qwen3.5 9B は誤りの無い文の「譲ってもらう」を「借りる」に書き換え、Gemma 4 26B は書き換えず、抜けた字は直した

例1:誤りの無い文(入力)
会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を譲ってもらうようにしてください。
Gemma 4 26B の出力
会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を譲ってもらうようにしてください。(変更なし)
Qwen3.5 9B の出力
会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を借りるようお願いします。
例2:誤りの無い文(入力)
来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は十一時三十分から十四時までとなります。
Gemma 4 26B の出力
来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は十一時三十分から十四時までとなります。(変更なし)
Qwen3.5 9B の出力
来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は 11 時 30 分から 14 時までとなります。
例3:「績」が1字抜けた文(入力)
毎月の定例会では、各部門の責任者が先月の実と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
Gemma 4 26B の出力(正解と一致)
毎月の定例会では、各部門の責任者が先月の実績と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
KWJA の出力(別の字に変えた)
毎月の定例会では、各部門の責任者が先月の身と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
差が最も出る文を選んだ例で、代表例ではない。例はすべて編集部が書いた業務の文。色を付けた箇所が入力から変わった字で、入力側の取り消し線は消えた字、例3の入力側は抜けた字の左隣に色を付けた。出力は 1 回目の測定のまま(指示のみの依頼文)。Qwen3.5 9B の書き換えは 2 回目も同じ出力だった。選び方:誤りの無い 100 文のうち、Qwen3.5 9B が 2 回とも同じ文に書き換え、Gemma 4 26B が 2 回とも書き換えなかった文を、変わった字数の多い順に 2 つ(例1・例2)。例3は、脱字の文のうち Gemma 4 26B が 2 回とも正解どおりに直し、KWJA が直せなかった文の ID が最も若い 1 つ。どちらも差が出やすい文を選んだ例で、全体の傾向は下の実測表と図で示す。

編集部は、無料でローカル(自分の PC や社内のサーバー)で実行できる LLM(大規模言語モデル)11モデルと、校正専用モデルの KWJA、規則で文を検査する textlint を、正解つきの1,427文で測りました。LLM は依頼文(プロンプト)2種で測り、LLM 22通りと KWJA の23通りを比べます。依頼文の「指示のみ」は、次の指示だけを渡す短い文面です。もう1種の「例つき」は、これに誤りのある例2つと誤りの無い例1つを足しました。

次の文から、誤字・脱字・余分な文字・変換ミスだけを直してください。言い回しや表記は変えないでください。誤りが無ければ、文をそのまま出力してください。直した文だけを出力し、説明は書かないでください。

Ollama は LLM をローカルで実行する無料のソフトです。KWJA は京都大学などが公開する日本語の解析ツールに含まれる入力誤り訂正モデル、textlint は文章の規則違反を指摘するツールで、文は直しません。

誤りを1か所入れた自作の業務文200文では、最良の Gemma 4 26B が85.5〜86.0%を正解どおりに直しました。Wikipedia の実際の入力誤り604文では、最良の専用モデル KWJA で57.9%でした。誤りの無い文を書き換えた率は、Gemma 4 26B で自作の100文が2.0〜3.0%、Wikipedia の523文が37.3〜37.7%です。モデルの順位はデータで入れ替わり、同じ KWJA は自作の業務文では39.0%でした。

  • 自作の最良と差があるとは言えないのは、Gemma 4 26B・例つき(82.5〜83.0%)と Qwen3.5 27B・指示のみ(81.0%)の2つだけです。
  • 必要な機材:GPU のメモリは、Gemma 4 26B が約20GB(20.1GB)、Gemma 4 12B が約10GB(9.6GB)、Qwen3 8B が約6GB(6.2GB)です。メモリの値は今回測っておらず、ローカル LLM の実測表の値です。KWJA は CPU で実行でき、1,427文を234秒で処理しました。
  • 測った文:編集部が書いた業務の文300文(誤りを1か所入れた200文と、誤りの無い100文)と、日本語 Wikipedia の入力誤りを集めた京都大学の評価データ(JWTD v2)の1,127文(誤りあり604・なし523)。
  • 測り方:LLM は同じ設定で2回測り、2回とも同じ結論になった差の判定だけを書きます。

言葉は次の意味で使います。「正解どおりに直した率」は、誤りのある文で、出力が正解の文と一致した割合です。完全一致で数えるため、実際に直せた率より低めに出ます(「完全一致で数えると…」の節)。「誤りの無い文を書き換えた率」は、誤りの無い文で、出力が入力と違った割合で、低いほど良い値です。textlint は文を直さないので、指摘の有無を「検出」と呼びます。2つのモデルの差は、文ごとにどちらだけが正解したかを数えて、偶然でも出る程度の差かを検定し、偶然の範囲なら「差があるとは言えない」と書きます。

誤りの種類は次の5つで、例はすべて編集部が書いた文です。

  • 脱字(字が抜ける):「先月の実と今月の見通し」(「実績」の「績」が抜けた)
  • 余分な字(衍字。字が余る):「ご利利用いただき」
  • 誤変換:「本人の意志を確認できない場合」(正しくは「意思」)
  • 字の取り違え:「担当車ごとに決めて」(正しくは「担当者」)
  • 字の入れ替わり(転字):「内容を認確したあと」(正しくは「確認」)

実測表:正解どおりに直した率は、自作の業務文では Gemma 4 26B が最も高く(ほか2通りとは差があるとは言えない)、Wikipedia の入力誤りでは KWJA が最も高かった

実測表:正解どおりに直した率は、自作の業務文では Gemma 4 26B が最も高く(ほか2通りとは差があるとは言えない)、Wikipedia の入力誤りでは専用モデルの KWJA が最も高かった

モデル自作の業務文
(誤りあり200・なし100)
Wikipedia の文
(誤りあり604・なし523)
1,000字
あたりの秒
正解どおりに
直した率(%)
誤りの無い文を
書き換えた率(%)
正解どおりに
直した率(%)
誤りの無い文を
書き換えた率(%)
ローカルで実行する LLM(指示のみの依頼文)
Gemma 4 26B85.5〜86.02.0〜3.047.8〜48.037.3〜37.76.6
Qwen3.5 27B81.034.0〜35.041.6〜41.956.0〜56.426.3
Gemma 4 12B77.5〜78.03.040.9〜41.229.37.7
Qwen3.5 9B59.5〜60.567.025.071.9〜72.112.1
gpt-oss 20B57.5〜59.05.0〜6.021.9〜22.838.6〜39.735.8
Gemma 3 12B57.0〜57.513.022.2〜22.739.0〜39.411.0
Qwen3 14B55.5〜56.04.026.0〜26.233.8〜34.09.8
Llama 3.1 Swallow 8B44.5〜45.547.020.2〜20.454.5〜55.18.5
Llama-3-ELYZA-JP 8B41.0〜41.515.0〜16.015.6〜16.244.9〜45.710.9
Qwen3 8B40.5〜41.04.017.720.79.0
LLM-jp-4 8B32.2〜32.356.0〜58.016.2〜16.949.9〜51.45.9
校正専用のモデル
KWJA39.035.057.924.72.8(注)
参考:規則による検査
textlint—————
参考:例つきの依頼文で最良の組み合わせ
Qwen3 8B・例つき49.02.022.4〜22.717.0〜17.69.0
各列は 2 回の測定の値(2 回で違う時は幅)。正解どおりに直した率は、誤りのある文で出力が正解の文と一致した割合、書き換えた率は誤りの無い文で出力が入力と違った割合(低いほど良い)。太字は、23 通り(11 モデル×依頼文 2 種と KWJA)の中で最良の組み合わせと、最良と差があるとは言えない組み合わせ。最良が例つきの依頼文のため指示のみの依頼文の行に無い欄は、最下段に示した。差の判定は文ごとの比較で、偶然の範囲かを検定(方法は測定の条件)。1,000字あたりの秒は、GPU(H200)で 1 文ずつ処理した時間(各モデルの最初の1文を除いた19文)の 1 回の測定。(注)KWJA は 1,427 文を CPU でまとめて処理した全体の時間(モデルの読み込みを含む)を字数で割った値で、LLM とは条件が違う。textlint は誤りを直さないので、検出の率を後の節に示した。

自作の文で最良の Gemma 4 26B・指示のみと差があるとは言えないのは、Gemma 4 26B・例つき(82.5〜83.0%)と Qwen3.5 27B・指示のみ(81.0%)の2つだけです。23通りを最良と文ごとに比べた結果で、2回とも同じでした。Wikipedia の文では KWJA(57.9%)が最良で、LLM の22通りはすべて KWJA と差があります。

誤りの無い文を書き換えた率が最も低いのは Qwen3 8B・例つきの2.0%ですが、差があるとは言えない組み合わせが10個あり、Gemma 4 26B・指示のみ(2.0〜3.0%)もその1つです。この指標では順位を付けません。実測表に行が無い例つきの5個(Gemma 3 12B・Gemma 4 12B・Gemma 4 26B・gpt-oss 20B・Qwen3 14B)の書き換えた率は、2回の測定を通して3.0〜11.0%でした。

自作の文では、最良と差があるとは言えない Qwen3.5 27B・指示のみが、誤りの無い文の34〜35%を書き換えた

自作の業務文では、Gemma 4 26B・指示のみの正解どおりに直した率が最も高く(85.5〜86.0%。ほか2通りとは差があるとは言えない)、誤りの無い文の書き換えも2.0〜3.0%と少なかった。Qwen3.5 27B・指示のみは81.0%直したが、誤りの無い文の34.0〜35.0%を書き換えた

01020304050607030405060708090誤りの無い文を書き換えた率(%)右ほど多い正解どおりに直した率(%)上ほど多いQwen3 8B・指示のみ:誤りの無い文を書き換えた率 4.0%、正解どおりに直した率 40.8%(2 回の平均)Qwen3 14B・指示のみ:誤りの無い文を書き換えた率 4.0%、正解どおりに直した率 55.8%(2 回の平均)Qwen3.5 9B・指示のみ:誤りの無い文を書き換えた率 67.0%、正解どおりに直した率 60.0%(2 回の平均)Qwen3.5 27B・指示のみ:誤りの無い文を書き換えた率 34.5%、正解どおりに直した率 81.0%(2 回の平均)Gemma 3 12B・指示のみ:誤りの無い文を書き換えた率 13.0%、正解どおりに直した率 57.3%(2 回の平均)Gemma 4 12B・指示のみ:誤りの無い文を書き換えた率 3.0%、正解どおりに直した率 77.8%(2 回の平均)Gemma 4 26B・指示のみ:誤りの無い文を書き換えた率 2.5%、正解どおりに直した率 85.8%(2 回の平均)gpt-oss 20B・指示のみ:誤りの無い文を書き換えた率 5.5%、正解どおりに直した率 58.3%(2 回の平均)Llama 3.1 Swallow 8B・指示のみ:誤りの無い文を書き換えた率 47.0%、正解どおりに直した率 45.0%(2 回の平均)LLM-jp-4 8B・指示のみ:誤りの無い文を書き換えた率 57.0%、正解どおりに直した率 32.2%(2 回の平均)Llama-3-ELYZA-JP 8B・指示のみ:誤りの無い文を書き換えた率 15.5%、正解どおりに直した率 41.3%(2 回の平均)Qwen3 8B・例つき:誤りの無い文を書き換えた率 2.0%、正解どおりに直した率 49.0%(2 回の平均)Qwen3 14B・例つき:誤りの無い文を書き換えた率 9.0%、正解どおりに直した率 62.3%(2 回の平均)Qwen3.5 9B・例つき:誤りの無い文を書き換えた率 51.5%、正解どおりに直した率 52.3%(2 回の平均)Qwen3.5 27B・例つき:誤りの無い文を書き換えた率 23.0%、正解どおりに直した率 75.8%(2 回の平均)Gemma 3 12B・例つき:誤りの無い文を書き換えた率 6.0%、正解どおりに直した率 60.5%(2 回の平均)Gemma 4 12B・例つき:誤りの無い文を書き換えた率 5.0%、正解どおりに直した率 69.0%(2 回の平均)Gemma 4 26B・例つき:誤りの無い文を書き換えた率 3.5%、正解どおりに直した率 82.8%(2 回の平均)gpt-oss 20B・例つき:誤りの無い文を書き換えた率 10.5%、正解どおりに直した率 58.0%(2 回の平均)Llama 3.1 Swallow 8B・例つき:誤りの無い文を書き換えた率 26.5%、正解どおりに直した率 55.0%(2 回の平均)LLM-jp-4 8B・例つき:誤りの無い文を書き換えた率 58.0%、正解どおりに直した率 34.5%(2 回の平均)Llama-3-ELYZA-JP 8B・例つき:誤りの無い文を書き換えた率 17.0%、正解どおりに直した率 39.0%(2 回の平均)KWJA:誤りの無い文を書き換えた率 35.0%、正解どおりに直した率 39.0%(2 回の平均)Gemma 4 26B・指示のみGemma 4 26B・例つきQwen3.5 27B・指示のみQwen3 8B・例つきQwen3.59B・指示のみKWJALLM-jp-48B・指示のみGemma 4 12B・指示のみ
  • 指示のみの依頼文
  • 例つきの依頼文
  • KWJA(専用モデル)
自作の誤りのある200文(正解どおりに直した率)と誤りの無い100文(書き換えた率)の、2 回の測定の平均。1 つの点が 1 つの組み合わせ(LLM 11 モデル×依頼文 2 種と KWJA の 23 通り)。左上ほど、直す数が多く、勝手に書き換えない。最良の Gemma 4 26B・指示のみと差があるとは言えないのは、Gemma 4 26B・例つきと Qwen3.5 27B・指示のみの 2 つだけ(文ごとの比較で、差が偶然の範囲かを検定。2 回とも同じ結果。方法は測定の条件)。名前を付けていない点は、点に触れると名前が出る。

最良の Gemma 4 26B・指示のみ(直した率85.5〜86.0%)と差があるとは言えない Qwen3.5 27B・指示のみ(81.0%)は、誤りの無い文の34.0〜35.0%を書き換えました。Gemma 4 26B・指示のみは2.0〜3.0%です。直した率が高くても、校正で使えるとは限りません。

書き換えの多い組み合わせもあります。Qwen3.5 9B・指示のみは67.0%、LLM-jp-4 8B・指示のみは56.0〜58.0%で、直した率は Qwen3.5 9B・指示のみが59.5〜60.5%、LLM-jp-4 8B・指示のみが32.2〜32.3%でした。

KWJA は Wikipedia の入力誤りでは Gemma 4 26B・指示のみより多く直し、自作の業務文では逆になった

Wikipedia の入力誤りでは KWJA が Gemma 4 26B・指示のみより多く直したが(57.9%対48.0%)、自作の業務文では逆になった(39.0%対86.0%)

0%25%50%75%100%Wikipedia の誤りのある604文KWJA:57.9%57.9%Gemma 4 26B・指示のみ:48.0%48.0%KWJA だけが正解した文 124、Gemma 4 26B だけが正解した文 64Wikipedia のうち、KWJAの学習データと記事が重ならない477文KWJA:56.8%56.8%Gemma 4 26B・指示のみ:48.8%48.8%KWJA だけが正解した文 91、Gemma 4 26B だけが正解した文 53自作の誤りのある200文KWJA:39.0%39.0%Gemma 4 26B・指示のみ:86.0%86.0%KWJA だけが正解した文 3、Gemma 4 26B だけが正解した文 97
  • KWJA(専用モデル)
  • Gemma 4 26B・指示のみの依頼文
正解どおりに直した率。上の棒が KWJA、下の棒が Gemma 4 26B・指示のみ(1 回目。2 回目は Wikipedia 47.8%、自作 85.5%)。文ごとに「どちらだけが正解したか」を数えた(その差が偶然の範囲かを検定し、3 つとも差がある。方法は測定の条件)。KWJA は日本語 Wikipedia の編集履歴から作ったデータ(JWTD)を学習に使っており、2 つ目の棒は、その学習データと記事が重なる文を除いた結果。自作の文で逆になる理由は分かっていない(自作の誤りの作り方との相性が理由の可能性があるが、確かめていない)。

Wikipedia の誤りのある604文では、KWJA だけが正解した文が124、Gemma 4 26B・指示のみだけが正解した文が64でした(Gemma 4 26B は1回目の出力で比べました。以下も同じです)。KWJA の学習データには、リポジトリの設定が JWTD(今回の Wikipedia の評価データの元)を指定しています。配布されている重みの学習に使った版までは確認していません。学習データと記事が重なる127文を除いた477文でも、KWJA は56.8%、Gemma 4 26B・指示のみは48.8%(KWJA だけが正解した文が91、Gemma 4 26B・指示のみだけが正解した文が53)で、KWJA が多く直しています。2回目の出力の Gemma 4 26B・指示のみと比べても向きは同じで、Wikipedia の604文では KWJA だけが正解した文が125、Gemma 4 26B・指示のみだけが正解した文が64(Gemma 4 26B・指示のみは47.8%)、自作の200文では3対96で、2回目も差があります。

Wikipedia の文の一部は、文頭に「:」が付いています(誤りのある文40・誤りの無い文33。Wikipedia の記法の字下げの印とみられますが、由来は確認していません)。LLM の多くはこの「:」を外します。この73文を除いた誤りのある564文でも、KWJA は58.5%、Gemma 4 26B・指示のみは51.4%(2回目は51.2%)で、最良は KWJA のまま、LLM の22通りすべてと差があり、2回とも同じでした。

自作の誤りのある200文では、KWJA だけが正解した文が3、Gemma 4 26B・指示のみだけが正解した文が97でした。KWJA は、誤りの無い自作の100文の35.0%も書き換えています。理由は分かっていません。自作の誤りは編集部が人の手で入れた誤りで、Wikipedia の編集履歴から集めた誤り(JWTD)とは分布が違う可能性があります(推定)。

誤りの種類で得意が分かれた:自作の文で KWJA は脱字・字の取り違え・字の入れ替わりをあまり直せなかった

誤りの種類で得意が分かれた:自作の文で KWJA は脱字を2.5%、字の入れ替わりを0.0%しか直せず、余分な字は95.0%直した。Gemma 4 26B・指示のみは脱字を60.0%、字の入れ替わりを95.0%直した

0%25%50%75%100%自作の業務文(誤りのある200文)脱字(40文)自作・脱字・KWJA:2.5%2.5%自作・脱字・Gemma 4 26B・指示のみ:60.0%60.0%余分な字(40文)自作・余分な字・KWJA:95.0%95.0%自作・余分な字・Gemma 4 26B・指示のみ:100.0%100.0%誤変換(40文)自作・誤変換・KWJA:77.5%77.5%自作・誤変換・Gemma 4 26B・指示のみ:82.5%82.5%字の取り違え(40文)自作・字の取り違え・KWJA:20.0%20.0%自作・字の取り違え・Gemma 4 26B・指示のみ:92.5%92.5%字の入れ替わり(40文)自作・字の入れ替わり・KWJA:0.0%0.0%自作・字の入れ替わり・Gemma 4 26B・指示のみ:95.0%95.0%Wikipedia の文(誤りのある604文)脱字(140文)Wikipedia・脱字・KWJA:46.4%46.4%Wikipedia・脱字・Gemma 4 26B・指示のみ:47.9%47.9%余分な字(128文)Wikipedia・余分な字・KWJA:75.8%75.8%Wikipedia・余分な字・Gemma 4 26B・指示のみ:59.4%59.4%誤変換(208文)Wikipedia・誤変換・KWJA:63.9%63.9%Wikipedia・誤変換・Gemma 4 26B・指示のみ:43.3%43.3%字の取り違え(94文)Wikipedia・字の取り違え・KWJA:51.1%51.1%Wikipedia・字の取り違え・Gemma 4 26B・指示のみ:48.9%48.9%その他(複数か所など)(34文)Wikipedia・その他(複数か所など)・KWJA:20.6%20.6%Wikipedia・その他(複数か所など)・Gemma 4 26B・指示のみ:32.4%32.4%
  • KWJA(専用モデル)
  • Gemma 4 26B・指示のみの依頼文
種類ごとの、正解どおりに直した率。上の棒が KWJA、下の棒が Gemma 4 26B・指示のみ(1 回目)。Wikipedia の文には字の入れ替わりが無く、種類は訂正前後の文字の差から編集部のスクリプトで分けた近似で、JWTD 自身の区分とは一致しない場合がある(余分な字は直前の字の重複が多い)。「その他」は誤りが複数か所などの文。自作の文は、各種類 40 文ずつ編集部が人の手で入れた誤りで、実際の入力ミスの分布とは違う。

Gemma 4 26B・指示のみの値は1回目の出力です。自作の文では、KWJA は余分な字(95.0%)と誤変換(77.5%)を直せる一方、脱字は2.5%、字の取り違えは20.0%、字の入れ替わりは0.0%でした。Gemma 4 26B・指示のみは、脱字60.0%、余分な字100.0%、誤変換82.5%、字の取り違え92.5%、字の入れ替わり95.0%でした。

Wikipedia の文では、KWJA は余分な字が75.8%、誤変換が63.9%で、Gemma 4 26B・指示のみ(余分な字59.4%、誤変換43.3%)を上回りました。脱字は KWJA 46.4%・Gemma 4 26B・指示のみ47.9%、字の取り違えは KWJA 51.1%・Gemma 4 26B・指示のみ48.9%、「その他」(誤りが複数か所など)は KWJA 20.6%・Gemma 4 26B・指示のみ32.4%です。種類は訂正前後の文字の差から編集部が分けた近似で、JWTD 自身の区分とは一致しない場合があります。

完全一致で数えると、正しく直した文も「直せなかった」に入る

出力が正解と一致しなかった60文を読むと、27文は誤りを正しく直していた。完全一致で数えた率は、実際に直せた率より低く出る

0102030誤りは正しく直したが、別の箇所も変えた誤りは正しく直したが、別の箇所も変えた:16文16文誤りを、正解と別の正しい形に直した誤りを、正解と別の正しい形に直した:11文11文誤りを直していない誤りを直していない:28文28文誤った形に直した誤った形に直した:5文5文
  • 誤りは正しく直した
  • 誤りを直せていない
Gemma 4 26B・指示のみ・1 回目の Wikipedia の文のうち、誤りがあり、出力が正解の文と一致しなかった文から、誤りの種類ごとに層を分けて 60 文を固定の乱数で選び、編集部が訂正前の文・正解・出力を読んで 4 つに分けた(判定は編集部が付けた)。「別の箇所も変えた」16文のうち5文は、文頭の「:」(Wikipedia の記法とみられる字下げの印)を外しただけだった。60 文は不一致の約 19% で、種類ごとの割り当ては不一致の件数に比例させた。

正解どおりに直した率は、出力が正解の文と一致した時だけ数えます。Gemma 4 26B・指示のみの1回目の出力で、Wikipedia の一致しなかった文から60文を選んで編集部が読むと、27文(別の箇所も変えた16文と、正解と別の正しい形に直した11文)は誤りを正しく直していました。別の箇所も変えた16文のうち5文は、文頭の「:」を外しただけです。同じ種類の誤りを別の言葉で直した例もあり、Wikipedia の値は実際に直せた率より低く出ています。

書き換えの中身(自作の文):内容が変わった出力、文が壊れた出力もあった

誤りの無い文の書き換えを60件読むと、内容が変わった・文が壊れた出力が19件あり、LLM-jp-4 8B は29件中16件だった

05101520Gemma 4 26B・指示のみ(読んだ2件)Gemma 4 26B・指示のみ・表記だけの変更:0件0件Gemma 4 26B・指示のみ・言い回しの変更:2件2件Gemma 4 26B・指示のみ・内容の変更:0件0件Qwen3.5 9B・指示のみ(読んだ29件)Qwen3.5 9B・指示のみ・表記だけの変更:10件10件Qwen3.5 9B・指示のみ・言い回しの変更:16件16件Qwen3.5 9B・指示のみ・内容の変更:3件3件LLM-jp-4 8B・指示のみ(読んだ29件)LLM-jp-4 8B・指示のみ・表記だけの変更:1件1件LLM-jp-4 8B・指示のみ・言い回しの変更:12件12件LLM-jp-4 8B・指示のみ・内容の変更:16件16件
  • 内容の変更(壊れた文を含む)
  • 言い回しの変更
  • 表記だけの変更
自作の誤りの無い100文を書き換えた出力(1 回目・指示のみの依頼文)のうち、Gemma 4 26B の 2 件(全部)、Qwen3.5 9B と LLM-jp-4 8B の各 29 件を固定の乱数で選び、編集部が入力と出力を読んで 3 つに分けた(判定は編集部が付けた)。表記だけの変更は語と語順が同じで書き方だけ違う出力(漢数字から算用数字など)、言い回しの変更は語・助詞・敬語の変更で意味は同じ出力、内容の変更は意味が変わった出力と、字の抜け・重複・途中切れで文が壊れた出力。LLM-jp-4 8B の内容の変更16件のうち、文が壊れた出力は14件(全モデルの合計)だった。

1回目の出力をスクリプトで数えると、Qwen3.5 9B・指示のみの書き換え67件には、漢数字と算用数字の入れ替えが23件、助詞「の」の削除が13件、読点の増減が1件ありました(1件が複数の区分に数えられる場合があります)。LLM-jp-4 8B・指示のみの58件は、読点の増減が7件、「の」の削除が7件、数字の入れ替えが1件です。Gemma 4 26B・指示のみの書き換えは2件(2回目は3件)で、どちらも言い回しの変更でした。区分に入らない変更の分類は、書き換えの全件ではなく、読んだ60件で行いました。読んだのは Qwen3.5 9B・指示のみの67件のうち29件、LLM-jp-4 8B・指示のみの58件のうち29件、Gemma 4 26B・指示のみの2件の全件です。

読んだ60件では、内容の変更(意味が変わった出力と、文が壊れた出力)が19件でした。LLM-jp-4 8B は29件中16件が内容の変更で、14件は字の抜け・重複・途中切れで文が壊れていました。これは Q4_K_M の GGUF を、Ollama の標準の書式ではなく raw の書式で送った条件の結果です。原因が量子化・書式・モデルのどれかは切り分けていません。Qwen3.5 9B の内容の変更は3件で、「自然な故障が起きた場合」を「不具合が生じた場合」にして保証の条件が変わった文などです。

誤りの無い Wikipedia の文の書き換えを60件読むと、記号・表記だけの変更が28件、内容の変更が10件だった

誤りの無い Wikipedia の文の書き換えを60件読むと、記号・記法だけと表記だけが28件で、内容が変わった変更は10件だった

05101520記号・記法だけの変更(文頭の「:」・読点・括弧など)記号・記法だけの変更(文頭の「:」・読点・括弧など):13件13件表記だけの変更(かなと漢字・送り仮名・数字)表記だけの変更(かなと漢字・送り仮名・数字):15件15件言い回しの変更言い回しの変更:13件13件元の文に残っていた誤りを直した元の文に残っていた誤りを直した:9件9件内容の変更(固有名・語・意味が変わった)内容の変更(固有名・語・意味が変わった):10件10件
  • 元の文の誤りを直した
  • 言い回し・内容の変更
  • 記号・表記だけ
Gemma 4 26B・指示のみ・1 回目が、誤りの無い Wikipedia の523文のうち書き換えた195件から、変わった字の数などの区分ごとに層を分けて60件を固定の乱数で選び、編集部が入力と出力を読んで 5 つに分けた(判定は編集部が 1 人で付けた)。「元の文に残っていた誤りを直した」は、訂正後の文にも別の誤りが残りうるために出る区分。

Gemma 4 26B・指示のみは、誤りの無い文の書き換えが自作で2.0〜3.0%、Wikipedia で37.3〜37.7%でした。1回目の書き換え195件をスクリプトで数えると、文頭の「:」を外しただけが20件、記号だけの変更(読点の追加、マイナス記号の種類など)が24件、1〜2字の変更が110件、3〜6字が38件、7字以上が3件で、「:」が主因ではありません。

195件から60件を選んで読むと、記号・記法だけが13件、表記だけ(かなと漢字、送り仮名、数字)が15件、元の文に残っていた誤りを直した変更が9件、言い回しの変更が13件、内容の変更が10件でした。内容の変更は、地名・人名・商品名の字を変えた例などです。60件は区分ごとに選んだ件数(文頭の「:」だけ20件から6件、記号だけ24件から7件、1〜2字110件から33件、3〜6字38件から11件、7字以上3件から3件)で、195件の割合をそのまま表しません。誤りの無い Wikipedia の文は訂正後の文なので、ほかの誤りが残っている場合があり、直した変更が「書き換え」に数えられています。

自作の文では、例つきの依頼文で差が出たのは4モデルで、上がった2・下がった2だった

自作の文では、例つきの依頼文で正解どおりに直した率が2回とも差があって上がったモデルは2個、下がったモデルは2個で、残りの7個は差があるとは言えなかった

0%25%50%75%100%Llama 3.1 Swallow 8B(差あり・上がった)Llama 3.1 Swallow 8B・指示のみ:45.0%Llama 3.1 Swallow 8B・例つき:55.0%45.055.0Qwen3 8B(差あり・上がった)Qwen3 8B・指示のみ:40.8%Qwen3 8B・例つき:49.0%40.849.0Qwen3 14BQwen3 14B・指示のみ:55.8%Qwen3 14B・例つき:62.3%55.862.3Gemma 3 12BGemma 3 12B・指示のみ:57.3%Gemma 3 12B・例つき:60.5%57.360.5LLM-jp-4 8BLLM-jp-4 8B・指示のみ:32.2%LLM-jp-4 8B・例つき:34.5%32.234.5gpt-oss 20Bgpt-oss 20B・指示のみ:58.3%gpt-oss 20B・例つき:58.0%58.058.3Llama-3-ELYZA-JP 8BLlama-3-ELYZA-JP 8B・指示のみ:41.3%Llama-3-ELYZA-JP 8B・例つき:39.0%39.041.3Gemma 4 26BGemma 4 26B・指示のみ:85.8%Gemma 4 26B・例つき:82.8%82.885.8Qwen3.5 27B(差あり・下がった)Qwen3.5 27B・指示のみ:81.0%Qwen3.5 27B・例つき:75.8%75.881.0Qwen3.5 9BQwen3.5 9B・指示のみ:60.0%Qwen3.5 9B・例つき:52.3%52.360.0Gemma 4 12B(差あり・下がった)Gemma 4 12B・指示のみ:77.8%Gemma 4 12B・例つき:69.0%69.077.8
  • 指示のみの依頼文
  • 例つきの依頼文
自作の誤りのある200文で、正解どおりに直した率の 2 回の平均。青が指示のみの依頼文、灰が例つきの依頼文。太字は、文ごとの比較で、差が偶然の範囲かを検定し、2 回とも差があり向きが同じだったモデル(11 モデルで補正。方法は測定の条件)。依頼文は測定の前に 2 種に決めて凍結した(測定の結果を見て直していない)。

11モデルのうち、例つきの依頼文で自作の正解どおりに直した率が2回とも差があったのは4モデルです。上がったのは Llama 3.1 Swallow 8B(44.5〜45.5%から54.5〜55.5%)と Qwen3 8B(40.5〜41.0%から49.0%)、下がったのは Gemma 4 12B(77.5〜78.0%から68.5〜69.5%)と Qwen3.5 27B(81.0%から75.0〜76.5%)です。残りの7モデルは、差があるとは言えません。Wikipedia の文では、上がったのが Qwen3 8B、下がったのが Qwen3.5 27B の各1モデルでした。

誤りの無い文を書き換えた率は、自作では例つきで減ったのが Llama 3.1 Swallow 8B(47.0%から26.0〜27.0%)と Qwen3.5 9B(67.0%から51.0〜52.0%)の2モデルで、増えたモデルはありませんでした。Wikipedia では、減ったのが Gemma 4 26B・Llama 3.1 Swallow 8B・Qwen3.5 9B の3モデル、増えたのが Llama-3-ELYZA-JP 8B と Qwen3 14B の2モデルです。

Llama-3-ELYZA-JP 8B は例つきの依頼文で出力が崩れました。答えのあとに「入力:…出力:…」の書式を繰り返して出力の上限に達した文が、自作で47文(1回目)、Wikipedia で466文ありました。答えの行は取り出して採点し、失敗には数えていません。この組み合わせの値は、取り出し方の規則(測定の条件)に左右される点に注意が必要です。

textlint は誤りのある文の18.0〜27.5%にしか指摘せず、誤りの無い Wikipedia の文の21.6%にも指摘した

textlint は、誤りのある Wikipedia の文の27.5%・自作の文の18.0%にしか指摘せず、誤りの無い Wikipedia の文にも21.6%指摘した

0%10%20%30%40%50%誤りのある文の検出(指摘があった文の割合)Wikipedia:27.5%27.5%自作:18.0%18.0%誤りの無い文への指摘Wikipedia:21.6%21.6%自作:1.0%1.0%
  • Wikipedia の文
  • 自作の文
入力誤りに関わる 7 つのルール(版は測定の条件)で、指摘が 1 件以上あった文の割合。上の棒が Wikipedia の文(誤りのある604文・誤りの無い523文)、下の棒が自作の文(誤りのある200文・誤りの無い100文)。textlint は文を直さないので、正解どおりに直した率は測れず、指摘の有無だけを数えた。指摘が誤りの箇所に当たっているかは見ていない。

指摘のあった自作の36文のうち26文は、同じ語が続いた箇所を見つけるルールが検出した文で、いずれも自作の余分な字(直前の字を重ねた誤り)でした。

textlint が指摘した文だけを LLM に渡し、指摘の無い文は入力のまま返す場合を、測った出力(1回目)から試算しました(実際には実行していません)。Gemma 4 26B・指示のみの Wikipedia では、正解どおりに直した率が48.0%から15.2%に、書き換えた率が37.3%から10.1%になります。自作では、直した率が86.0%から17.5%です。textlint で絞る方法は、書き換えを減らす代わりに、直せる誤りの大半が LLM に渡る前に外れます。

速さ:1文ずつ処理した1,000字の校正は5.9秒から35.8秒まで、正解どおりに直した率が最も高い Gemma 4 26B は6.6秒

1,000字を校正する時間は、LLM-jp-4 8B の5.9秒から gpt-oss 20B の35.8秒まで差があった(GPU・1 文ずつ)

0秒10秒20秒30秒40秒LLM-jp-4 8BLLM-jp-4 8B・1 文ずつ:1,000字あたり 5.9秒5.9秒LLM-jp-4 8B・約450字の段落:1,000字あたり 8.0秒8.0秒Gemma 4 26BGemma 4 26B・1 文ずつ:1,000字あたり 6.6秒6.6秒Gemma 4 26B・約450字の段落:1,000字あたり 6.8秒6.8秒Gemma 4 12BGemma 4 12B・1 文ずつ:1,000字あたり 7.7秒7.7秒Gemma 4 12B・約450字の段落:1,000字あたり 8.9秒8.9秒Llama 3.1 Swallow 8BLlama 3.1 Swallow 8B・1 文ずつ:1,000字あたり 8.5秒8.5秒Llama 3.1 Swallow 8B・約450字の段落:1,000字あたり 8.4秒8.4秒Qwen3 8BQwen3 8B・1 文ずつ:1,000字あたり 9.0秒9.0秒Qwen3 8B・約450字の段落:1,000字あたり 8.3秒8.3秒Qwen3 14BQwen3 14B・1 文ずつ:1,000字あたり 9.8秒9.8秒Qwen3 14B・約450字の段落:1,000字あたり 9.1秒9.1秒Llama-3-ELYZA-JP 8BLlama-3-ELYZA-JP 8B・1 文ずつ:1,000字あたり 10.9秒10.9秒Llama-3-ELYZA-JP 8B・約450字の段落:1,000字あたり 14.1秒14.1秒Gemma 3 12BGemma 3 12B・1 文ずつ:1,000字あたり 11.0秒11.0秒Gemma 3 12B・約450字の段落:1,000字あたり 11.5秒11.5秒Qwen3.5 9BQwen3.5 9B・1 文ずつ:1,000字あたり 12.1秒12.1秒Qwen3.5 9B・約450字の段落:1,000字あたり 8.5秒8.5秒Qwen3.5 27BQwen3.5 27B・1 文ずつ:1,000字あたり 26.3秒26.3秒Qwen3.5 27B・約450字の段落:1,000字あたり 14.2秒14.2秒gpt-oss 20Bgpt-oss 20B・1 文ずつ:1,000字あたり 35.8秒35.8秒gpt-oss 20B・約450字の段落:1,000字あたり 23.3秒23.3秒
  • 1 文ずつ
  • 約450字の段落
GPU(NVIDIA H200)1基、同時処理 1 で、約450字の段落5本(2,279字)を 1 本ずつ、文は20文を 1 文ずつ処理し、文は最初の1文を除いた19文(1,113字)の秒数を、1,000字あたりに直した。各モデルを1回呼び出して読み込ませてから20文を続けて処理した。最初の1文は Gemma 3 12B だけ7.6秒かかり、ほかのモデルは0.2〜1.7秒だった。読み込みの遅れが残ったとみて(推定)、全モデルで最初の1文を外した。1 回だけの測定。測ったサーバーは他の作業と共用で、測定の直前の使用率は記録していない。文は評価用でなく、依頼文の開発用に取った別の文。値は目安の幅として読む。

GPU(NVIDIA H200)で1文ずつ処理した場合の1,000字あたりの時間は、各モデルの最初の1文を除いた19文(1,113字)で集計すると、LLM-jp-4 8B が5.9秒、Gemma 4 26B が6.6秒、Qwen3.5 27B が26.3秒、gpt-oss 20B が35.8秒でした。最初の1文は Gemma 3 12B だけ7.6秒かかり、ほかのモデルは0.2〜1.7秒でした。読み込みの遅れが残ったとみて(推定)、全モデルで最初の1文を外しています。約450字の段落で測り、1,000字あたりに直すと、Gemma 4 26B が6.8秒、gpt-oss 20B が23.3秒です。KWJA は CPU で1,427文をまとめて処理した全体の時間を字数で割ると2.8秒ですが、モデルの読み込みを含み、LLM とは条件が違います。速さは1回だけの測定です。

用途別の候補(GPU のメモリ別)

GPU のメモリが24GB 級

  • 候補:Gemma 4 26B・指示のみの依頼文(Apache-2.0)
  • 根拠:自作の業務文で正解どおりに直した率が85.5〜86.0%、誤りの無い文の書き換えが2.0〜3.0%。GPU のメモリは20.1GB
  • 向かない場面:誤りの無い Wikipedia の文は37.3〜37.7%書き換えた(記号・表記の変更が多いが、内容が変わった例もある)。Wikipedia のような文の入力誤りでは KWJA(57.9%)より低い(47.8〜48.0%)

GPU のメモリが12GB 級

  • 候補:Gemma 4 12B・指示のみの依頼文(Apache-2.0)
  • 根拠:自作で77.5〜78.0%、書き換えは3.0%。GPU のメモリは9.6GB
  • 向かない場面:Gemma 4 26B・指示のみ(85.5〜86.0%)より直す数が少ない。誤りの無い Wikipedia の文は29.3%書き換えた

GPU のメモリが8GB 級

  • 候補:Qwen3 8B・例つきの依頼文(Apache-2.0)
  • 根拠:誤りの無い自作の文の書き換えが2.0%。同じ8〜9B 級の指示のみの依頼文では、Qwen3.5 9B が67.0%、LLM-jp-4 8B が56.0〜58.0%、Llama 3.1 Swallow 8B が47.0%、Llama-3-ELYZA-JP 8B が15.0〜16.0%、Qwen3 8B が4.0%。GPU のメモリは6.2GB
  • 向かない場面:正解どおりに直した率が49.0%と低い。書き換えの低さは Gemma 4 の2つを含む10個で差があるとは言えず、直す数は Gemma 4 のほうが多い

GPU が無い

  • 候補:KWJA(専用モデル。コードは MIT)
  • 根拠:Wikipedia の入力誤りの全体が57.9%、余分な字が75.8%、誤変換が63.9%で最良。CPU で実行でき、1,427文を234秒で処理した
  • 向かない場面:自作の業務文では39.0%で、脱字は2.5%、字の入れ替わりは0.0%。誤りの無い自作の文の35.0%を書き換える。重みはライセンスの表示が無く、商用で使う時は配布元に確認が必要

書き換えの多い組み合わせを使う

  • 対象:Qwen3.5 9B・指示のみ(書き換え67.0%)、LLM-jp-4 8B・指示のみ(56.0〜58.0%)など
  • 使い方:出力を差分で表示し、変更を人が確認する前提で使う(差分での確認が誤りを拾えるかは、編集部では測っていません)
  • 注意:LLM-jp-4 8B は、この GGUF(Q4_K_M)と raw の書式で測った結果で、読んだ29件のうち14件で文が壊れていた

測っていない対象と理由

  • 有料の API とサービス:鍵や契約が必要なため、文賢・Shodo・Typoless などは測っていません。
  • Claude と ChatGPT:無料でローカルで実行できるモデルに絞ったため、測っていません。
  • LanguageTool:日本語の規則の数を確認できておらず、測っていません。
  • Qwen3-Swallow 8B:事前の試し(開発用の先頭30文)で、指示のみの依頼文では577秒、例つきでは724秒かかり、本測定から外しました。同じ事前の試しで Llama 3.1 Swallow 8B は25秒と94秒でした(モデルの読み込みを含みます)。
  • 段落単位の精度:精度は1文ずつです。段落は速さだけを測りました。
  • 意味が変わったかの判定:自動では測っていません。書き換え120件(自作60件・Wikipedia 60件)を編集部が読んだだけです。

測定の条件

下の欄を開くと、データの出どころ・モデル・依頼文・採点の方法・失敗の件数・環境が表示されます。

測定の条件の詳細を開く

データ:日本語 Wikipedia の入力誤りの評価データは、京都大学の JWTD v2 の gold(1,127ペア、1,114記事。論文は 田中ら 2021 と Tanaka et al. 2020)です。文は日本語 Wikipedia からの引用で、ライセンスは CC BY-SA 3.0 です。記事 ID の SHA-1 の偶奇で記事を2つに分けました。偶数の記事は訂正前の文(誤りあり)604文、奇数の記事は訂正後の文(誤りなし)523文だけを使います。同じペアの前後は両方使いません。平均の文の長さは、誤りのある文が62.6字、誤りの無い文が58.7字です。この記事には Wikipedia の文を載せていません(例はすべて編集部が書いた文)。誤りの無い文は訂正後の文なので、ほかの誤りが残っている可能性があります。

自作の300文は、編集部が書いた業務の文(議事録・報告・社内連絡・製品の案内・手順書。平均53字)です。200文に誤りを手で1か所ずつ入れ、誤りの種類(字の取り違え・脱字・余分な字・字の入れ替わり・誤変換)を40文ずつにしました。誤りの無い100文は誤りを入れる前の文です。誤りを入れた200文と、その正しい文は公開しています。人が入れた誤りなので、実際の入力ミスの分布とは違います。依頼文の調整に使ったのは、JWTD の test から別に取った開発用の200ペアだけで、評価用の文は見ていません。例つきの依頼文の例3文も、この開発用の test(日本語 Wikipedia 由来、CC BY-SA 3.0)から取った文で、記事には載せていません(全文は編集部で保管しています)。

誤りの種類は訂正前後の文字の差から編集部のスクリプトで分けた近似で、JWTD 自身の区分とは一致しない場合があります。Wikipedia の604文の内訳は、脱字140、余分な字128、誤変換208、字の取り違え94、その他34です。

モデル:LLM は Ollama 0.40.15 で実行しました(温度0・種42)。タグ・digest・ライセンス・GPU のメモリは次の表に載せました。量子化は、Ollama の公式のタグは既定のまま(種類は個別に確認しておらず、digest で特定しています)、hf.co の3つは Q4_K_M です。GPU のメモリは今回測っておらず、ローカル LLM の実測表の値を引きました(コンテキスト長4,096、nvidia-smi の差)。考える過程を出すのは gpt-oss 20B だけで、推論の強さは low に設定しています。Qwen3 8B・14B、Qwen3.5 9B・27B、Gemma 4 は考える機能を切って測定しました。Llama 3.1 Swallow 8B のライセンスは、配布元の README が Llama 3.1 Community License と Gemma Terms of Use、Hugging Face のメタデータのタグが llama3.3 と gemma で、食い違っています。

モデルOllama のタグと digest(先頭12桁)ライセンスの記載(配布元)GPU のメモリ(GB)
Qwen3 8Bqwen3:8b
digest 500a1f067a9f
Apache-2.06.2
Qwen3 14Bqwen3:14b
digest bdbd181c33f2
Apache-2.010.3
Qwen3.5 9Bqwen3.5:9b
digest 56671c2ab938
Apache-2.07.2
Qwen3.5 27Bqwen3.5:27b
digest 64ae5b1d651f
Apache-2.018.2
Gemma 3 12Bgemma3:12b
digest b92b218582c5
Gemma Terms of Use9.8
Gemma 4 12Bgemma4:12b
digest 6114515d63c1
Apache-2.09.6
Gemma 4 26Bgemma4:26b
digest 001e5dafc3c7
Apache-2.020.1
gpt-oss 20Bgpt-oss:20b
digest f38aa0c53da5
Apache-2.013.6
Llama 3.1 Swallow 8Bhf.co/mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-gguf:Q4_K_M
digest fd7317484a0c
Llama 3.1 Community License と Gemma Terms of Use5.9
LLM-jp-4 8Bhf.co/mmnga-o/llm-jp-4-8b-instruct-gguf:Q4_K_M
digest 66c13546c97e
Apache-2.06.1
Llama-3-ELYZA-JP 8Bhf.co/mmnga/Llama-3-ELYZA-JP-8B-gguf:Q4_K_M
digest 402c901b8f43
Llama 3 Community License5.9

実行の条件:精度の測定は同時処理8、速さの測定は同時処理1です。速さの集計では、各モデルを1回呼び出して読み込ませてから開発用の20文を1文ずつ続けて処理し、最初の1文を除いた19文を使いました(段落5本の集計は変えていません)。出力の上限は「入力の字数×3+64」トークン(gpt-oss 20B は考える過程の分に3,000を足した値)、num_ctx は4,096(gpt-oss 20B は8,192)にしました。依頼文は user の発話1つとして送りました。LLM-jp-4 8B は、Ollama の標準の書式では返事が空になるため、raw の harmony 書式(system の文つき)で送っています。

KWJA:KWJA 2.6.0 の typo モジュールを --model-size large、CPU で実行しました。1文を1つの文書として入力し、バッチサイズは16です。重みは ku-nlp/kwja-checkpoints の v2.4 の枝の typo_deberta-v2-large-wwm.ckpt です。重みの置き場にモデルカードとライセンスの表示はなく、元になったモデルの deberta-v2-large-japanese-char-wwm は CC BY-SA 4.0 と表示されています。学習データは、リポジトリの設定ファイルが JWTD を指定しています。配布されている重みの学習に使った版は確認していません。配布元の付属コードは実行していません。重みは PyTorch の pickle 形式のため、中身を命令の列として調べ、参照するクラスが torch・omegaconf・標準のコンテナ型だけだと確認してから読み込みました。

textlint:textlint 15.8.0 は、入力誤りに関わる7つのルール(ja-no-successive-word 2.1.0、no-doubled-joshi 5.1.1、no-dropping-the-ra 3.0.0、no-doubled-conjunction 3.0.1、ja-no-orthographic-variants 2.0.0、ja-joyo-or-jinmeiyo-kanji 1.0.3、no-kangxi-radicals 0.2.2)だけを掛け、指摘の有無を検出として数えました。ja-unnatural-alphabet は、Wikipedia の全角英数に反応して誤りと無関係な指摘が出たので外しました。

依頼文:2種を測定の前に決めて凍結しました。指示のみの依頼文は記事の冒頭に引用した指示に、「入力:(文)」「出力:」を続けた文面です。例つきの依頼文は、指示のみの依頼文に誤りのある例2つと誤りの無い例1つを足した文面です。評価の結果を見て依頼文は直していません。

出力の取り出しと採点:出力は NFKC にそろえ、空白と改行を除いて比べました。前置きの「入力:」「出力:」、引用符、説明の行を取り除く規則は、開発用の出力だけを見て決めました。上限(出力の長さ)に達しても答えの行が取れた出力は、打ち切りの失敗にせず「繰り返し」として別に数えています。失敗(空・打ち切り・例外)は率の分母から除外します。件数は次の表のとおりです。空の出力には、「入力:…出力:」の書式だけを返して答えが残らなかった出力を含みます。失敗を不正解に数えても(誤りのある文は不一致、誤りの無い文は書き換えたとして)、正解どおりに直した率は最大0.3ポイント、書き換えた率は最大0.6ポイントしか動かず、結論は変わりません。

組み合わせ自作(誤りのある200文と誤りの無い100文)Wikipedia(1,127文)
1回目2回目1回目2回目
Qwen3 8B・指示のみ00空 1空 1
Qwen3.5 9B・例つき00空 17、繰り返し 1空 16、繰り返し 1
Qwen3.5 27B・例つき00空 1空 1
gpt-oss 20B・指示のみ00空 2空 4
gpt-oss 20B・例つき00空 3空 3
LLM-jp-4 8B・指示のみ空 1空 2空 2空 2
LLM-jp-4 8B・例つき00空 2空 3
Llama-3-ELYZA-JP 8B・指示のみ00空 6、打ち切り 1空 7、打ち切り 1
Llama-3-ELYZA-JP 8B・例つき繰り返し 47繰り返し 45繰り返し 466繰り返し 478

差の判定:2つの組み合わせの差は、文ごとにどちらだけが正解した(書き換えは、どちらだけが書き換えた)かを数える符号検定(二項分布による正確検定、両側)にかけ、Holm 法で補正します。各表で、2回の率の平均が最良の組み合わせを、ほかの22通りと比べます(22回の補正)。データ(自作・Wikipedia)、指標(正解どおりに直した率・書き換えた率)、回(2回)の8つの結果を出し、2回とも差があるとは言えない組み合わせだけを「差があるとは言えない」と書きます。依頼文の比較は、モデルごとに指示のみと例つきを同じ方法で比べ、11モデルで Holm 法の補正をして、2回とも差があり向きが同じだったモデルだけを数えました。KWJA と Gemma 4 26B・指示のみの比較は、1回目と2回目の出力のそれぞれで、片方だけが正解した文を数えました。

測定の揺れ:同じ温度0・種42で2回測った差で、依頼文や文の選び方による揺れは含みません。22個の LLM の組み合わせでの最大の差は次のとおりです。差があるとは言えない組み合わせの数は、判定の線の近くで動きます。最良との比較で、補正後の p 値が0.01以上0.05未満になった比較が8件あり(0.016〜0.048)、線を0.05からわずかに動かすと数が変わります。

  • 自作の正解どおりに直した率:2.0ポイント(gpt-oss 20B・例つき)
  • 自作の書き換えた率:2.0ポイント(LLM-jp-4 8B・例つき)
  • Wikipedia の正解どおりに直した率:1.0ポイント
  • Wikipedia の書き換えた率:1.5ポイント(LLM-jp-4 8B・指示のみ)

読んで分けた件数:出力が一致しなかった60文、自作の書き換え60件、Wikipedia の書き換え60件は、編集部が1人で読んで分けました(固定の乱数、結果は編集部が保管しています)。別の担当による突き合わせはしていません。

文頭の「:」:Wikipedia の文には、文頭に「:」が付いた文があります(誤りのある文40、誤りの無い文33)。LLM の多くはこの「:」を外しました(Gemma 4 26B・指示のみは誤りのある40文のうち正解どおりに直した文が0)。この73文を除くと、Gemma 4 26B・指示のみの1回目の Wikipedia の正解どおりに直した率は51.4%、書き換えた率は33.1%で、KWJA は58.5%です。

考える過程の混入:考える過程を出した gpt-oss 20B の生の出力を、自作の300文×2依頼文×2回で確かめました。考える過程の欄が答えの欄に混ざった出力と、考える過程や書式の区切り記号が答えに残った出力は0件で、採点は答えの欄だけを使っています。

環境:GPU は NVIDIA H200 の1基、KWJA と textlint は CPU の8コアです。測定は2026年11月10日に、編集部の GPU サーバー(他の作業と共用)で行いました。自作の文(誤りを入れた200文と、その正しい文)は own_sentences.json で公開しています。モデルごとの出力と判定は編集部で保管しています。評価に使った Wikipedia の文と、それに対するモデルの出力は、記事にもデータにも載せていません(CC BY-SA 3.0 の文を、編集部の公開物に混ぜないため)。

この実測表で分からないこと

  • 人が入れた誤りの限界:自作の誤りは編集部が入れました。実際の入力ミスの分布とは違い、KWJA の結果が逆転した理由にも関わる可能性があります(推定)。
  • Wikipedia の文の癖:評価データは日本語 Wikipedia の編集履歴から集めた文です。LLM は事前学習で Wikipedia を読んでいる可能性があり、学習データとの重なりは切り分けていません。文頭の「:」を外した文は、Wikipedia の値に影響しています。誤りの無い文は訂正後の文で、ほかの誤りが残っている場合があります。
  • 完全一致の限界:別の正しい直し方を数えないため、正解どおりに直した率は低めに出ます。
  • 意味の変化:書き換えが意味を変えたかは、読んだ件数でしか確認していません。分類は編集部1人の判断です。
  • LLM-jp-4 8B:測ったのは Q4_K_M の GGUF を raw の書式で送った形で、文が壊れた原因が量子化・書式・モデルのどれかは切り分けていません。
  • Gemma 4 26B:Ollama のタグ gemma4:26b を指します。ライセンスを確認した配布元のページは gemma-4-26B-A4B-it で、タグとの対応と内部の構成(有効パラメータの数など)は確認していません。
  • 文の長さ:精度は1文ずつ(平均53〜63字)です。段落での精度は測っていません。
  • 速さ:GPU の1回だけの測定で、共用のサーバーで測りました。最初の1文を除いた19文の集計で、除いたのは読み込みの遅れとみたためです(推定)。CPU での LLM の速さは測っていません。
  • 依頼文:測った依頼文は2種だけです。依頼文を変えると順位が変わる可能性があります。

よくある質問

文章校正に使うなら、どのモデルを選べばよいですか。

編集部が測った範囲では、社内文書のような業務文の誤字脱字には Gemma 4 26B の指示のみの依頼文が最も多く直しました(自作の誤りのある200文で85.5〜86.0%、誤りの無い100文の書き換えは2.0〜3.0%)。最良と差があるとは言えないのは、Gemma 4 26B の例つきの依頼文と Qwen3.5 27B の指示のみの依頼文の2つです。GPU のメモリが少ない場合は Gemma 4 12B(77.5〜78.0%、書き換えは3.0%)が候補です。Wikipedia のような文の誤変換には KWJA が多く直しましたが、自作の業務文では39.0%にとどまりました。使う文書の種類で順位が入れ替わるため、自社の文書の一部で2〜3個を試すことを勧めます。

無料で使えますか。商用利用はできますか。

測った11モデルは、どれも重みを無料で取得できました。配布元の記載では、Qwen3 8B・Qwen3 14B・Qwen3.5 9B・Qwen3.5 27B・Gemma 4 12B・Gemma 4 26B・gpt-oss 20B・LLM-jp-4 8B は Apache-2.0、Gemma 3 12B は Gemma Terms of Use、Llama 3.1 Swallow 8B は Llama 3.1 Community License と Gemma Terms of Use、Llama-3-ELYZA-JP 8B は Llama 3 Community License です。これは配布元の自己申告で、法的な判断ではありません。KWJA のコードは MIT ですが、編集部が確認した範囲では、重みの置き場にライセンスの表示がありませんでした。商用で使う前に、配布元でライセンスの全文を確認してください。

AI は誤りの無い文を勝手に書き換えませんか。

モデルと依頼文の組み合わせ、そして文の種類で大きく違いました。誤りの無い自作の100文を書き換えた率は、Gemma 4 26B の指示のみの依頼文で2.0〜3.0%、Qwen3 8B の例つきの依頼文で2.0%でしたが、Qwen3.5 27B の指示のみの依頼文では34.0〜35.0%、Qwen3.5 9B の指示のみの依頼文では67.0%でした。誤りの無い Wikipedia の523文では、17〜72%の範囲で、Gemma 4 26B の指示のみの依頼文は37.3〜37.7%でした。読んだ60件のうち、記号や表記だけの変更が28件、内容が変わった変更が10件です。書き換えの多い組み合わせは、差分を人が確認する前提で使ってください(差分での確認が誤りを拾えるかは、編集部では測っていません)。

GPU が無くても動きますか。

今回は GPU(NVIDIA H200)で LLM を実行して測ったため、GPU が無い環境での速さと精度は測っていません。GPU のメモリは、ローカル LLM の実測表(コンテキスト長4,096)で Gemma 4 12B が9.6GB、Gemma 4 26B が20.1GB、Qwen3 8B が6.2GB でした。専用モデルの KWJA は CPU で実行し、1,427文を234秒で処理しました(まとめて処理した全体の時間で、モデルの読み込みを含みます)。

textlint だけで足りますか。

誤字脱字の訂正としては、足りませんでした。textlint は文を直さないので、指摘の有無だけを数えました。誤字に関わる7つのルールで指摘があった文は、誤りのある文では自作の200文で18.0%、Wikipedia の604文で27.5%、誤りの無い文では自作の100文で1.0%、Wikipedia の523文で21.6%でした。指摘が誤りの箇所に当たっているかは測っていません。

関連する取り組み