誤りの無い業務の文100文を渡すと、Qwen3.5 9B は67文を書き換えました(指示のみの依頼文。2回の測定とも67%)。Gemma 4 26B が書き換えたのは、同じ100文のうち2〜3文です。校正を任せる時は、直した数と同じくらい、直さなくてよい文を変えないことが重要です。
この3例では、Qwen3.5 9B は誤りの無い文の「譲ってもらう」を「借りる」に書き換え、Gemma 4 26B は書き換えず、抜けた字は直した
- 例1:誤りの無い文(入力)
- 会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を譲ってもらうようにしてください。
- Gemma 4 26B の出力
- 会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を譲ってもらうようにしてください。(変更なし)
- Qwen3.5 9B の出力
- 会議室の予約が取れなかった場合は、総務課以外の部署の担当者に相談し、空いている部屋を借りるようお願いします。
- 例2:誤りの無い文(入力)
- 来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は十一時三十分から十四時までとなります。
- Gemma 4 26B の出力
- 来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は十一時三十分から十四時までとなります。(変更なし)
- Qwen3.5 9B の出力
- 来週の月曜日から、社内の食堂の営業時間が変わり、昼の営業は 11 時 30 分から 14 時までとなります。
- 例3:「績」が1字抜けた文(入力)
- 毎月の定例会では、各部門の責任者が先月の実と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
- Gemma 4 26B の出力(正解と一致)
- 毎月の定例会では、各部門の責任者が先月の実績と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
- KWJA の出力(別の字に変えた)
- 毎月の定例会では、各部門の責任者が先月の身と今月の見通しを報告し、必要があれば人員の配置についても話し合います。
編集部は、無料でローカル(自分の PC や社内のサーバー)で実行できる LLM(大規模言語モデル)11モデルと、校正専用モデルの KWJA、規則で文を検査する textlint を、正解つきの1,427文で測りました。LLM は依頼文(プロンプト)2種で測り、LLM 22通りと KWJA の23通りを比べます。依頼文の「指示のみ」は、次の指示だけを渡す短い文面です。もう1種の「例つき」は、これに誤りのある例2つと誤りの無い例1つを足しました。
次の文から、誤字・脱字・余分な文字・変換ミスだけを直してください。言い回しや表記は変えないでください。誤りが無ければ、文をそのまま出力してください。直した文だけを出力し、説明は書かないでください。
Ollama は LLM をローカルで実行する無料のソフトです。KWJA は京都大学などが公開する日本語の解析ツールに含まれる入力誤り訂正モデル、textlint は文章の規則違反を指摘するツールで、文は直しません。
誤りを1か所入れた自作の業務文200文では、最良の Gemma 4 26B が85.5〜86.0%を正解どおりに直しました。Wikipedia の実際の入力誤り604文では、最良の専用モデル KWJA で57.9%でした。誤りの無い文を書き換えた率は、Gemma 4 26B で自作の100文が2.0〜3.0%、Wikipedia の523文が37.3〜37.7%です。モデルの順位はデータで入れ替わり、同じ KWJA は自作の業務文では39.0%でした。
- 自作の最良と差があるとは言えないのは、Gemma 4 26B・例つき(82.5〜83.0%)と Qwen3.5 27B・指示のみ(81.0%)の2つだけです。
- 必要な機材:GPU のメモリは、Gemma 4 26B が約20GB(20.1GB)、Gemma 4 12B が約10GB(9.6GB)、Qwen3 8B が約6GB(6.2GB)です。メモリの値は今回測っておらず、ローカル LLM の実測表の値です。KWJA は CPU で実行でき、1,427文を234秒で処理しました。
- 測った文:編集部が書いた業務の文300文(誤りを1か所入れた200文と、誤りの無い100文)と、日本語 Wikipedia の入力誤りを集めた京都大学の評価データ(JWTD v2)の1,127文(誤りあり604・なし523)。
- 測り方:LLM は同じ設定で2回測り、2回とも同じ結論になった差の判定だけを書きます。
言葉は次の意味で使います。「正解どおりに直した率」は、誤りのある文で、出力が正解の文と一致した割合です。完全一致で数えるため、実際に直せた率より低めに出ます(「完全一致で数えると…」の節)。「誤りの無い文を書き換えた率」は、誤りの無い文で、出力が入力と違った割合で、低いほど良い値です。textlint は文を直さないので、指摘の有無を「検出」と呼びます。2つのモデルの差は、文ごとにどちらだけが正解したかを数えて、偶然でも出る程度の差かを検定し、偶然の範囲なら「差があるとは言えない」と書きます。
誤りの種類は次の5つで、例はすべて編集部が書いた文です。
- 脱字(字が抜ける):「先月の実と今月の見通し」(「実績」の「績」が抜けた)
- 余分な字(衍字。字が余る):「ご利利用いただき」
- 誤変換:「本人の意志を確認できない場合」(正しくは「意思」)
- 字の取り違え:「担当車ごとに決めて」(正しくは「担当者」)
- 字の入れ替わり(転字):「内容を認確したあと」(正しくは「確認」)
実測表:正解どおりに直した率は、自作の業務文では Gemma 4 26B が最も高く(ほか2通りとは差があるとは言えない)、Wikipedia の入力誤りでは KWJA が最も高かった
実測表:正解どおりに直した率は、自作の業務文では Gemma 4 26B が最も高く(ほか2通りとは差があるとは言えない)、Wikipedia の入力誤りでは専用モデルの KWJA が最も高かった
| モデル | 自作の業務文 (誤りあり200・なし100) | Wikipedia の文 (誤りあり604・なし523) | 1,000字 あたりの秒 | ||
|---|---|---|---|---|---|
| 正解どおりに 直した率(%) | 誤りの無い文を 書き換えた率(%) | 正解どおりに 直した率(%) | 誤りの無い文を 書き換えた率(%) | ||
| ローカルで実行する LLM(指示のみの依頼文) | |||||
| Gemma 4 26B | 85.5〜86.0 | 2.0〜3.0 | 47.8〜48.0 | 37.3〜37.7 | 6.6 |
| Qwen3.5 27B | 81.0 | 34.0〜35.0 | 41.6〜41.9 | 56.0〜56.4 | 26.3 |
| Gemma 4 12B | 77.5〜78.0 | 3.0 | 40.9〜41.2 | 29.3 | 7.7 |
| Qwen3.5 9B | 59.5〜60.5 | 67.0 | 25.0 | 71.9〜72.1 | 12.1 |
| gpt-oss 20B | 57.5〜59.0 | 5.0〜6.0 | 21.9〜22.8 | 38.6〜39.7 | 35.8 |
| Gemma 3 12B | 57.0〜57.5 | 13.0 | 22.2〜22.7 | 39.0〜39.4 | 11.0 |
| Qwen3 14B | 55.5〜56.0 | 4.0 | 26.0〜26.2 | 33.8〜34.0 | 9.8 |
| Llama 3.1 Swallow 8B | 44.5〜45.5 | 47.0 | 20.2〜20.4 | 54.5〜55.1 | 8.5 |
| Llama-3-ELYZA-JP 8B | 41.0〜41.5 | 15.0〜16.0 | 15.6〜16.2 | 44.9〜45.7 | 10.9 |
| Qwen3 8B | 40.5〜41.0 | 4.0 | 17.7 | 20.7 | 9.0 |
| LLM-jp-4 8B | 32.2〜32.3 | 56.0〜58.0 | 16.2〜16.9 | 49.9〜51.4 | 5.9 |
| 校正専用のモデル | |||||
| KWJA | 39.0 | 35.0 | 57.9 | 24.7 | 2.8(注) |
| 参考:規則による検査 | |||||
| textlint | — | — | — | — | — |
| 参考:例つきの依頼文で最良の組み合わせ | |||||
| Qwen3 8B・例つき | 49.0 | 2.0 | 22.4〜22.7 | 17.0〜17.6 | 9.0 |
自作の文で最良の Gemma 4 26B・指示のみと差があるとは言えないのは、Gemma 4 26B・例つき(82.5〜83.0%)と Qwen3.5 27B・指示のみ(81.0%)の2つだけです。23通りを最良と文ごとに比べた結果で、2回とも同じでした。Wikipedia の文では KWJA(57.9%)が最良で、LLM の22通りはすべて KWJA と差があります。
誤りの無い文を書き換えた率が最も低いのは Qwen3 8B・例つきの2.0%ですが、差があるとは言えない組み合わせが10個あり、Gemma 4 26B・指示のみ(2.0〜3.0%)もその1つです。この指標では順位を付けません。実測表に行が無い例つきの5個(Gemma 3 12B・Gemma 4 12B・Gemma 4 26B・gpt-oss 20B・Qwen3 14B)の書き換えた率は、2回の測定を通して3.0〜11.0%でした。
自作の文では、最良と差があるとは言えない Qwen3.5 27B・指示のみが、誤りの無い文の34〜35%を書き換えた
自作の業務文では、Gemma 4 26B・指示のみの正解どおりに直した率が最も高く(85.5〜86.0%。ほか2通りとは差があるとは言えない)、誤りの無い文の書き換えも2.0〜3.0%と少なかった。Qwen3.5 27B・指示のみは81.0%直したが、誤りの無い文の34.0〜35.0%を書き換えた
- 指示のみの依頼文
- 例つきの依頼文
- KWJA(専用モデル)
最良の Gemma 4 26B・指示のみ(直した率85.5〜86.0%)と差があるとは言えない Qwen3.5 27B・指示のみ(81.0%)は、誤りの無い文の34.0〜35.0%を書き換えました。Gemma 4 26B・指示のみは2.0〜3.0%です。直した率が高くても、校正で使えるとは限りません。
書き換えの多い組み合わせもあります。Qwen3.5 9B・指示のみは67.0%、LLM-jp-4 8B・指示のみは56.0〜58.0%で、直した率は Qwen3.5 9B・指示のみが59.5〜60.5%、LLM-jp-4 8B・指示のみが32.2〜32.3%でした。
KWJA は Wikipedia の入力誤りでは Gemma 4 26B・指示のみより多く直し、自作の業務文では逆になった
Wikipedia の入力誤りでは KWJA が Gemma 4 26B・指示のみより多く直したが(57.9%対48.0%)、自作の業務文では逆になった(39.0%対86.0%)
- KWJA(専用モデル)
- Gemma 4 26B・指示のみの依頼文
Wikipedia の誤りのある604文では、KWJA だけが正解した文が124、Gemma 4 26B・指示のみだけが正解した文が64でした(Gemma 4 26B は1回目の出力で比べました。以下も同じです)。KWJA の学習データには、リポジトリの設定が JWTD(今回の Wikipedia の評価データの元)を指定しています。配布されている重みの学習に使った版までは確認していません。学習データと記事が重なる127文を除いた477文でも、KWJA は56.8%、Gemma 4 26B・指示のみは48.8%(KWJA だけが正解した文が91、Gemma 4 26B・指示のみだけが正解した文が53)で、KWJA が多く直しています。2回目の出力の Gemma 4 26B・指示のみと比べても向きは同じで、Wikipedia の604文では KWJA だけが正解した文が125、Gemma 4 26B・指示のみだけが正解した文が64(Gemma 4 26B・指示のみは47.8%)、自作の200文では3対96で、2回目も差があります。
Wikipedia の文の一部は、文頭に「:」が付いています(誤りのある文40・誤りの無い文33。Wikipedia の記法の字下げの印とみられますが、由来は確認していません)。LLM の多くはこの「:」を外します。この73文を除いた誤りのある564文でも、KWJA は58.5%、Gemma 4 26B・指示のみは51.4%(2回目は51.2%)で、最良は KWJA のまま、LLM の22通りすべてと差があり、2回とも同じでした。
自作の誤りのある200文では、KWJA だけが正解した文が3、Gemma 4 26B・指示のみだけが正解した文が97でした。KWJA は、誤りの無い自作の100文の35.0%も書き換えています。理由は分かっていません。自作の誤りは編集部が人の手で入れた誤りで、Wikipedia の編集履歴から集めた誤り(JWTD)とは分布が違う可能性があります(推定)。
誤りの種類で得意が分かれた:自作の文で KWJA は脱字・字の取り違え・字の入れ替わりをあまり直せなかった
誤りの種類で得意が分かれた:自作の文で KWJA は脱字を2.5%、字の入れ替わりを0.0%しか直せず、余分な字は95.0%直した。Gemma 4 26B・指示のみは脱字を60.0%、字の入れ替わりを95.0%直した
- KWJA(専用モデル)
- Gemma 4 26B・指示のみの依頼文
Gemma 4 26B・指示のみの値は1回目の出力です。自作の文では、KWJA は余分な字(95.0%)と誤変換(77.5%)を直せる一方、脱字は2.5%、字の取り違えは20.0%、字の入れ替わりは0.0%でした。Gemma 4 26B・指示のみは、脱字60.0%、余分な字100.0%、誤変換82.5%、字の取り違え92.5%、字の入れ替わり95.0%でした。
Wikipedia の文では、KWJA は余分な字が75.8%、誤変換が63.9%で、Gemma 4 26B・指示のみ(余分な字59.4%、誤変換43.3%)を上回りました。脱字は KWJA 46.4%・Gemma 4 26B・指示のみ47.9%、字の取り違えは KWJA 51.1%・Gemma 4 26B・指示のみ48.9%、「その他」(誤りが複数か所など)は KWJA 20.6%・Gemma 4 26B・指示のみ32.4%です。種類は訂正前後の文字の差から編集部が分けた近似で、JWTD 自身の区分とは一致しない場合があります。
完全一致で数えると、正しく直した文も「直せなかった」に入る
出力が正解と一致しなかった60文を読むと、27文は誤りを正しく直していた。完全一致で数えた率は、実際に直せた率より低く出る
- 誤りは正しく直した
- 誤りを直せていない
正解どおりに直した率は、出力が正解の文と一致した時だけ数えます。Gemma 4 26B・指示のみの1回目の出力で、Wikipedia の一致しなかった文から60文を選んで編集部が読むと、27文(別の箇所も変えた16文と、正解と別の正しい形に直した11文)は誤りを正しく直していました。別の箇所も変えた16文のうち5文は、文頭の「:」を外しただけです。同じ種類の誤りを別の言葉で直した例もあり、Wikipedia の値は実際に直せた率より低く出ています。
書き換えの中身(自作の文):内容が変わった出力、文が壊れた出力もあった
誤りの無い文の書き換えを60件読むと、内容が変わった・文が壊れた出力が19件あり、LLM-jp-4 8B は29件中16件だった
- 内容の変更(壊れた文を含む)
- 言い回しの変更
- 表記だけの変更
1回目の出力をスクリプトで数えると、Qwen3.5 9B・指示のみの書き換え67件には、漢数字と算用数字の入れ替えが23件、助詞「の」の削除が13件、読点の増減が1件ありました(1件が複数の区分に数えられる場合があります)。LLM-jp-4 8B・指示のみの58件は、読点の増減が7件、「の」の削除が7件、数字の入れ替えが1件です。Gemma 4 26B・指示のみの書き換えは2件(2回目は3件)で、どちらも言い回しの変更でした。区分に入らない変更の分類は、書き換えの全件ではなく、読んだ60件で行いました。読んだのは Qwen3.5 9B・指示のみの67件のうち29件、LLM-jp-4 8B・指示のみの58件のうち29件、Gemma 4 26B・指示のみの2件の全件です。
読んだ60件では、内容の変更(意味が変わった出力と、文が壊れた出力)が19件でした。LLM-jp-4 8B は29件中16件が内容の変更で、14件は字の抜け・重複・途中切れで文が壊れていました。これは Q4_K_M の GGUF を、Ollama の標準の書式ではなく raw の書式で送った条件の結果です。原因が量子化・書式・モデルのどれかは切り分けていません。Qwen3.5 9B の内容の変更は3件で、「自然な故障が起きた場合」を「不具合が生じた場合」にして保証の条件が変わった文などです。
誤りの無い Wikipedia の文の書き換えを60件読むと、記号・表記だけの変更が28件、内容の変更が10件だった
誤りの無い Wikipedia の文の書き換えを60件読むと、記号・記法だけと表記だけが28件で、内容が変わった変更は10件だった
- 元の文の誤りを直した
- 言い回し・内容の変更
- 記号・表記だけ
Gemma 4 26B・指示のみは、誤りの無い文の書き換えが自作で2.0〜3.0%、Wikipedia で37.3〜37.7%でした。1回目の書き換え195件をスクリプトで数えると、文頭の「:」を外しただけが20件、記号だけの変更(読点の追加、マイナス記号の種類など)が24件、1〜2字の変更が110件、3〜6字が38件、7字以上が3件で、「:」が主因ではありません。
195件から60件を選んで読むと、記号・記法だけが13件、表記だけ(かなと漢字、送り仮名、数字)が15件、元の文に残っていた誤りを直した変更が9件、言い回しの変更が13件、内容の変更が10件でした。内容の変更は、地名・人名・商品名の字を変えた例などです。60件は区分ごとに選んだ件数(文頭の「:」だけ20件から6件、記号だけ24件から7件、1〜2字110件から33件、3〜6字38件から11件、7字以上3件から3件)で、195件の割合をそのまま表しません。誤りの無い Wikipedia の文は訂正後の文なので、ほかの誤りが残っている場合があり、直した変更が「書き換え」に数えられています。
自作の文では、例つきの依頼文で差が出たのは4モデルで、上がった2・下がった2だった
自作の文では、例つきの依頼文で正解どおりに直した率が2回とも差があって上がったモデルは2個、下がったモデルは2個で、残りの7個は差があるとは言えなかった
- 指示のみの依頼文
- 例つきの依頼文
11モデルのうち、例つきの依頼文で自作の正解どおりに直した率が2回とも差があったのは4モデルです。上がったのは Llama 3.1 Swallow 8B(44.5〜45.5%から54.5〜55.5%)と Qwen3 8B(40.5〜41.0%から49.0%)、下がったのは Gemma 4 12B(77.5〜78.0%から68.5〜69.5%)と Qwen3.5 27B(81.0%から75.0〜76.5%)です。残りの7モデルは、差があるとは言えません。Wikipedia の文では、上がったのが Qwen3 8B、下がったのが Qwen3.5 27B の各1モデルでした。
誤りの無い文を書き換えた率は、自作では例つきで減ったのが Llama 3.1 Swallow 8B(47.0%から26.0〜27.0%)と Qwen3.5 9B(67.0%から51.0〜52.0%)の2モデルで、増えたモデルはありませんでした。Wikipedia では、減ったのが Gemma 4 26B・Llama 3.1 Swallow 8B・Qwen3.5 9B の3モデル、増えたのが Llama-3-ELYZA-JP 8B と Qwen3 14B の2モデルです。
Llama-3-ELYZA-JP 8B は例つきの依頼文で出力が崩れました。答えのあとに「入力:…出力:…」の書式を繰り返して出力の上限に達した文が、自作で47文(1回目)、Wikipedia で466文ありました。答えの行は取り出して採点し、失敗には数えていません。この組み合わせの値は、取り出し方の規則(測定の条件)に左右される点に注意が必要です。
textlint は誤りのある文の18.0〜27.5%にしか指摘せず、誤りの無い Wikipedia の文の21.6%にも指摘した
textlint は、誤りのある Wikipedia の文の27.5%・自作の文の18.0%にしか指摘せず、誤りの無い Wikipedia の文にも21.6%指摘した
- Wikipedia の文
- 自作の文
指摘のあった自作の36文のうち26文は、同じ語が続いた箇所を見つけるルールが検出した文で、いずれも自作の余分な字(直前の字を重ねた誤り)でした。
textlint が指摘した文だけを LLM に渡し、指摘の無い文は入力のまま返す場合を、測った出力(1回目)から試算しました(実際には実行していません)。Gemma 4 26B・指示のみの Wikipedia では、正解どおりに直した率が48.0%から15.2%に、書き換えた率が37.3%から10.1%になります。自作では、直した率が86.0%から17.5%です。textlint で絞る方法は、書き換えを減らす代わりに、直せる誤りの大半が LLM に渡る前に外れます。
速さ:1文ずつ処理した1,000字の校正は5.9秒から35.8秒まで、正解どおりに直した率が最も高い Gemma 4 26B は6.6秒
1,000字を校正する時間は、LLM-jp-4 8B の5.9秒から gpt-oss 20B の35.8秒まで差があった(GPU・1 文ずつ)
- 1 文ずつ
- 約450字の段落
GPU(NVIDIA H200)で1文ずつ処理した場合の1,000字あたりの時間は、各モデルの最初の1文を除いた19文(1,113字)で集計すると、LLM-jp-4 8B が5.9秒、Gemma 4 26B が6.6秒、Qwen3.5 27B が26.3秒、gpt-oss 20B が35.8秒でした。最初の1文は Gemma 3 12B だけ7.6秒かかり、ほかのモデルは0.2〜1.7秒でした。読み込みの遅れが残ったとみて(推定)、全モデルで最初の1文を外しています。約450字の段落で測り、1,000字あたりに直すと、Gemma 4 26B が6.8秒、gpt-oss 20B が23.3秒です。KWJA は CPU で1,427文をまとめて処理した全体の時間を字数で割ると2.8秒ですが、モデルの読み込みを含み、LLM とは条件が違います。速さは1回だけの測定です。
用途別の候補(GPU のメモリ別)
GPU のメモリが24GB 級
- 候補:Gemma 4 26B・指示のみの依頼文(Apache-2.0)
- 根拠:自作の業務文で正解どおりに直した率が85.5〜86.0%、誤りの無い文の書き換えが2.0〜3.0%。GPU のメモリは20.1GB
- 向かない場面:誤りの無い Wikipedia の文は37.3〜37.7%書き換えた(記号・表記の変更が多いが、内容が変わった例もある)。Wikipedia のような文の入力誤りでは KWJA(57.9%)より低い(47.8〜48.0%)
GPU のメモリが12GB 級
- 候補:Gemma 4 12B・指示のみの依頼文(Apache-2.0)
- 根拠:自作で77.5〜78.0%、書き換えは3.0%。GPU のメモリは9.6GB
- 向かない場面:Gemma 4 26B・指示のみ(85.5〜86.0%)より直す数が少ない。誤りの無い Wikipedia の文は29.3%書き換えた
GPU のメモリが8GB 級
- 候補:Qwen3 8B・例つきの依頼文(Apache-2.0)
- 根拠:誤りの無い自作の文の書き換えが2.0%。同じ8〜9B 級の指示のみの依頼文では、Qwen3.5 9B が67.0%、LLM-jp-4 8B が56.0〜58.0%、Llama 3.1 Swallow 8B が47.0%、Llama-3-ELYZA-JP 8B が15.0〜16.0%、Qwen3 8B が4.0%。GPU のメモリは6.2GB
- 向かない場面:正解どおりに直した率が49.0%と低い。書き換えの低さは Gemma 4 の2つを含む10個で差があるとは言えず、直す数は Gemma 4 のほうが多い
GPU が無い
- 候補:KWJA(専用モデル。コードは MIT)
- 根拠:Wikipedia の入力誤りの全体が57.9%、余分な字が75.8%、誤変換が63.9%で最良。CPU で実行でき、1,427文を234秒で処理した
- 向かない場面:自作の業務文では39.0%で、脱字は2.5%、字の入れ替わりは0.0%。誤りの無い自作の文の35.0%を書き換える。重みはライセンスの表示が無く、商用で使う時は配布元に確認が必要
書き換えの多い組み合わせを使う
- 対象:Qwen3.5 9B・指示のみ(書き換え67.0%)、LLM-jp-4 8B・指示のみ(56.0〜58.0%)など
- 使い方:出力を差分で表示し、変更を人が確認する前提で使う(差分での確認が誤りを拾えるかは、編集部では測っていません)
- 注意:LLM-jp-4 8B は、この GGUF(Q4_K_M)と raw の書式で測った結果で、読んだ29件のうち14件で文が壊れていた
測っていない対象と理由
- 有料の API とサービス:鍵や契約が必要なため、文賢・Shodo・Typoless などは測っていません。
- Claude と ChatGPT:無料でローカルで実行できるモデルに絞ったため、測っていません。
- LanguageTool:日本語の規則の数を確認できておらず、測っていません。
- Qwen3-Swallow 8B:事前の試し(開発用の先頭30文)で、指示のみの依頼文では577秒、例つきでは724秒かかり、本測定から外しました。同じ事前の試しで Llama 3.1 Swallow 8B は25秒と94秒でした(モデルの読み込みを含みます)。
- 段落単位の精度:精度は1文ずつです。段落は速さだけを測りました。
- 意味が変わったかの判定:自動では測っていません。書き換え120件(自作60件・Wikipedia 60件)を編集部が読んだだけです。
測定の条件
下の欄を開くと、データの出どころ・モデル・依頼文・採点の方法・失敗の件数・環境が表示されます。
測定の条件の詳細を開く
データ:日本語 Wikipedia の入力誤りの評価データは、京都大学の JWTD v2 の gold(1,127ペア、1,114記事。論文は 田中ら 2021 と Tanaka et al. 2020)です。文は日本語 Wikipedia からの引用で、ライセンスは CC BY-SA 3.0 です。記事 ID の SHA-1 の偶奇で記事を2つに分けました。偶数の記事は訂正前の文(誤りあり)604文、奇数の記事は訂正後の文(誤りなし)523文だけを使います。同じペアの前後は両方使いません。平均の文の長さは、誤りのある文が62.6字、誤りの無い文が58.7字です。この記事には Wikipedia の文を載せていません(例はすべて編集部が書いた文)。誤りの無い文は訂正後の文なので、ほかの誤りが残っている可能性があります。
自作の300文は、編集部が書いた業務の文(議事録・報告・社内連絡・製品の案内・手順書。平均53字)です。200文に誤りを手で1か所ずつ入れ、誤りの種類(字の取り違え・脱字・余分な字・字の入れ替わり・誤変換)を40文ずつにしました。誤りの無い100文は誤りを入れる前の文です。誤りを入れた200文と、その正しい文は公開しています。人が入れた誤りなので、実際の入力ミスの分布とは違います。依頼文の調整に使ったのは、JWTD の test から別に取った開発用の200ペアだけで、評価用の文は見ていません。例つきの依頼文の例3文も、この開発用の test(日本語 Wikipedia 由来、CC BY-SA 3.0)から取った文で、記事には載せていません(全文は編集部で保管しています)。
誤りの種類は訂正前後の文字の差から編集部のスクリプトで分けた近似で、JWTD 自身の区分とは一致しない場合があります。Wikipedia の604文の内訳は、脱字140、余分な字128、誤変換208、字の取り違え94、その他34です。
モデル:LLM は Ollama 0.40.15 で実行しました(温度0・種42)。タグ・digest・ライセンス・GPU のメモリは次の表に載せました。量子化は、Ollama の公式のタグは既定のまま(種類は個別に確認しておらず、digest で特定しています)、hf.co の3つは Q4_K_M です。GPU のメモリは今回測っておらず、ローカル LLM の実測表の値を引きました(コンテキスト長4,096、nvidia-smi の差)。考える過程を出すのは gpt-oss 20B だけで、推論の強さは low に設定しています。Qwen3 8B・14B、Qwen3.5 9B・27B、Gemma 4 は考える機能を切って測定しました。Llama 3.1 Swallow 8B のライセンスは、配布元の README が Llama 3.1 Community License と Gemma Terms of Use、Hugging Face のメタデータのタグが llama3.3 と gemma で、食い違っています。
| モデル | Ollama のタグと digest(先頭12桁) | ライセンスの記載(配布元) | GPU のメモリ(GB) |
|---|---|---|---|
| Qwen3 8B | qwen3:8bdigest 500a1f067a9f | Apache-2.0 | 6.2 |
| Qwen3 14B | qwen3:14bdigest bdbd181c33f2 | Apache-2.0 | 10.3 |
| Qwen3.5 9B | qwen3.5:9bdigest 56671c2ab938 | Apache-2.0 | 7.2 |
| Qwen3.5 27B | qwen3.5:27bdigest 64ae5b1d651f | Apache-2.0 | 18.2 |
| Gemma 3 12B | gemma3:12bdigest b92b218582c5 | Gemma Terms of Use | 9.8 |
| Gemma 4 12B | gemma4:12bdigest 6114515d63c1 | Apache-2.0 | 9.6 |
| Gemma 4 26B | gemma4:26bdigest 001e5dafc3c7 | Apache-2.0 | 20.1 |
| gpt-oss 20B | gpt-oss:20bdigest f38aa0c53da5 | Apache-2.0 | 13.6 |
| Llama 3.1 Swallow 8B | hf.co/mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-gguf:Q4_K_Mdigest fd7317484a0c | Llama 3.1 Community License と Gemma Terms of Use | 5.9 |
| LLM-jp-4 8B | hf.co/mmnga-o/llm-jp-4-8b-instruct-gguf:Q4_K_Mdigest 66c13546c97e | Apache-2.0 | 6.1 |
| Llama-3-ELYZA-JP 8B | hf.co/mmnga/Llama-3-ELYZA-JP-8B-gguf:Q4_K_Mdigest 402c901b8f43 | Llama 3 Community License | 5.9 |
実行の条件:精度の測定は同時処理8、速さの測定は同時処理1です。速さの集計では、各モデルを1回呼び出して読み込ませてから開発用の20文を1文ずつ続けて処理し、最初の1文を除いた19文を使いました(段落5本の集計は変えていません)。出力の上限は「入力の字数×3+64」トークン(gpt-oss 20B は考える過程の分に3,000を足した値)、num_ctx は4,096(gpt-oss 20B は8,192)にしました。依頼文は user の発話1つとして送りました。LLM-jp-4 8B は、Ollama の標準の書式では返事が空になるため、raw の harmony 書式(system の文つき)で送っています。
KWJA:KWJA 2.6.0 の typo モジュールを --model-size large、CPU で実行しました。1文を1つの文書として入力し、バッチサイズは16です。重みは ku-nlp/kwja-checkpoints の v2.4 の枝の typo_deberta-v2-large-wwm.ckpt です。重みの置き場にモデルカードとライセンスの表示はなく、元になったモデルの deberta-v2-large-japanese-char-wwm は CC BY-SA 4.0 と表示されています。学習データは、リポジトリの設定ファイルが JWTD を指定しています。配布されている重みの学習に使った版は確認していません。配布元の付属コードは実行していません。重みは PyTorch の pickle 形式のため、中身を命令の列として調べ、参照するクラスが torch・omegaconf・標準のコンテナ型だけだと確認してから読み込みました。
textlint:textlint 15.8.0 は、入力誤りに関わる7つのルール(ja-no-successive-word 2.1.0、no-doubled-joshi 5.1.1、no-dropping-the-ra 3.0.0、no-doubled-conjunction 3.0.1、ja-no-orthographic-variants 2.0.0、ja-joyo-or-jinmeiyo-kanji 1.0.3、no-kangxi-radicals 0.2.2)だけを掛け、指摘の有無を検出として数えました。ja-unnatural-alphabet は、Wikipedia の全角英数に反応して誤りと無関係な指摘が出たので外しました。
依頼文:2種を測定の前に決めて凍結しました。指示のみの依頼文は記事の冒頭に引用した指示に、「入力:(文)」「出力:」を続けた文面です。例つきの依頼文は、指示のみの依頼文に誤りのある例2つと誤りの無い例1つを足した文面です。評価の結果を見て依頼文は直していません。
出力の取り出しと採点:出力は NFKC にそろえ、空白と改行を除いて比べました。前置きの「入力:」「出力:」、引用符、説明の行を取り除く規則は、開発用の出力だけを見て決めました。上限(出力の長さ)に達しても答えの行が取れた出力は、打ち切りの失敗にせず「繰り返し」として別に数えています。失敗(空・打ち切り・例外)は率の分母から除外します。件数は次の表のとおりです。空の出力には、「入力:…出力:」の書式だけを返して答えが残らなかった出力を含みます。失敗を不正解に数えても(誤りのある文は不一致、誤りの無い文は書き換えたとして)、正解どおりに直した率は最大0.3ポイント、書き換えた率は最大0.6ポイントしか動かず、結論は変わりません。
| 組み合わせ | 自作(誤りのある200文と誤りの無い100文) | Wikipedia(1,127文) | ||
|---|---|---|---|---|
| 1回目 | 2回目 | 1回目 | 2回目 | |
| Qwen3 8B・指示のみ | 0 | 0 | 空 1 | 空 1 |
| Qwen3.5 9B・例つき | 0 | 0 | 空 17、繰り返し 1 | 空 16、繰り返し 1 |
| Qwen3.5 27B・例つき | 0 | 0 | 空 1 | 空 1 |
| gpt-oss 20B・指示のみ | 0 | 0 | 空 2 | 空 4 |
| gpt-oss 20B・例つき | 0 | 0 | 空 3 | 空 3 |
| LLM-jp-4 8B・指示のみ | 空 1 | 空 2 | 空 2 | 空 2 |
| LLM-jp-4 8B・例つき | 0 | 0 | 空 2 | 空 3 |
| Llama-3-ELYZA-JP 8B・指示のみ | 0 | 0 | 空 6、打ち切り 1 | 空 7、打ち切り 1 |
| Llama-3-ELYZA-JP 8B・例つき | 繰り返し 47 | 繰り返し 45 | 繰り返し 466 | 繰り返し 478 |
差の判定:2つの組み合わせの差は、文ごとにどちらだけが正解した(書き換えは、どちらだけが書き換えた)かを数える符号検定(二項分布による正確検定、両側)にかけ、Holm 法で補正します。各表で、2回の率の平均が最良の組み合わせを、ほかの22通りと比べます(22回の補正)。データ(自作・Wikipedia)、指標(正解どおりに直した率・書き換えた率)、回(2回)の8つの結果を出し、2回とも差があるとは言えない組み合わせだけを「差があるとは言えない」と書きます。依頼文の比較は、モデルごとに指示のみと例つきを同じ方法で比べ、11モデルで Holm 法の補正をして、2回とも差があり向きが同じだったモデルだけを数えました。KWJA と Gemma 4 26B・指示のみの比較は、1回目と2回目の出力のそれぞれで、片方だけが正解した文を数えました。
測定の揺れ:同じ温度0・種42で2回測った差で、依頼文や文の選び方による揺れは含みません。22個の LLM の組み合わせでの最大の差は次のとおりです。差があるとは言えない組み合わせの数は、判定の線の近くで動きます。最良との比較で、補正後の p 値が0.01以上0.05未満になった比較が8件あり(0.016〜0.048)、線を0.05からわずかに動かすと数が変わります。
- 自作の正解どおりに直した率:2.0ポイント(gpt-oss 20B・例つき)
- 自作の書き換えた率:2.0ポイント(LLM-jp-4 8B・例つき)
- Wikipedia の正解どおりに直した率:1.0ポイント
- Wikipedia の書き換えた率:1.5ポイント(LLM-jp-4 8B・指示のみ)
読んで分けた件数:出力が一致しなかった60文、自作の書き換え60件、Wikipedia の書き換え60件は、編集部が1人で読んで分けました(固定の乱数、結果は編集部が保管しています)。別の担当による突き合わせはしていません。
文頭の「:」:Wikipedia の文には、文頭に「:」が付いた文があります(誤りのある文40、誤りの無い文33)。LLM の多くはこの「:」を外しました(Gemma 4 26B・指示のみは誤りのある40文のうち正解どおりに直した文が0)。この73文を除くと、Gemma 4 26B・指示のみの1回目の Wikipedia の正解どおりに直した率は51.4%、書き換えた率は33.1%で、KWJA は58.5%です。
考える過程の混入:考える過程を出した gpt-oss 20B の生の出力を、自作の300文×2依頼文×2回で確かめました。考える過程の欄が答えの欄に混ざった出力と、考える過程や書式の区切り記号が答えに残った出力は0件で、採点は答えの欄だけを使っています。
環境:GPU は NVIDIA H200 の1基、KWJA と textlint は CPU の8コアです。測定は2026年11月10日に、編集部の GPU サーバー(他の作業と共用)で行いました。自作の文(誤りを入れた200文と、その正しい文)は own_sentences.json で公開しています。モデルごとの出力と判定は編集部で保管しています。評価に使った Wikipedia の文と、それに対するモデルの出力は、記事にもデータにも載せていません(CC BY-SA 3.0 の文を、編集部の公開物に混ぜないため)。
この実測表で分からないこと
- 人が入れた誤りの限界:自作の誤りは編集部が入れました。実際の入力ミスの分布とは違い、KWJA の結果が逆転した理由にも関わる可能性があります(推定)。
- Wikipedia の文の癖:評価データは日本語 Wikipedia の編集履歴から集めた文です。LLM は事前学習で Wikipedia を読んでいる可能性があり、学習データとの重なりは切り分けていません。文頭の「:」を外した文は、Wikipedia の値に影響しています。誤りの無い文は訂正後の文で、ほかの誤りが残っている場合があります。
- 完全一致の限界:別の正しい直し方を数えないため、正解どおりに直した率は低めに出ます。
- 意味の変化:書き換えが意味を変えたかは、読んだ件数でしか確認していません。分類は編集部1人の判断です。
- LLM-jp-4 8B:測ったのは Q4_K_M の GGUF を raw の書式で送った形で、文が壊れた原因が量子化・書式・モデルのどれかは切り分けていません。
- Gemma 4 26B:Ollama のタグ gemma4:26b を指します。ライセンスを確認した配布元のページは gemma-4-26B-A4B-it で、タグとの対応と内部の構成(有効パラメータの数など)は確認していません。
- 文の長さ:精度は1文ずつ(平均53〜63字)です。段落での精度は測っていません。
- 速さ:GPU の1回だけの測定で、共用のサーバーで測りました。最初の1文を除いた19文の集計で、除いたのは読み込みの遅れとみたためです(推定)。CPU での LLM の速さは測っていません。
- 依頼文:測った依頼文は2種だけです。依頼文を変えると順位が変わる可能性があります。
よくある質問
文章校正に使うなら、どのモデルを選べばよいですか。
編集部が測った範囲では、社内文書のような業務文の誤字脱字には Gemma 4 26B の指示のみの依頼文が最も多く直しました(自作の誤りのある200文で85.5〜86.0%、誤りの無い100文の書き換えは2.0〜3.0%)。最良と差があるとは言えないのは、Gemma 4 26B の例つきの依頼文と Qwen3.5 27B の指示のみの依頼文の2つです。GPU のメモリが少ない場合は Gemma 4 12B(77.5〜78.0%、書き換えは3.0%)が候補です。Wikipedia のような文の誤変換には KWJA が多く直しましたが、自作の業務文では39.0%にとどまりました。使う文書の種類で順位が入れ替わるため、自社の文書の一部で2〜3個を試すことを勧めます。
無料で使えますか。商用利用はできますか。
測った11モデルは、どれも重みを無料で取得できました。配布元の記載では、Qwen3 8B・Qwen3 14B・Qwen3.5 9B・Qwen3.5 27B・Gemma 4 12B・Gemma 4 26B・gpt-oss 20B・LLM-jp-4 8B は Apache-2.0、Gemma 3 12B は Gemma Terms of Use、Llama 3.1 Swallow 8B は Llama 3.1 Community License と Gemma Terms of Use、Llama-3-ELYZA-JP 8B は Llama 3 Community License です。これは配布元の自己申告で、法的な判断ではありません。KWJA のコードは MIT ですが、編集部が確認した範囲では、重みの置き場にライセンスの表示がありませんでした。商用で使う前に、配布元でライセンスの全文を確認してください。
AI は誤りの無い文を勝手に書き換えませんか。
モデルと依頼文の組み合わせ、そして文の種類で大きく違いました。誤りの無い自作の100文を書き換えた率は、Gemma 4 26B の指示のみの依頼文で2.0〜3.0%、Qwen3 8B の例つきの依頼文で2.0%でしたが、Qwen3.5 27B の指示のみの依頼文では34.0〜35.0%、Qwen3.5 9B の指示のみの依頼文では67.0%でした。誤りの無い Wikipedia の523文では、17〜72%の範囲で、Gemma 4 26B の指示のみの依頼文は37.3〜37.7%でした。読んだ60件のうち、記号や表記だけの変更が28件、内容が変わった変更が10件です。書き換えの多い組み合わせは、差分を人が確認する前提で使ってください(差分での確認が誤りを拾えるかは、編集部では測っていません)。
GPU が無くても動きますか。
今回は GPU(NVIDIA H200)で LLM を実行して測ったため、GPU が無い環境での速さと精度は測っていません。GPU のメモリは、ローカル LLM の実測表(コンテキスト長4,096)で Gemma 4 12B が9.6GB、Gemma 4 26B が20.1GB、Qwen3 8B が6.2GB でした。専用モデルの KWJA は CPU で実行し、1,427文を234秒で処理しました(まとめて処理した全体の時間で、モデルの読み込みを含みます)。
textlint だけで足りますか。
誤字脱字の訂正としては、足りませんでした。textlint は文を直さないので、指摘の有無だけを数えました。誤字に関わる7つのルールで指摘があった文は、誤りのある文では自作の200文で18.0%、Wikipedia の604文で27.5%、誤りの無い文では自作の100文で1.0%、Wikipedia の523文で21.6%でした。指摘が誤りの箇所に当たっているかは測っていません。