英語の「cannibal（共食い）」を訳す時、Hunyuan-MT 7B と Qwen3.5 27B は「同类相食」と、中国語の簡体字「类」を混ぜて書きました（図1）。編集部では、無料で使える翻訳AI 16モデルと、Claude の3モデル、Gemini 3.8 Flash に、英語→日本語と日本語→英語をそれぞれ1,012文、2回ずつ訳させて測定しました。英語→日本語では、無料で使える Gemma 4 26B の点が Claude Sonnet 5.5 と同じ水準でした。
英語の「cannibal（共食い）」の訳に、Hunyuan-MT 7B と Qwen3.5 27B は中国語の簡体字を混ぜた
- 英語の原文
- We don't know for sure, but it may have had a forked tongue. Its diet included turtles, large fish, other mosasaurs, and it may even have been a cannibal.
- Hunyuan-MT 7B の訳（出力のまま）
- 確かなことはわかりませんが、そのモササウルスは分岐した舌を持っていた可能性があります。食性としてはカメや大型魚、他のモササウルス類が含まれ、さらには同类相食をしていた可能性もあります。
- Qwen3.5 27B の訳（出力のまま）
- 確実ではありませんが、分岐した舌を持っていた可能性があります。その食餌にはカメ、大型の魚、他のモササウルスが含まれ、さらに同类相食を行っていた可能性さえあります。
- Gemma 4 26B の訳（出力のまま）
- 確かなことは分かりませんが、その生物は二股の舌を持っていたかもしれません。その食性は、カメや大型の魚、他のモササウルス類を含んでおり、共食いさえしていた可能性があります。
- Claude Opus 5.5 の訳（出力のまま）
- 確かなことはわかっていないが、先が二股に分かれた舌を持っていた可能性がある。その食性にはカメ、大型の魚、ほかのモササウルス類が含まれ、共食いをしていた可能性さえある。
測定に使ったのは、翻訳の評価用に公開されている FLORES-200 です。英語の原文は Wikinews・Wikivoyage・Wikibooks の記事から取った文で、日本語の文は人が訳したものです。点は COMET で付けました。COMET は原文・訳文・人の訳を読み比べて点を付ける採点用の AI で、人が付けた点に近くなるように作られています。ここでは100点満点で示します。
測ったモデルは3種類です。翻訳専用モデルは翻訳の用途に絞って作られたモデルで、TranslateGemma や Hunyuan-MT など9モデルを測りました。汎用モデルは質問への回答や文章の作成もこなす言語モデルで、ローカルLLMの実測表で測ったものから7モデルを選びました。この16モデルは自社のパソコンやサーバーで動かせます（以下、ローカルで動くモデル）。Claude と Gemini 3.8 Flash は、提供元のクラウドの API を通して使いました（以下、クラウドのモデル）。
実測表：20モデルの COMET と、英語→日本語で訳に失敗した文の数
どの列も2回測った値を「1回目／2回目」の順で並べています。「失敗した文」の列は英語→日本語の1,012文のうち、訳文が出力されなかった文や中国語の字が混ざった文などを数えたものです（数え方は図5）。
| モデル （開発元） |
種類 | 英語→ 日本語 |
日本語→ 英語 |
失敗した文 （英→日） |
ライセンス |
|---|---|---|---|---|---|
| Claude Opus 5.5 （Anthropic） |
クラウドのモデル（Claude・Gemini） | 92.69／92.74 | 90.67／90.83 | 0／0文 | Anthropic の利用規約 |
| Gemini 3.8 Flash （Google） |
クラウドのモデル（Claude・Gemini） | 92.58／92.54 | 89.42／89.40 | 0／0文 | Google Cloud の利用規約 |
| Gemma 4 26B （Google） |
汎用モデル（ローカル） | 92.45／92.44 | 88.70／88.70 | 0／0文 | Apache-2.0 |
| Claude Sonnet 5.5 （Anthropic） |
クラウドのモデル（Claude・Gemini） | 92.43／92.45 | 89.63／89.64 | 0／0文 | Anthropic の利用規約 |
| Hunyuan-MT 7B （Tencent） |
翻訳専用モデル | 92.42／92.41 | 87.98／87.98 | 1／1文 | Tencent Hunyuan Community License |
| Gemma 4 12B （Google） |
汎用モデル（ローカル） | 92.36／92.31 | 88.52／88.50 | 0／0文 | Apache-2.0 |
| Seed-X-PPO 7B （ByteDance） |
翻訳専用モデル | 92.32／92.32 | 88.55／88.56 | 3／3文 | OpenMDW |
| Claude Haiku 5.5 （Anthropic） |
クラウドのモデル（Claude・Gemini） | 92.17／92.23 | 88.75／89.00 | 1／0文 | Anthropic の利用規約 |
| TranslateGemma 27B （Google） |
翻訳専用モデル | 92.13／92.13 | 88.40／88.40 | 0／0文 | Gemma Terms of Use |
| Qwen3.5 27B （Alibaba） |
汎用モデル（ローカル） | 92.05／92.05 | 88.54／88.54 | 3／3文 | Apache-2.0 |
| TranslateGemma 12B （Google） |
翻訳専用モデル | 91.88／91.89 | 87.98／87.98 | 0／0文 | Gemma Terms of Use |
| Qwen3.5 9B （Alibaba） |
汎用モデル（ローカル） | 91.64／91.62 | 88.04／88.06 | 5／6文 | Apache-2.0 |
| TranslateGemma 4B （Google） |
翻訳専用モデル | 91.27／91.24 | 87.29／87.27 | 1／2文 | Gemma Terms of Use |
| gpt-oss 20B （OpenAI） |
汎用モデル（ローカル） | 91.06／91.07 | 87.96／87.93 | 0／0文 | Apache-2.0 |
| Qwen3-Swallow 8B （東京科学大学など） |
汎用モデル（ローカル） | 90.28／90.23 | 87.31／87.16 | 15／16文 | Apache-2.0 |
| MADLAD-400 3B （Google） |
翻訳専用モデル | 89.24／89.24 | 87.61／87.61 | 2／2文 | Apache-2.0 |
| LLM-jp-4 8B （国立情報学研究所） |
汎用モデル（ローカル） | 87.92／87.88 | 87.47／87.51 | 57／59文 | Apache-2.0 |
| M2M100 1.2B （Meta） |
翻訳専用モデル | 87.60／87.60 | 85.44／85.44 | 3／3文 | MIT |
| NLLB-200 1.3B（蒸留版） （Meta） |
翻訳専用モデル | 86.45／86.45 | 87.03／87.03 | 4／4文 | CC BY-NC 4.0（商用不可） |
| OPUS-MT ja-en（日→英だけ） （Helsinki-NLP） |
翻訳専用モデル | — | 82.59／82.59 | — | Apache-2.0 |
- 2026年11月9日に測定しました。ローカルで動く16モデルは、データセンター向けの GPU（NVIDIA H200）1基で動かしました。Claude は Anthropic のクラウドで、Gemini 3.8 Flash は Google のクラウドで動かしています。Gemini 3.8 Flash だけは、この記事を公開した後（同じ日）に測定し、表に追加しました。
- クラウドのモデルには40文をまとめて訳させ、ほかのモデルには1文ずつ訳させました（理由と影響は「測定の条件」と「この表で分からないこと」）。
- ライセンスの列は、ローカルで動くモデルは各配布ページの表示、クラウドのモデルは提供元の利用規約です（2026年11月9日に確認）。Hunyuan-MT 7B のライセンスは、EU・英国・韓国を利用できる地域から除いています。NLLB-200 は商用で使えません。商用利用の可否は各ライセンスの全文で確認してください。
英語→日本語：無料で使える Gemma 4 26B は、Claude Sonnet 5.5 と同じ水準だった
英語→日本語の COMET が最も高かったのは Claude Opus 5.5（92.7）。Gemini 3.8 Flash との差は2回のうち1回は誤差の範囲。ローカルで動くモデルでは Gemma 4 26B（92.5）で、Hunyuan-MT 7B・Seed-X-PPO 7B との差は2回とも誤差の範囲
- 翻訳専用モデル
- 汎用モデル（ローカル）
- クラウドのモデル（Claude・Gemini）
点が最も高かったのは Claude Opus 5.5（92.69／92.74）でしたが、1回目は Gemini 3.8 Flash との差が誤差の範囲でした。1回目の値で比べると、ローカルで動くモデルで最も高い Gemma 4 26B との差は0.24点でした。文の選び方を変えて計算し直しても、差は0.13〜0.36点の範囲に収まります（95%信頼区間）。この範囲が0をまたがないので、差は小さいものの誤差を超えています。2回目でも同じ結果でした。
Gemini 3.8 Flash（92.58／92.54）の点は Claude Opus 5.5 と Gemma 4 26B の間でしたが、順位は付けていません。Claude Opus 5.5 との差（1回目0.11点・2回目0.19点）は2回目だけ、Gemma 4 26B との差（0.14点・0.10点）と Claude Sonnet 5.5 との差（0.15点・0.10点）は1回目だけ、誤差を超えたためです。
Claude Sonnet 5.5 は Gemma 4 26B より1回目で0.02点低く、95%信頼区間は−0.12〜+0.10点です。0をまたぐので、どちらが上とも言えません。2回目も差は誤差の範囲でした。ローカルで動くモデルの中で点が最も高かったのは Gemma 4 26B ですが、Hunyuan-MT 7B（1回目の差0.03点）と Seed-X-PPO 7B（0.13点）との差は、2回の測定のどちらでも誤差の範囲でした。Gemma 4 12B との差は、1回目は0.09点で誤差の範囲、2回目は0.13点（95%信頼区間 0.02〜0.24点）で誤差を超えています。92点以上の10モデル（クラウドのモデル4つを含む）では、最も高いモデルと最も低いモデルの差が、1回目0.64点・2回目0.69点しかありません。
Google の翻訳専用モデル TranslateGemma の 27B（92.13）は、同じ Google の汎用モデル Gemma 4 26B より0.32点低く出ました（95%信頼区間 0.18〜0.45点）。日本語→英語でも0.29点低くなりました。どちらも2回目で同じ向きです。TranslateGemma は1つ前の世代の Gemma 3 をもとに作られています（Ollama の配布ページ）。
日本語→英語：Claude Opus 5.5 が最も高かったが、正解の英文を覚えていた可能性がある
日本語→英語の COMET が最も高かったのは Claude Opus 5.5（90.7）。ローカルで動くモデルでは Gemma 4 26B（88.7）
- 翻訳専用モデル
- 汎用モデル（ローカル）
- クラウドのモデル（Claude・Gemini）
日本語→英語では、Claude Opus 5.5（90.67／90.83）と Claude Sonnet 5.5（89.63／89.64）が、ローカルで動くモデルで最も高い Gemma 4 26B（88.70／88.70）を上回りました。1回目の差は、Claude Opus 5.5 が1.97点（95%信頼区間 1.80〜2.14点）、Claude Sonnet 5.5 が0.93点（0.80〜1.06点）で、2回目も同じ向きです。Claude Haiku 5.5 と Gemma 4 26B の差は、1回目は0.06点で誤差の範囲、2回目は0.30点でした。2回の結果がそろわないため、この2モデルには順位を付けていません。
Gemini 3.8 Flash（89.42／89.40）は1回目の差で、Claude Opus 5.5 より1.25点、Claude Sonnet 5.5 より0.21点低く、Gemma 4 26B より0.72点高い結果でした。3つの差は2回目も同じ向きです。
ただし、日本語→英語の正解の英文は FLORES-200 の元になった英語の記事の文そのものです。記事はウェブで公開されているため、学習データにその記事が入っていたモデルは、正解の英文に近い文を返せます。そこで、正解とほぼ同じ英文（文字の並びが9割以上一致した文）を返した数を数えました。
日本語→英語で、正解の英文とほぼ同じ文を返したのは Claude Opus 5.5 が1,012文中230文。ローカルで動くモデルは14〜52文
- 翻訳専用モデル
- 汎用モデル（ローカル）
- クラウドのモデル（Claude・Gemini）
Claude Opus 5.5 は1,012文のうち230文で、正解とほぼ同じ英文を返しました。Claude Sonnet 5.5 は101文、Gemini 3.8 Flash は74文、ローカルで動くモデルは14〜52文です。次の文では、Claude Opus 5.5 の訳は正解と1字も違いません。
- 日本語の原文
- 突然変異で新しい遺伝的変異が加わり、淘汰によってそれが発現された変異のプールから取り除かれます。
- 正解（元の英語の記事の文）
- Mutation adds new genetic variation, and selection removes it from the pool of expressed variation.
- Claude Opus 5.5 の訳（出力のまま）
- Mutation adds new genetic variation, and selection removes it from the pool of expressed variation.
- Gemma 4 26B の訳（出力のまま）
- New genetic variations are added through mutation, and those expressed are removed from the gene pool through selection.
正解とほぼ同じ文を返したからといって、記事を覚えていたとは限りません。日本語の文は英語の記事を訳したものなので、訳し戻しが上手なモデルほど、元の英文に近づくこともあります（推定）。正解への近さ（一致度）が Claude Opus 5.5 と Gemma 4 26B で最も違った6文を読んだところ、日本語の文に無い情報が Claude Opus 5.5 の訳に入った例はなく、記事を覚えていた証拠は見つかりませんでした。
英語→日本語の正解は FLORES-200 のために人が訳した日本語で、元の記事にはありません。こちらで Claude Opus 5.5 が正解とほぼ同じ文を返したのは22文で、ほかのモデル（1〜63文）と同程度でした。日本語→英語のクラウドのモデルの点には、元の記事を覚えていた分が入っているおそれがあります（推定）。覚えていたかどうかは確かめられていないため、この向きのクラウドのモデルの点は割り引いて見てください。
英語→日本語で訳に失敗した文は、LLM-jp-4 8B が最も多かった
英語→日本語で訳に失敗した文（訳文が出力されない・日本語になっていない・中国語の字が混ざったなど）は、LLM-jp-4 8B が1回目57文・2回目59文で最も多かった
- 翻訳専用モデル
- 汎用モデル（ローカル）
- クラウドのモデル（Claude・Gemini）
LLM-jp-4 8B は1回目に57文で失敗し、うち41文は訳文が出力されませんでした。Qwen3-Swallow 8B の失敗（1回目15文）は、すべて訳文が出力されなかった文です。この2モデルと gpt-oss 20B は、ほかのモデルと違う設定で動かしました（「測定の条件」）。同じく違う設定の gpt-oss 20B は、失敗した文が0文でした。訳文が出力されなかった原因は切り分けていません。
中国語の簡体字が混ざった文は、Qwen3.5 9B が1回目5文・2回目6文で最も多く、次いで Seed-X-PPO 7B と NLLB-200 1.3B（蒸留版）が2回とも3文でした。
- 英語の原文
- Perry stated that he would "return to Texas to assess the results of tonight's caucus, determine whether there is a path forward for myself in this race", but later said that he would remain in the race and compete in the January 21 South Carolina primary.
- Qwen3.5 9B の訳（出力のまま）
- ペリーは「今夜の予備選挙の結果をテキサス州に戻って評価し、このレースにおいて自分自身に前進する道があるかどうかを判断する」と述べたが、後にこのレースに残り、1 月 21 日の南卡罗ライナ州初選に出馬すると表明した。
- 英語の原文
- The forests aren't just mangrove swamps though — they include some of the last remaining stands of the mighty jungles which once covered the Gangetic plain.
- Seed-X-PPO 7B の訳（出力のまま）
- しかし、これらの森林はただのマングローブ沼泽ではなく、かつてガンジス平原を覆っていた壮大なジャングルの最後の遺跡の一部も含んでいます。
Claude Opus 5.5・Claude Sonnet 5.5・Gemini 3.8 Flash・Gemma 4 26B・Gemma 4 12B・TranslateGemma 12B・TranslateGemma 27B・gpt-oss 20B の8モデルは、1回目・2回目のどちらでも、失敗した文が1文もありませんでした。英語→日本語の上位は点の差が小さいため、社外に出す文書を訳させるモデルを選ぶ時は、点と合わせて失敗した文の数も比べてください。
測定の条件
測定の条件の詳細を開く
評価データ：FLORES-200 の devtest（1,012文、CC BY-SA 4.0）です。後継の FLORES+ はログインが必要なため、ログインせずに取得できる2022年7月14日公開の配布データを使いました。英語の原文の内訳は Wikibooks 351文、Wikinews 341文、Wikivoyage 320文です（配布データのメタデータで確認）。図1と本文で引いた原文と正解は FLORES-200 の文、訳は各モデルの1回目の出力のままです。
採点：COMET は Unbabel/wmt22-comet-da（unbabel-comet 2.2.7）です。95%信頼区間は1,012文から重複を許して1,012文を選ぶ作業を1,000回繰り返し（ブートストラップ法、シード値20261109）、平均点と2モデルの差を計算し直して求めました。1回目と2回目の出力のそれぞれで計算し、本文では2回の結果がそろった物だけを差として書いています。chrF（文字の並びの一致度）と BLEU（語の並びの一致度。日本語は MeCab で単語に区切る）は sacrebleu 2.6.0 で計算しました。どちらも正解の文との重なりを数える採点なので、正しく言い換えた訳でも点が下がります。
| モデル | chrF 英→日 | BLEU 英→日 | chrF 日→英 | BLEU 日→英 |
|---|---|---|---|---|
| Claude Opus 5.5 | 44.79／44.53 | 37.24／36.92 | 71.11／71.79 | 47.12／47.92 |
| Gemini 3.8 Flash | 45.69／45.70 | 38.04／37.97 | 62.49／62.52 | 33.70／33.51 |
| Gemma 4 26B | 44.37／44.37 | 35.76／35.75 | 59.43／59.45 | 28.05／28.13 |
| Claude Sonnet 5.5 | 42.81／43.11 | 34.94／35.26 | 64.24／64.26 | 36.01／36.06 |
| Hunyuan-MT 7B | 42.55／42.55 | 32.64／32.65 | 56.87／56.86 | 22.88／22.86 |
| Gemma 4 12B | 44.39／44.37 | 36.19／36.21 | 58.97／58.92 | 27.39／27.31 |
| Seed-X-PPO 7B | 49.46／49.45 | 42.83／42.82 | 59.27／59.28 | 27.55／27.56 |
| Claude Haiku 5.5 | 42.12／42.34 | 34.11／34.34 | 60.23／60.47 | 30.02／29.79 |
| TranslateGemma 27B | 39.80／39.83 | 29.82／29.84 | 57.92／57.94 | 24.97／25.00 |
| Qwen3.5 27B | 41.44／41.27 | 34.13／33.86 | 58.03／58.02 | 26.93／26.86 |
| TranslateGemma 12B | 39.66／39.54 | 29.01／28.87 | 56.63／56.68 | 23.08／23.22 |
| Qwen3.5 9B | 39.51／39.53 | 32.29／32.30 | 56.72／56.74 | 25.31／25.31 |
| TranslateGemma 4B | 37.52／37.60 | 28.78／28.88 | 53.86／53.84 | 21.18／21.14 |
| gpt-oss 20B | 41.25／41.28 | 33.91／33.94 | 56.36／56.34 | 24.63／24.63 |
| Qwen3-Swallow 8B | 39.47／39.51 | 31.58／31.78 | 56.39／56.19 | 24.22／24.28 |
| MADLAD-400 3B | 33.83／33.83 | 24.62／24.62 | 56.62／56.62 | 26.97／26.97 |
| LLM-jp-4 8B | 37.62／37.57 | 30.54／30.54 | 56.06／56.09 | 23.96／23.97 |
| M2M100 1.2B | 35.18／35.18 | 27.50／27.50 | 53.25／53.25 | 23.14／23.14 |
| NLLB-200 1.3B（蒸留版） | 30.21／30.21 | 19.92／19.92 | 55.90／55.90 | 27.07／27.07 |
| OPUS-MT ja-en（日→英だけ） | — | — | 48.98／48.98 | 19.30／19.30 |
失敗の数え方：次のどれかに当たった文を1文と数えました。1つの文が2つに当たっても1文です。
- 訳文が出力されなかった
- 英語→日本語で、ひらがな・カタカナ・漢字の数が、それとアルファベットを合わせた数の3割未満（日本語になっていない）
- 英語→日本語で、中国語の簡体字（日本語の文字コード Shift_JIS に無く、中国語の文字コード GB2312 にある字）かハングルが入った
- 日本語→英語で、訳文に日本語の文字が残った
- 原文をそのまま返した
- 正解の文の3倍を超える長さ
「以下が翻訳です」のような前置きや「Note:」で始まる注釈も数える設定でしたが、該当はありませんでした。翻訳専用モデル9つの失敗は訳文を読んで確かめ、誤検出はありませんでした。
正解とほぼ同じ文：文字の表記をそろえ（Unicode の NFKC 正規化）、英語は小文字にし、空白をそろえてから、Python の difflib で文字の並びの一致度を計算しました。一致度が0.9以上の文を、完全に一致した文と合わせて数えています（1回目の出力）。
プロンプト（指示文）：汎用モデルには「次の英語の文を日本語に翻訳してください。訳文だけを出力してください。」に続けて原文を送りました。日本語→英語は「Translate the following Japanese text into English. Output only the translation.」です。TranslateGemma、Hunyuan-MT 7B、Seed-X-PPO 7B には、各配布ページが示すプロンプトの形式を使いました。MADLAD-400・M2M100・NLLB-200 には、訳す先の言語を記号で指定する専用の入力形式で原文を渡しました。OPUS-MT ja-en は日本語→英語だけの専用モデルで、原文だけを渡しています。
生成の設定：温度0（毎回、出る確率が最も高い語を選ぶ設定）、シード値42です。Ollama 0.40.15 で動かした10モデル（TranslateGemma 3つ、Qwen3.5 2つ、Gemma 4 2つ、gpt-oss 20B、LLM-jp-4 8B、Qwen3-Swallow 8B）は、8文ずつ同時に処理しました。量子化（モデルを小さくするために数値の精度を落とす方式）は、gpt-oss 20B が MXFP4、ほかの9モデルが Q4_K_M です。思考モードを持つモデルは思考をオフにし、コンテキスト長を4,096トークン、出力の上限を1,024トークンにしました。
次の3モデルはローカルLLMの実測表と同じ扱いにしました。gpt-oss 20B は思考の量を最小（low）にし、Qwen3-Swallow 8B は思考をオンにし、LLM-jp-4 8B はモデル本来の会話の書式でプロンプトを送りました。この3モデルは、最初の設定（思考オフ、出力の上限1,024トークン）では訳文が出力されなかったり、モデルの思考の過程が訳文に混ざったりしたため、コンテキスト長8,192トークン、出力の上限4,096トークンで測り直しています。
Hunyuan-MT 7B と Seed-X-PPO 7B は vLLM 0.32.0 で動かしました。MADLAD-400・M2M100・NLLB-200・OPUS-MT の4モデルは、vLLM 0.32.0 の Docker イメージに入っている transformers で動かしています。M2M100 と OPUS-MT は配布元の設定のとおり、複数の候補から訳を選ぶ方式（ビームサーチ）で訳しました。
Claude：Claude Code 2.1.319 の claude -p から、Claude Opus 5.5・Claude Sonnet 5.5・Claude Haiku 5.5 を呼びました。Claude Code の設定ファイル・メモリ機能・ツール連携は無効にし、指示は翻訳の依頼だけにしています。1文ずつでは呼び出しが1モデルあたり4,000回を超えるため、40文を1回にまとめて訳させました。同じ記事の前後の文が手がかりにならないよう、文の順番は並べ替えています（シード値20261109）。答えに抜けた文や訳文の無い文があれば、その文だけをもう1回頼みました。Claude Haiku 5.5 の日本語→英語の1回目では、頼み直した後も3文が出力されないまま残り、失敗として数えています。温度は claude -p からは設定できないため、2回の差はモデルの出力そのもののばらつきです。
Gemini：Google Cloud の Vertex AI（global のエンドポイント）の generateContent から、gemini-3.8-flash を呼びました（2026年11月9日）。40文を1回にまとめること、文の並べ替え（シード値20261109）、指示文、抜けた文の頼み直しは Claude と同じです。答えは JSON の形式で返させ、出力の上限は16,384トークンにしました。温度と思考の量は指定せず、既定のままにしています。104回の呼び出し（2つの向き × 2回の測定 × 26回）のどの応答にも、思考に使ったトークンの数は出ていません。API が返すモデルの名前は gemini-3.8-flash だけで、日付の付いた名前は返ってきません。抜けた文と訳文の無い文は、2回とも0文でした。
モデルのバージョン：Ollama のモデルは測定に使ったサーバーで ollama list を実行すると表示される ID（2026年11月9日）で特定できます。translategemma の 4b c49d986b0764・12b c2f9a9ca1ec7・27b 21b597a243ec、qwen3.5 の 9b 56671c2ab938・27b 64ae5b1d651f、gemma4 の 12b 6114515d63c1・26b 001e5dafc3c7、gpt-oss:20b f38aa0c53da5、mmnga-o の llm-jp-4-8b-instruct-gguf:Q4_K_M 66c13546c97e、Qwen3-Swallow-8B-RL-v0.2-gguf:Q4_K_M 18b49f298096 です。Hugging Face から取得した2つ（LLM-jp-4 8B と Qwen3-Swallow 8B）は、配布側の更新で ID が変わることがあります。Hugging Face のモデルのバージョン（配布ページの commit の番号）は、tencent/Hunyuan-MT-7B 9305c78、ByteDance-Seed/Seed-X-PPO-7B 6ef78fc、google/madlad400-3b-mt fa184c6、facebook/m2m100_1.2B 7b36184、facebook/nllb-200-distilled-1.3B 7be3e24、Helsinki-NLP/opus-mt-ja-en 0770961 です。
実行環境：ローカルで動く16モデルは NVIDIA H200 1基、Claude は Anthropic のクラウド、Gemini 3.8 Flash は Google のクラウドです（2026年11月9日）。
この表で分からないこと
- DeepL と Google 翻訳との比較。DeepL は利用に API キーが必要なため、測定していません。Google 翻訳（Cloud Translation API）は、今回の測定の対象に入れていません。Gemini 3.8 Flash は Google の言語モデルで、Google 翻訳の点ではありません。
- クラウドのモデルは、提供元の更新で同じ名前のまま中身が変わることがあります。この表は2026年11月9日に測った時点の点です。
- PLaMo 3 翻訳（Preferred Networks）の精度。動かすには配布元が用意したプログラムを実行する必要があり、今回の測定では外部から取得したプログラムを実行しない方針にしたため、測っていません。
- 前後の文を手がかりにした時の精度。クラウドのモデル以外は1文ずつ、クラウドのモデルは順番を並べ替えた40文ずつ訳させたため、どのモデルも前後の文を手がかりにできていません。
- 40文をまとめて訳させたことで、クラウドのモデルの点がどれだけ変わったか。1文ずつ訳させた点は測っていません。
- Gemini 3.8 Flash 以外の Gemini のモデルの精度。
- 日本語→英語のクラウドのモデルの点のうち、元の記事を覚えていたことによる分。正解とほぼ同じ文の数から推定しただけで、切り分けていません。FLORES-200 そのものもウェブで公開されているため、英語→日本語の正解を覚えていたモデルがあるかも確かめていません。
- 契約書・医療・ゲームの台詞などの専門分野や、会話の文の精度。FLORES-200 の文はニュース・旅行案内・教科書風の解説です。
- COMET の0.3点ほどの差が、人が訳文を読み比べて分かる差かどうか。編集部が訳文を読み比べたのは、図1と本文で引いた文、正解とほぼ同じだった6文、翻訳専用モデルの失敗した文だけです。
- 失敗の判定が正しいかどうか。Claude Haiku 5.5 の1文は人名をローマ字のまま残した訳で、日本語の文字が少ないため失敗に数えましたが、誤りとは言い切れません。
- 速さと GPU のメモリの使用量。今回は測っていません。汎用モデルの GPU のメモリはローカルLLMの実測表にあります。
- 量子化の種類を変えた時の精度。Ollama が既定で配る量子化だけを測りました。
この表は毎月再測定し、新しいモデルが出たら同じ文で追加します。無料の文字起こしモデルの精度は文字起こしの実測表に、文書の読み取りの精度はOCRの実測表にまとめました。
よくある質問
無料で使える翻訳AIで、英語から日本語への精度が高いのはどれですか。
編集部が測定した、自社のパソコンやサーバーで動かせる16モデル（2026年11月）では、COMET（訳文に点を付ける採点用の AI）の点が最も高かったのは Gemma 4 26B（1回目92.45・2回目92.44）でした。Hunyuan-MT 7B と Seed-X-PPO 7B との差は、2回の測定のどちらでも誤差の範囲です。Gemma 4 26B は、Claude Sonnet 5.5（1回目92.43・2回目92.45）とも差がありませんでした。ライセンスはモデルごとに違います。
TranslateGemma の翻訳の精度はどのくらいですか。
英語→日本語の COMET は、27B が92.13（2回とも）、12B が1回目91.88・2回目91.89、4B が1回目91.27・2回目91.24でした。27B は、同じ Google の汎用モデル Gemma 4 26B より0.32点低く出ました。12B と 27B は、英語→日本語で訳に失敗した文（訳文が出力されなかった文や中国語の字が混ざった文など）が、2回の測定のどちらでも1文もありませんでした。
Claude の翻訳は、無料のモデルより精度が高いですか。
英語→日本語では Claude Opus 5.5 の点が最も高く（1回目92.69・2回目92.74）、ローカルで動くモデルで最も高い Gemma 4 26B との差は1回目0.24点で、2回とも誤差を超えました。ただし1回目は、Gemini 3.8 Flash との差が誤差の範囲でした。Claude Sonnet 5.5 は Gemma 4 26B と差がありませんでした。日本語→英語では Claude Opus 5.5 と Claude Sonnet 5.5 が Gemma 4 26B を上回りました。ただし正解の英文はウェブで公開されている記事の文なので、モデルが学習の時に読んで覚えていたおそれがあります。Claude Opus 5.5 は1,012文のうち230文で正解とほぼ同じ英文を返しており、この向きの点は割り引いて見る必要があります（推定）。
Gemini 3.8 Flash の翻訳の精度はどのくらいですか。
Gemini 3.8 Flash の COMET は、英語→日本語が1回目92.58・2回目92.54で、Claude Opus 5.5 とローカルで最も高い Gemma 4 26B の間でした。どちらとの差も2回のうち1回だけ誤差を超えたため、順位は付けていません。日本語→英語は1回目89.42・2回目89.40で、Claude Opus 5.5 と Claude Sonnet 5.5 より低く、Gemma 4 26B より高い結果でした（2回とも同じ向き）。ただし日本語→英語では、1,012文のうち74文で正解とほぼ同じ英文を返しており、Claude と同じく元の記事を覚えていた分が点に入っているおそれがあります（推定）。英語→日本語で訳に失敗した文は、2回とも0文でした。
DeepL や Google 翻訳と比べてどうですか。
DeepL は利用に API キーが必要なため、今回は測定していません。Google 翻訳（Cloud Translation API）も、今回は測定の対象に入れていません。この実測表の点は、DeepL や Google 翻訳の点とは比べられません。