瓦屋根と、江戸時代の浮世絵の線画を、4分の1に縮めてから4倍に拡大し直しました。この1組の例では、従来の拡大(bicubic)はぼけ、Real-ESRGAN x4plus では瓦の列が濃い縞になりました。4xRealWebPhoto v4 と HAT x4 は、元の画像の瓦の並びに近い結果でした。差が出やすい区画を選んだ例です。全体の傾向は、この後の図と表で示します。
この1組では、4分の1に縮めた瓦屋根と線画を従来の拡大(bicubic)で戻すとぼけ、Real-ESRGAN x4plus と realesr-general-x4v3 では瓦の列が濃い縞になった
写真(瓦屋根)

元の画像縮める前

従来の拡大(bicubic)ぼけた

HAT x4数値の近さが最良

4xRealWebPhoto v4見た目の近さが最良

Real-ESRGAN x4plusReal-ESRGAN の標準モデル

realesr-general-x4v3測ったモデルで最速
浮世絵(線画)

元の画像縮める前

従来の拡大(bicubic)ぼけた

HAT x4数値の近さが最良

4xRealWebPhoto v4見た目の近さが最良

Real-ESRGAN x4plusReal-ESRGAN の標準モデル

realesr-general-x4v3測ったモデルで最速
編集部では、無料で使える高画質化(アップスケール)のモデル14個で、元の画像が分かっている写真190枚と浮世絵140枚を4倍に拡大し、元の画像との近さを測りました。比べた従来の拡大は bicubic と Lanczos の2種類で、以下、単に「従来の拡大」と書く時は bicubic を指します。画像は、4分の1に縮めただけの物と、縮めてから JPEG で荒らした物の2通りです。文字を描いた画像50枚は、拡大した後に文字認識で読み取れるかも測りました。
モデルは学習の条件で2つの群に分けます。「縮小だけを想定したモデル」は、HAT x4・DAT x4・SwinIR 古典 x4 の3つです。配布元の学習の設定ファイルでは、bicubic で縮めた画像(DF2K)と元の画像の対で学習します。「荒れた画像も想定したモデル」は、ぼけ・ノイズ・圧縮などの劣化を加えて学習した、残りの11個です。このうち Real-ESRGAN x4plus anime 6B と 4xHFA2k は、配布元の説明がアニメ調の絵向けです。各モデルの学習の条件は、測定の条件の表に配布元の記載のとおり載せました。
元の画像との近さは2通りで測りました。「数値の近さ」は画素の値の差の小ささ(PSNR。大きいほど近い)、「見た目の近さ」は人の見え方に近いとされる計算上の指標(LPIPS。小さいほど近い)です。2つのモデルの差は、画像ごとにどちらが近かったかを数えて判定し、偶然でも出る程度の差を「差があるとは言えない」と書きます。
数値の近さと見た目の近さで、最良のモデルは別でした。
- 縮めただけの画像の数値の近さ:縮小だけを想定した3つは、写真190枚の全部と浮世絵140枚の全部で、従来の拡大より近くなりました。荒れた画像も想定した11個は、写真の9個と浮世絵の4個が従来の拡大より遠くなりました(写真の2個と浮世絵の5個は差があるとは言えず、浮世絵の2個は近くなりました)。
- 縮めただけの画像の見た目の近さ:14個すべてが従来の拡大より近くなり、最良は 4xRealWebPhoto v4 でした。
- JPEG で荒れた画像:数値の近さは、14個すべてが従来の拡大より遠くなりました。見た目の近さは、写真で従来の拡大の0.645に対し、縮小だけを想定した3つが0.550〜0.564、荒れた画像も想定した11個が0.28〜0.40でした。
数値の近さの最良は HAT x4、見た目の近さの最良は 4xRealWebPhoto v4(縮めただけの画像)
写真では、元との数値の近さが最良の HAT x4 と、見た目の近さが最良の 4xRealWebPhoto v4 は別のモデルだった
- 縮小だけを想定したモデル(HAT x4・DAT x4・SwinIR 古典 x4)
- 荒れた画像も想定したモデル(残りの11個)
浮世絵でも、元との数値の近さが最良の HAT x4 と、見た目の近さが最良の 4xRealWebPhoto v4 は別のモデルだった
- 縮小だけを想定したモデル(HAT x4・DAT x4・SwinIR 古典 x4)
- 荒れた画像も想定したモデル(残りの11個)
縮小だけを想定した3つは、数値の平均が写真で26.5 dB から28.5〜28.7 dB、浮世絵で26.5 dB から29.5〜29.8 dB に上がりました。
荒れた画像も想定した11個の数値は、モデルで分かれました。Real-ESRGAN x4plus は、写真で従来の拡大より0.97 dB 低く、従来の拡大のほうが数値で近かった画像が190枚中169枚、x4plus のほうが近かった画像が21枚でした。見た目の近さは、0.444から0.231に良くなりました。くっきりさせる代わりに、元の画像に無い模様を足している可能性があります(推定。足した模様の量は測っていません)。4xRealWebPhoto v4 と 4xHFA2k は、写真では従来の拡大と差があるとは言えず、浮世絵では従来の拡大より近くなりました(4xRealWebPhoto v4 は0.66 dB)。
見た目の近さが最良の 4xRealWebPhoto v4 は、写真で0.145、浮世絵で0.131でした。次点の 4xLSDIRplusC より近かった画像は、写真で190枚中175枚、浮世絵で140枚中140枚あり、差があります。
実測表:写真と浮世絵のモデルごとの値
写真の実測表:縮めただけの画像と JPEG で荒れた画像で、最良のモデルが入れ替わった
| モデル | 縮めただけの画像 | JPEG で荒れた画像 | ||
|---|---|---|---|---|
| 数値の近さ(PSNR、dB) | 見た目の近さ(LPIPS) | 数値の近さ(PSNR、dB) | 見た目の近さ(LPIPS) | |
| 従来の拡大(bicubic と Lanczos) | ||||
| 従来の拡大(bicubic) | 26.51 | 0.444 | 25.38 | 0.645 |
| 従来の拡大(Lanczos) | 26.67 | 0.450 | 25.39 | 0.649 |
| 縮小だけを想定したモデル | ||||
| HAT x4 | 28.65 | 0.274 | 25.08 | 0.550 |
| DAT x4 | 28.57 | 0.277 | 25.04 | 0.552 |
| SwinIR 古典 x4 | 28.47 | 0.278 | 25.10 | 0.564 |
| 荒れた画像も想定したモデル | ||||
| Real-ESRGAN x4plus | 25.55 | 0.231 | 24.21 | 0.297 |
| Real-ESRGAN x4plus anime 6B | 24.88 | 0.317 | 23.96 | 0.374 |
| realesr-general-x4v3 | 25.78 | 0.329 | 24.23 | 0.399 |
| BSRGAN | 26.10 | 0.241 | 24.97 | 0.301 |
| SwinIR-M 実写 | 25.68 | 0.223 | 24.22 | 0.296 |
| SwinIR-L 実写 | 25.89 | 0.212 | 24.39 | 0.281 |
| Real-HAT-GAN | 26.00 | 0.236 | 24.82 | 0.308 |
| Real-HAT-GAN sharper | 25.93 | 0.222 | 24.59 | 0.292 |
| 4xRealWebPhoto v4 | 26.60 | 0.145 | 24.61 | 0.288 |
| 4xLSDIRplusC | 25.51 | 0.180 | 23.93 | 0.287 |
| 4xHFA2k | 26.52 | 0.290 | 24.94 | 0.359 |
浮世絵の実測表:写真と同じく、数値の近さと見た目の近さで最良のモデルが分かれた
| モデル | 縮めただけの画像 | JPEG で荒れた画像 | ||
|---|---|---|---|---|
| 数値の近さ(PSNR、dB) | 見た目の近さ(LPIPS) | 数値の近さ(PSNR、dB) | 見た目の近さ(LPIPS) | |
| 従来の拡大(bicubic と Lanczos) | ||||
| 従来の拡大(bicubic) | 26.52 | 0.519 | 25.40 | 0.724 |
| 従来の拡大(Lanczos) | 26.67 | 0.525 | 25.42 | 0.727 |
| 縮小だけを想定したモデル | ||||
| HAT x4 | 29.80 | 0.317 | 25.18 | 0.620 |
| DAT x4 | 29.68 | 0.321 | 25.13 | 0.618 |
| SwinIR 古典 x4 | 29.50 | 0.324 | 25.20 | 0.632 |
| 荒れた画像も想定したモデル | ||||
| Real-ESRGAN x4plus | 25.81 | 0.293 | 24.49 | 0.368 |
| Real-ESRGAN x4plus anime 6B | 24.60 | 0.374 | 23.66 | 0.432 |
| realesr-general-x4v3 | 25.84 | 0.379 | 24.16 | 0.454 |
| BSRGAN | 26.64 | 0.294 | 25.30 | 0.374 |
| SwinIR-M 実写 | 26.33 | 0.280 | 24.66 | 0.369 |
| SwinIR-L 実写 | 26.58 | 0.250 | 24.93 | 0.347 |
| Real-HAT-GAN | 26.49 | 0.284 | 25.14 | 0.373 |
| Real-HAT-GAN sharper | 26.28 | 0.276 | 24.94 | 0.369 |
| 4xRealWebPhoto v4 | 27.18 | 0.131 | 24.87 | 0.334 |
| 4xLSDIRplusC | 25.95 | 0.201 | 24.16 | 0.356 |
| 4xHFA2k | 27.10 | 0.309 | 25.26 | 0.385 |
数値の近さと見た目の近さでは、4つの条件すべてで最良のモデルが別だった
| 画像と条件 | 数値の近さが最良 | 見た目の近さが最良 |
|---|---|---|
| 写真・縮めただけの画像 | HAT x4 | 4xRealWebPhoto v4 |
| 写真・JPEG で荒れた画像 | 従来の拡大のほうが近い。AI の14個の中ではSwinIR 古典 x4 | SwinIR-L 実写 |
| 浮世絵・縮めただけの画像 | HAT x4 | 4xRealWebPhoto v4 |
| 浮世絵・JPEG で荒れた画像 | 従来の拡大のほうが近い。AI の14個の中ではBSRGAN (4xHFA2kと差があるとは言えない) | 4xRealWebPhoto v4 |
JPEG で荒れた画像では、縮小だけを想定した3つは見た目の改善が小さかった
JPEG で荒れた写真では、縮小だけを想定したモデルも荒れた画像も想定したモデルも、従来の拡大より元との数値の近さが下がった
- 縮小だけを想定したモデル(HAT x4・DAT x4・SwinIR 古典 x4)
- 荒れた画像も想定したモデル(残りの11個)
- 濃い色:縮めただけの画像
- 薄い色:JPEG で荒れた画像
数値の近さは、写真では14個すべてが従来の拡大を下回りました(−0.27〜−1.45 dB)。縮めただけの画像で数値の近さが上位3つだった、縮小だけを想定した3つも、従来の拡大より数値で近い画像は190枚中2〜5枚でした。
JPEG で荒れた写真の見た目の近さは、荒れた画像も想定したモデル11個が0.28〜0.40に良くなり、縮小だけを想定したモデル3つは0.55〜0.56にとどまった
- 荒れた画像も想定したモデル、または従来の拡大
- 縮小だけを想定したモデル
- 濃い色:縮めただけの画像
- 薄い色:JPEG で荒れた画像
見た目の近さは、従来の拡大の0.645に対し、縮小だけを想定した3つが0.550〜0.564、荒れた画像も想定した11個が0.28〜0.40でした。従来の拡大より近かった画像は、縮小だけを想定した3つで写真190枚中184〜185枚、荒れた画像も想定した11個で190枚中190枚でした。浮世絵では、従来の拡大の0.724に対し、縮小だけを想定した3つが0.618〜0.632、荒れた画像も想定した11個が0.33〜0.45で、どちらの群も140枚すべてで従来の拡大より近くなりました。縮小だけを想定した3つも近づきましたが、近づく幅は荒れた画像も想定した11個より小さい結果です。
JPEG で荒れた1枚の例では、HAT x4 の出力にブロック状の荒れが残り、SwinIR-L 実写は荒れが消えた一方で瓦の列が縞になった

元の画像縮める前

従来の拡大(bicubic)ブロック状の荒れが残った

HAT x4ブロック状の荒れが残った

SwinIR-L 実写荒れは消えたが瓦が太い縞
上の1枚の例では、HAT x4 の出力にブロック状の荒れが残り、SwinIR-L 実写は荒れが消えた一方で瓦の列が縞になりました。この例は全体の傾向を示すものではなく、瓦の列が元と変わった割合は測っていません。
JPEG で荒れた写真の見た目の近さは、SwinIR-L 実写(0.281)が平均で最良でした。次点の 4xLSDIRplusC(0.287)より近かった画像は112枚、遠かった画像は78枚で、差がありますが、境界に近い結果です。写真・浮世絵、2つの条件、2つの指標の8つの組み合わせの104回の比較をまとめて補正しても p は0.049で、差はあるものの0.05のすぐ手前です。浮世絵では 4xRealWebPhoto v4(0.334)が、次点の SwinIR-L 実写(0.347)より近かった画像が140枚中95枚で、差があります。
文字:JPEG で荒れた文字の読み取りの誤りを100字あたり2.7〜7.7字まで減らしたのは、荒れた画像も想定した11個だった
文字の誤りは、縮めただけの画像では HAT x4 など 3 つが少なく、JPEG で荒れた画像では荒れた画像も想定したモデル11個が100字あたり2.7〜7.7字まで減った(HAT x4 は13.2字)
- 縮小だけを想定したモデル(HAT x4・DAT x4・SwinIR 古典 x4)
- 荒れた画像も想定したモデル(残りの11個)
縮めただけの文字では、従来の拡大(bicubic)が100字あたり2.0字(95%区間 1.5〜2.6字)の誤りで、Lanczos は3.2字でした。縮小だけを想定した3つは0.4〜0.6字で、元の画像(縮める前)の0.4字と同じ水準です。Real-HAT-GAN は3.2字で、従来の拡大より誤りが少なかった画像が6枚、多かった画像が28枚でした。BSRGAN の3.0字と Real-ESRGAN x4plus anime 6B の3.2字も多めですが、50枚では従来の拡大と差があるとは言えませんでした。
JPEG で荒れた文字では、従来の拡大が17.5字(95%区間 15.8〜19.2字)で、Lanczos は15.7字でした。realesr-general-x4v3 は2.7字、4xLSDIRplusC は2.8字、SwinIR-L 実写は3.3字です。荒れた画像も想定した11個は、どれも従来の拡大より誤りが少なくなり、画像ごとに比べると50枚中47枚以上で少ない結果でした。11個の平均は、最小の realesr-general-x4v3(2.7字)から最大の 4xHFA2k(7.7字)までです。
縮小だけを想定した3つは、モデルごとに結果が違いました。HAT x4 は13.2字で、従来の拡大より誤りが少なかった画像が37枚、多かった画像が13枚でした(減りましたが、11個の最大の7.7字よりは多い)。DAT x4 は20.1字で従来の拡大と差があるとは言えず、SwinIR 古典 x4 は20.2字で従来の拡大より誤りが多くなりました。
文字は50枚(6つの作品から5〜9枚ずつ)で、フォントは1種類です。言えるのは、この条件での傾向です。
Upscayl の同梱モデル7個のうち、2個は公開の重みと完全に一致し、2個は同じモデルの変換と推定、3個は一致しなかった
Upscayl が同梱するモデルのファイル7個を、公開されているモデルの重み(学習済みモデルのデータファイル)と、層(モデルを構成する部品)ごとに突き合わせました。
| Upscayl のモデル | 突き合わせた公開の重み | 結果 |
|---|---|---|
| lite | realesr-general-x4v3 | 全34層が完全に一致 |
| high-fidelity | 4xHFA2k | 全351層が完全に一致 |
| standard | Real-ESRGAN x4plus | 層の形は351層すべて一致。重みの値の差は最大0.0039で、完全に一致する層は無い。同じモデルを別の形式に変換したものと考えるのは推定(推定) |
| digital-art | Real-ESRGAN x4plus anime 6B | 層の形は96層すべて一致。重みの値の差は最大0.0020で、完全に一致する層は無い。同じ推定(推定) |
| ultrasharp | 測った重みのどれとも一致しない | 最も近い重みでも差は最大1.18。元と見られる 4x-UltraSharp は非商用の記載のため、測っていない |
| remacri | 測った重みのどれとも一致しない | 最も近い重みでも差は最大1.20。元と見られる 4x-Remacri は非商用の記載のため、測っていない |
| ultramix-balanced | 測った重みのどれとも一致しない | 最も近い重みでも差は最大1.17。元と見られるモデルのライセンスを確認できず、測っていない |
standard と digital-art の値の差は、重みの絶対値の平均に対して平均0.035%で、数値の丸めの大きさにとどまります。ただし一致の確認は層ごとの値の比較までで、同じモデルかどうかは確認できません。Upscayl のアプリそのものは実行していないため、アプリでの拡大の結果は測っていません。前の節までの結果で、lite は realesr-general-x4v3 の行、high-fidelity は 4xHFA2k の行の値に当たります。
速さとファイルの大きさ:CPU では1枚0.2秒から約24秒まで差があった
CPU 8 コアで 1 枚を拡大する時間は、realesr-general-x4v3 の 0.2 秒から Real-HAT-GAN など約 24 秒まで差があった
- 1回目(青:縮小だけを想定したモデル、灰:荒れた画像も想定したモデル)
- 2回目
速さ・ファイルの大きさ・ライセンスの表:GPU では 1 枚 0.02〜0.9 秒、拡大後のファイルは従来の拡大より大きくなった
| モデル | GPU(H200)1枚 | CPU 8コア 1枚 | 拡大後の JPEG の大きさ | 重みの配布元の記載 |
|---|---|---|---|---|
| HAT x4 | 0.26〜0.50秒 | 22.5〜22.6秒 | 1.28倍 | Apache-2.0 |
| DAT x4 | 0.92〜0.93秒 | 20.4〜20.6秒 | 1.27倍 | Apache-2.0 |
| SwinIR 古典 x4 | 0.37〜0.44秒 | 9.5〜9.8秒 | 1.27倍 | Apache-2.0 |
| Real-ESRGAN x4plus | 0.11秒 | 4.7〜4.9秒 | 1.51倍 | BSD-3-Clause |
| Real-ESRGAN x4plus anime 6B | 0.05秒 | 1.6〜1.8秒 | 1.37倍 | BSD-3-Clause |
| realesr-general-x4v3 | 0.02〜0.03秒 | 0.2秒 | 1.23倍 | BSD-3-Clause |
| BSRGAN | 0.10秒 | 4.9〜5.2秒 | 1.47倍 | Apache-2.0 |
| SwinIR-M 実写 | 0.43〜0.48秒 | 10.1〜11.5秒 | 1.58倍 | Apache-2.0 |
| SwinIR-L 実写 | 0.28〜0.50秒 | 21.4〜22.9秒 | 1.59倍 | Apache-2.0 |
| Real-HAT-GAN | 0.24〜0.49秒 | 23.6〜23.8秒 | 1.31倍 | Apache-2.0 |
| Real-HAT-GAN sharper | 0.26〜0.50秒 | 22.6〜23.7秒 | 1.48倍 | Apache-2.0 |
| 4xRealWebPhoto v4 | 0.85〜0.89秒 | 16.0〜16.9秒 | 1.66倍 | CC-BY-4.0 |
| 4xLSDIRplusC | 0.10〜0.21秒 | 4.7〜5.1秒 | 1.72倍 | CC-BY-4.0 |
| 4xHFA2k | 0.10〜0.21秒 | 4.8〜5.0秒 | 1.25倍 | CC-BY-4.0 |
最も速い realesr-general-x4v3 は、CPU の8コアで1枚0.2秒、GPU(NVIDIA H200)で0.02〜0.03秒でした。HAT 系・SwinIR-L 実写・DAT x4 は CPU で約20秒以上かかります。GPU の2回目は、ほかの作業で GPU の使用率が100%の状態で7つのモデルを測り、そのうち6つが1回目の約2倍の時間でした。ほかの作業と共用のサーバーだったため、時間は目安の幅として読んでください。
拡大した画像を JPEG(品質90)で保存すると、従来の拡大(bicubic)に対して、写真・縮めただけの画像では1.2〜1.7倍の大きさでした。4つの条件(写真・浮世絵、縮めただけの画像・JPEG で荒れた画像)すべてでは1.08〜1.98倍でした。
用途別の選び方
縮めただけの画像を、元に忠実に大きくしたい
- 候補:HAT x4・DAT x4・SwinIR 古典 x4(Apache-2.0)
- 根拠:写真の数値の近さが26.5 dB から28.5〜28.7 dB。文字の誤りは100字あたり0.4〜0.6字(従来の拡大は2.0字)。学習データ(DF2K など)のライセンスは未確認
- 向かない場面:JPEG で荒れた画像では、数値が従来の拡大より遠くなり、見た目の近さは0.645から0.550〜0.564に近づく幅が小さい。CPU では1枚9.5〜22.6秒
JPEG で荒れた写真を、元の画像の見た目に近づけたい
- 候補:SwinIR-L 実写(Apache-2.0)・4xLSDIRplusC・4xRealWebPhoto v4(どちらも CC-BY-4.0)
- 根拠:JPEG で荒れた写真の見た目の近さが0.281〜0.288。SwinIR-L 実写が平均で最良で、次点との差は境界に近い(112枚対78枚)
- 向かない場面:数値の近さは従来の拡大より遠くなる(−0.77〜−1.45 dB)。瓦のような繰り返しの模様が元と変わった例がある(JPEG で荒れた瓦屋根の1枚)
文字が入った画像
- 候補:縮めただけの画像は HAT x4・DAT x4・SwinIR 古典 x4。JPEG で荒れた画像は realesr-general-x4v3・4xLSDIRplusC・SwinIR-L 実写(最良の realesr-general-x4v3 と、ほかの2つは差があるとは言えない)
- 根拠:JPEG で荒れた文字の誤りが100字あたり2.7〜3.3字(従来の拡大は17.5字)
- 向かない場面:JPEG で荒れた文字に DAT x4(20.1字)と SwinIR 古典 x4(20.2字)。文字は50枚・1フォント
縮めただけの画像で、見た目の近さを重視したい
- 候補:4xRealWebPhoto v4(CC-BY-4.0)
- 根拠:見た目の近さが写真で0.145、浮世絵で0.131で最良。次点の 4xLSDIRplusC より近かった画像は、写真で190枚中175枚、浮世絵で140枚中140枚
- 向かない場面:JPEG で荒れた画像では数値の近さが従来の拡大より遠くなる(写真の14個すべて)。縮めただけの写真では、数値の近さは従来の拡大と差があるとは言えない
速さを優先したい
- 候補:realesr-general-x4v3(BSD-3-Clause。Upscayl の lite と同じ重み)
- 根拠:CPU の8コアで1枚0.2秒、GPU で0.02〜0.03秒
- 向かない場面:荒れた画像も想定したモデルの中で、写真の2つの条件(縮めただけの画像・JPEG で荒れた画像)とも見た目の指標が最も悪い(0.329、0.399)。冒頭の図では瓦の列が濃い縞になった
測っていない物と理由
- waifu2x:コードは MIT ライセンスですが、編集部が確認した範囲では重みのライセンスの記載が見つかりませんでした(確認した場所は nunif と waifu2x のリポジトリの LICENSE と README、2026年11月10日)。配布元のコードも実行していません。
- 4x-UltraSharp・4x-Remacri:OpenModelDB の4x-UltraSharp のページと4x-Remacri のページの記載が CC-BY-NC-SA-4.0(非商用)のため。
- SUPIR・StableSR:配布元(SUPIR・StableSR)の記載が非商用で、配布元のコードの実行も必要なため。
- Upscayl の ultramix-balanced:元と見られるモデルのライセンスを確認できなかったため。同梱の重みは、測ったどの公開の重みとも一致しませんでした。
- DIV2K:配布ページが学術研究に限ると記載しているため、会社の媒体での数値の公表に使いませんでした。
- 有料のサービス:クラウドのサービスや有料のソフトは測っていません。
測定の条件
下の欄を開くと、モデルの一覧・データの出どころ・拡大と採点の方法・環境が表示されます。
測定の条件の詳細を開く
測ったモデル:14個です。基準は、Pillow 13.0.0 の bicubic と Lanczos による4倍の拡大です。群は学習の条件で分け、配布元の記載を次の表に載せました。HAT x4・DAT x4 は、配布元の学習の設定ファイル(表にリンクを付けました)で、学習に使う縮めた画像が bicubic で作る設定になっており、ぼけ・ノイズ・圧縮を加える記載が見当たらなかったため、縮小だけを想定したモデルに入れました。取得元・版(ファイル名)・ライセンス・sha256 も表のとおりです。ファイル名は取得時の保存名で、Real-HAT-GAN の2つは配布元の README の名前(Real_HAT_GAN_SRx4.pth・Real_HAT_GAN_SRx4_sharper.pth)と違います。ライセンスは配布元の記載で、法的な判断ではありません。学習データのライセンスは確認していません。
| モデル(配布元のページ) | 群 | 学習の条件(配布元の記載) | 取得元とファイル | ライセンスの記載 | sha256 の先頭 12 桁 |
|---|---|---|---|---|---|
| HAT x4 | 縮小だけを想定したモデル | 学習の設定ファイルが、bicubic で 4 分の 1 に縮めた画像(DF2K_bicx4_sub)と元の画像の対で学習(事前学習の ImageNet でも、画像を MATLAB 流の bicubic で縮めて対を作る) 設定ファイル:HAT の学習設定(DF2K の bicubic 縮小) 設定ファイル:HAT の ImageNet 事前学習の設定 | Google Drive の ID 1cxls85ZE7kalhNy47eBJI_L_Lwf9hxRI HAT_SRx4_ImageNet-pretrain.pth | Apache-2.0 (repo) | 4ee053c42461 |
| DAT x4 | 縮小だけを想定したモデル | 学習の設定ファイルが、bicubic で縮めた画像(DF2K の LR_bicubic/X4)と元の画像の対で学習 設定ファイル:DAT の学習設定(DF2K の LR_bicubic/X4) | Google Drive の ID 1pEhXmg--IWHaZOwHUFdh7TEJqt2qeuYg DAT_x4.pth | Apache-2.0 (OpenModelDB, repo) | 391a6ce69899 |
| SwinIR 古典 x4 | 縮小だけを想定したモデル | classical image SR(配布元の評価は bicubic で縮めた画像 LR_bicubic)。群に入れた理由:配布元の分類が classical image SR | 取得元 001_classicalSR_DF2K_s64w8_SwinIR-M_x4.pth | Apache-2.0 (repo) | 4e78e33f22c1 |
| Real-ESRGAN x4plus | 荒れた画像も想定したモデル | 純粋な合成データで学習(配布元の記載。論文の題は Real-World Blind Super-Resolution) | 取得元 RealESRGAN_x4plus.pth | BSD-3-Clause | 4fa0d38905f7 |
| Real-ESRGAN x4plus anime 6B | 荒れた画像も想定したモデル | anime 画像向けに最適化(配布元の記載)。群に入れた理由:Real-ESRGAN の系列で、劣化の条件は個別に記載が無い | 取得元 RealESRGAN_x4plus_anime_6B.pth | BSD-3-Clause | f872d837d3c9 |
| realesr-general-x4v3 | 荒れた画像も想定したモデル | 一般の場面向けの小型モデル(配布元の記載)。群に入れた理由:Real-ESRGAN の系列で、劣化の条件は個別に記載が無い | 取得元 realesr-general-x4v3.pth | BSD-3-Clause | 8dc7edb9ac80 |
| BSRGAN | 荒れた画像も想定したモデル | 実用的な劣化モデル(ぼけ・縮小・ノイズを順番を入れ替えて加える)で学習 | 取得元 BSRGAN.pth | Apache-2.0 (OpenModelDB; cszn/BSRGAN repo Apache-2.0) | 5d505a076616 |
| SwinIR-M 実写 | 荒れた画像も想定したモデル | real-world image SR(配布元の分類。ファイル名に BSRGAN の劣化の名前)。群に入れた理由:劣化の条件の本文の記載は無く、分類名とファイル名による | 取得元 003_realSR_BSRGAN_DFO_s64w8_SwinIR-M_x4_GAN.pth | Apache-2.0 (repo) | b9afb61e65e0 |
| SwinIR-L 実写 | 荒れた画像も想定したモデル | real-world image SR(配布元の分類。ファイル名に BSRGAN の劣化の名前)。群に入れた理由:劣化の条件の本文の記載は無く、分類名とファイル名による | 取得元 003_realSR_BSRGAN_DFOWMFC_s64w8_SwinIR-L_x4_GAN.pth | Apache-2.0 (repo) | 99adfa91350a |
| Real-HAT-GAN | 荒れた画像も想定したモデル | Real-World SR 用。設定は Real-ESRGAN とほぼ同じ(配布元の記載) | Google Drive の ID 1Ma12vCWT27P9M99-s2RXnynKN-OQsBrv Real_HAT_GAN_SRx4.pth | Apache-2.0 (repo) | f5b1e3bbbb05 |
| Real-HAT-GAN sharper | 荒れた画像も想定したモデル | Real-World SR 用。設定は Real-ESRGAN とほぼ同じ(配布元の記載) | Google Drive の ID 1EioFq5-mKmv1uqta_Byd9cgXp9SU3zjj Real_HAT_GAN_sharper.pth | Apache-2.0 (repo) | 5800b6713600 |
| 4xRealWebPhoto v4 | 荒れた画像も想定したモデル | レンズぼけ・ノイズ・JPG と WEBP の圧縮(40〜95)・複数の縮小方法を加えて学習(作者の記載) | 取得元 4xRealWebPhoto_v4_dat2.safetensors | CC-BY-4.0 (author, OpenModelDB) | 819047acf430 |
| 4xLSDIRplusC | 荒れた画像も想定したモデル | Real-ESRGAN x4plus を LSDIR で追加学習し、JPEG の圧縮を手作業で加えた(作者の記載) | 取得元 4xLSDIRplusC.pth | CC-BY-4.0 (author, OpenModelDB) | a2a88864ee35 |
| 4xHFA2k | 荒れた画像も想定したモデル | アニメ向け。JPG の圧縮とぼけを加えた(作者の記載) | 取得元 4xHFA2k.pth | CC-BY-4.0 (author, OpenModelDB) | 35dfd9f6e9d2 |
実行は Real-ESRGAN の重みを含む全モデルを、spandrel 0.4.2 で読み込み、画像全体を一度に拡大しました(分割なし)。fp32、TF32 なし。PyTorch 2.15.0、NVIDIA H200 の GPU 1基。倍率は4倍だけです。
画像:写真190枚と浮世絵140枚で、すべて CC0 か public domain です。画像ごとの題・作者・ライセンス・出典の URL は一覧(JSON)にまとめました。
- 写真のうち125枚は、PSISRD_val125(Hugging Face の Phips、CC0 1.0。データ単位の表記)です。データカードの記載では、UHD-IQA(Pixabay の写真)を DPID 法で 512 px に縮めたものです。画像ごとの権利は確認できていないため、図には使っていません。
- 写真のうち65枚は、Wikimedia Commons の CC0 の写真(CC0 が64枚、public domain が1枚)です。2026年11月10日に Commons の検索で、
incategory:CC-Zero incategory:"Quality images"に45の題材(風景・山・猫・建物など)の語を加え、JPEG・短辺1,400 px 以上・画像ごとのライセンスが CC0 か public domain の物を、題材ごとに最大3枚取りました。検索の結果は Commons の既定の並びで、題材の順と検索の開始位置(先頭・11件目・21件目から10件)は乱数(種0)で決めました。題名に painting・drawing・map・diagram・poster・scan・logo・screenshot・flag・coat of arms・.svg・gouache・oil on・sketch・engraving・manuscript・stamp のいずれかを含む画像は除きました。使ったのは原本ではなく、幅2,048 px を指定して取得したサムネイル(URL は一覧(JSON)の thumb_url)です。短辺1,400 px 以上の判定は原本の大きさで行いました。取れた画像から、写真の合計が190枚になるよう乱数(種20261110)で65枚を選びました。作者は13人で Wilfredor 28枚と Jebulon 11枚に偏りました。 - 浮世絵140枚は、メトロポリタン美術館の Open Access の公開ドメインの版画です。2026年11月10日に Met の API(v1.1)で、
ukiyo-e・Hiroshige・Hokusai・Utamaroなど10の語をisPublicDomain=true・hasImages=trueで検索し、版画(分類が Prints か Woodblock Prints)で日本のものを170件取り、短辺1,024 px 未満の3枚を除いて、乱数(種20261110)で140枚を選びました。検索の語は ukiyo-e・Hiroshige・Hokusai・Utamaro・woodblock print Japan・Kuniyoshi・Kunisada・Sharaku・surimono・Toyokuni の順で、各語の検索結果を順に並べて重複を除いた列を、先頭から1件ずつ開いて条件に合う物が170件になった時点で打ち切りました。検索結果の何件目で170件に達したかは、取得の記録が残っておらず分かりません。乱数で選んだのは、この170件から3枚を除いた167枚の中です。作者は20人で、Utagawa Hiroshige が78枚、Katsushika Hokusai が24枚でした。 - PSISRD は512 px のまま、Commons と Met は短辺で中央を正方形に切り出して1,024 px に Pillow の LANCZOS で縮めた画像を、元の画像としました。同じ画像の重複は、16×16 の dhash(ハミング距離6以下)で除きました。
縮め方:縮めただけの画像は、元の画像を Pillow の BICUBIC で4分の1に縮めた画像。JPEG で荒れた画像は、それを JPEG 品質40(4:2:0)で保存して読み戻した画像です。
数値の近さと見た目の近さ:数値の近さは PSNR で、輝度(BT.601 の Y)を、周囲4画素を除いて測りました。見た目の近さは LPIPS 0.1.4(alex)です。LPIPS は人の評価そのものではなく、人の見え方に近いとされる計算上の指標で、人による評価は行っていません。ほかに SSIM と、高い周波数の強さの比(探索用)も計算しましたが、本文では使っていません。PSNR は、別に書いた台本(numpy と Pillow だけ)で、無作為に選んだ20枚×3モデルを計算し直し、記録の値との差は最大0.00005 dB(記録の丸めの範囲)でした。
差の判定:画像ごとに2つのモデルを比べ、近かったほうを数えて符号検定(二項分布による正確検定、両側、同点は除く)にかけ、Holm 法で補正しました。補正は次の2つの組ごとに別々に行いました。(1) 従来の拡大(bicubic)との比較:bicubic を除く15個(AI の14個と Lanczos)の15回。(2) 最良のモデルの比較:平均が最良の AI モデルと、ほかの13個の AI モデルとの13回。写真・浮世絵、2つの条件、2つの指標(PSNR・LPIPS)の8つの組み合わせごとに行い、組み合わせの間では補正していません。参考として、8つの組み合わせの最良との比較104回をまとめて Holm 法で補正し直した値も計算しました。写真・JPEG で荒れた画像・見た目の近さの SwinIR-L 実写と 4xLSDIRplusC(112枚対78枚)と、浮世絵・JPEG で荒れた画像・数値の近さの BSRGAN と SwinIR 古典 x4(84枚対56枚)は、どちらも p が0.049で、差はあるが境界に近い結果です。最良のモデルは平均で選んでいるため、最良との差は有利に出る可能性があります。p が0.05以上の組を「差があるとは言えない」としました。文字の判定は、各モデルと従来の拡大の15回と、文字の誤りが最小の AI モデルとほかの13個の13回(Holm 法はそれぞれの回数の中)です。95%区間は、画像の復元抽出(1万回、種20261110)の百分位です。2回測定し、全5,280枚の出力が条件ごとに画素まで一致しました(1回目の値を使用)。
文字:青空文庫の6作品(山月記・高瀬舟・走れメロス・どんぐりと山猫・こころ・羅生門)から、本文の9つの位置(先頭から8%・18%…88%)から、文の切れ目(直前が「。」「」」か改行)で始まり、かな・漢字・句読点などだけでできた19字ずつ5行を取り、IPAex ゴシック(IPA フォントライセンス v1.0)48 px、幅1,024 px、余白40 px で描いた画像を50枚作りました(作品ごとに5〜9枚)。同じ2通りの縮め方で拡大し、PaddleOCR 3.7.0(PP-OCRv5、lang=japan、CPU。PaddlePaddle 3.3.1、PaddleX 3.7.2)で読み取り、正解の文との編集距離を正解の長さで割った値を、100字あたりの誤り字数として示しました。
速さ:256×256 px の画像1枚を1,024×1,024 px に拡大する時間の中央値。最初の3回を除き、GPU は20回、CPU は5回です。CPU は Intel Xeon Platinum 8558(lscpu の表記)の8コアに固定しました。GPU・CPU とも2回測りました。測定に使ったサーバーは他の作業と共用です。
Upscayl との対応:Upscayl の同梱ファイル(ncnn 形式の .param と .bin)をデータとして読み、畳み込み層の重み(fp16)を取り出して、公開の重みと層ごとに突き合わせました。配布元のコードや実行ファイルは実行していません。同梱ファイルは、Upscayl のリポジトリの main 枝の resources/models/ から2026年11月10日に取得しました。ファイルごとの sha256(.bin と .param の全桁)は記録(JSON)にあり、下の表は先頭12桁です。
| 同梱ファイル(resources/models/) | .bin の sha256 の先頭12桁 | .param の sha256 の先頭12桁 |
|---|---|---|
| upscayl-standard-4x | 713ee713b035 | 35330ececcea |
| upscayl-lite-4x | 85ee266b632a | 221749243302 |
| digital-art-4x | fe01c269cfd1 | 2b8fb6e0ae4d |
| high-fidelity-4x | 8a135402b4f3 | 4576ed5c2fc5 |
| ultrasharp-4x | fb3e279d40d4 | 0136ca836868 |
| remacri-4x | a43be595c0d7 | 859ecba5b359 |
| ultramix-balanced-4x | 171cae596848 | 859ecba5b359 |
この実測で分からないこと
- 人による見た目の評価:見た目の近さは計算上の指標だけで測りました。人の評価とは違う結果になることがあります。
- ほかの縮め方・倍率:縮め方は bicubic と、それに JPEG 品質40を重ねた2通りだけ、倍率は4倍だけです。実際の古い画像やスマホの画像の劣化は測っていません。
- 画像の偏り:Commons の写真は作者に偏り、品質評価済みの枠で探したため、美術館の収蔵品や壁画の写真も含みます。同じ作者の画像は似るため、差があるという判定が強く出すぎる可能性があります(推定)。浮世絵は、140枚のうち78枚が Utagawa Hiroshige、24枚が Katsushika Hokusai で、作者は20人です。広重の画風に結果が寄っている可能性があります(推定)。浮世絵は木版画で、アニメ調のイラストではありません。写真・浮世絵のどちらも、3DCG や図表は含みません。
- 学習データとの重なり:各モデルの学習データに、今回の画像と同じ画像が含まれているかは確認していません。含まれていれば、初めて見る画像での性能より良く出ます(推定)。
- 学習データのライセンス:縮小だけを想定した3つが学習に使った DF2K(DIV2K と Flickr2K)など、学習データのライセンスは確認していません。DIV2K は配布ページが学術研究に限ると記載しています。
- 文字:1種類のフォント、50枚、1種類の文字認識だけです。縦書き・手書き・小さい文字は測っていません。
- 元の画像に無い模様の量:「足した模様の量」の指標は、実際に足された模様とノイズの除去・強調を区別できないため使っていません。
- Upscayl のアプリ:アプリそのものの拡大の結果は測っていません。standard と digital-art の対応は推定です。
- 一般のパソコンでの速さ:サーバー用の CPU の8コアと NVIDIA H200 だけで測りました。
よくある質問
Upscayl と Real-ESRGAN の違いは何ですか。
Real-ESRGAN は高画質化モデルとそのコードの名前で、Upscayl は複数のモデルをまとめて使えるアプリです。編集部は Upscayl の同梱ファイル7個を、公開されているモデルの重み(学習済みモデルのデータファイル)と層(モデルを構成する部品)ごとに突き合わせました。lite は realesr-general-x4v3 と全34層、high-fidelity は 4xHFA2k と全351層が完全に一致しました。standard と digital-art は、Real-ESRGAN x4plus と anime 6B と層の形がすべて一致し、重みの値の差は最大0.0039と0.0020です。同じモデルを別の形式に変換したものと考えるのは推定です(推定)。残る ultrasharp・remacri・ultramix は、測った重みのどれとも一致しませんでした。Upscayl のアプリそのものは実行しておらず、アプリでの拡大の結果は測っていません。
無料で使えますか。商用利用はできますか。
編集部が測った14個のモデルは、どれも重みを無料で取得できました。配布元の記載では、Real-ESRGAN 系は BSD-3-Clause、HAT・DAT・SwinIR・BSRGAN は Apache-2.0、4xRealWebPhoto v4・4xLSDIRplusC・4xHFA2k は CC-BY-4.0(出典の表示が条件)です。これは配布元の自己申告で、法的な判断ではありません。モデルを学習したデータ(HAT・DAT・SwinIR 古典は DF2K など)のライセンスは確認していないため、商用で使う前に配布元で確認してください。非商用の記載がある重み(4x-UltraSharp・4x-Remacri など)は測っていません。
文字の画像を拡大すると、読めるようになりますか。
青空文庫の文を描いた画像50枚を縮めて拡大し、文字認識にかけました。縮めただけの画像では、従来の拡大(bicubic)の誤りが100字あたり2.0字で、HAT x4・DAT x4・SwinIR 古典 x4 は0.4〜0.6字でした。JPEG で荒れた画像では、従来の拡大の17.5字に対し、realesr-general-x4v3 が2.7字、4xLSDIRplusC が2.8字、SwinIR-L 実写が3.3字でした。HAT x4 は13.2字、DAT x4 は20.1字、SwinIR 古典 x4 は20.2字で、荒れた画像も想定したモデルほどは減りません。フォントは1種類(IPAex ゴシック)です。
高画質化AIは、結局どれが一番きれいですか。
何を「きれい」とするかで答えが変わります。縮めただけの画像では、画素の値で元の画像に最も近いのは HAT x4(写真28.7 dB、従来の拡大は26.5 dB)、見た目の近さで最も近いのは 4xRealWebPhoto v4(写真0.145、従来の拡大は0.444)で、どちらも次点との間に差がありました。JPEG で荒れた写真では、見た目の近さの平均が最良の SwinIR-L 実写(0.281)と次点の 4xLSDIRplusC(0.287)の差は、近かった画像が112枚対78枚で差がありますが、境界に近い結果です(104回の比較をまとめて補正しても差はあり、p は0.049)。人による評価はしていません。
waifu2x は測りましたか。
測っていません。waifu2x のコードは MIT ライセンスですが、編集部が確認した範囲では重みのライセンスの記載が見つからず(確認した場所は nunif と waifu2x のリポジトリの LICENSE と README、2026年11月10日)、配布元のコード(nunif)の実行もしていないためです。今回の浮世絵は木版画で、waifu2x が得意とされるアニメ調のイラストではないので、浮世絵の結果を waifu2x に当てはめることもできません。