2023/04/18(火) [n年前の日記]
#3 [cg_tools] 画像拡大ツールを試用
Stable Diffusion web UIで画像を生成する際、512x512で出力しているのだけど、ちょっと画像サイズが小さい気がしてきた。Stable Diffusion web UIは512x512に最適化して作られているという話をどこかで見かけたので、そういうことなら合わせておいたほうがいいかなと、そのサイズにしているのだけど…。
そんなわけで、画像拡大ツールを試しに使ってみようかなと。
Stable Diffusion web UI にも画像拡大ツールは入ってる。Extrasタブを選択すれば、色々なアルゴリズムを選んで画像拡大ができるし、txt2img を使う場合も Hires.fix という機能が使える。
ただ、それとは別に、画像拡大処理を専門にしているツールのほうが元画像に近い結果を得られるかもしれないと思えてきたので、そのあたりも使ってみることにした。
環境は、AMD Ryzen 5 5600X + GeForce GTX 1060 6GB。RAM 16GB。Windows10 x64 22H2。
そんなわけで、画像拡大ツールを試しに使ってみようかなと。
Stable Diffusion web UI にも画像拡大ツールは入ってる。Extrasタブを選択すれば、色々なアルゴリズムを選んで画像拡大ができるし、txt2img を使う場合も Hires.fix という機能が使える。
ただ、それとは別に、画像拡大処理を専門にしているツールのほうが元画像に近い結果を得られるかもしれないと思えてきたので、そのあたりも使ってみることにした。
環境は、AMD Ryzen 5 5600X + GeForce GTX 1060 6GB。RAM 16GB。Windows10 x64 22H2。
◎ NiceScalerを試用 :
NiceScaler というツールがあるらしい。AIで学習した結果に基づいて拡大処理をしてくれる模様。
_GitHub - Djdefrag/NiceScaler: NiceScaler - image/video deeplearning upscaler (OpenCV)
_NiceScaler のダウンロードと使い方 - ｋ本的に無料ソフト・フリーソフト
_AIで写真を一番きれいに拡大するのはどれ？「NiceScaler」「Real-ESRGAN」「Upscayl」 - パソコン鳥のブログ
_画像や動画をAIが高画質にしてくれるソフト 『NiceScaler』 | PCあれこれ探索
_画質を落とさずに、拡大！AI画像加工ソフト「NiceScaler」 |
2倍に拡大した結果は、かなりイイ感じに見えた。写真画像の拡大には向いているという話を見かけたけれど、たしかにヨサゲ。ちなみに、512x512 を、2倍の 1024x1024 にした場合、以下の処理時間になった。
アルゴリズムは色々選べるけれど、各アルゴリズムがどういうものなのかは、以下のページが参考になった。
_【Intern CV Report】超解像の歴史探訪 -2016年編- - Sansan Tech Blog
_コンピュータビジョンの最新論文調査 Single Image Super-Resolution 前編 | BLOG - DeNA Engineering
上記の記事によると…。
_GitHub - Djdefrag/NiceScaler: NiceScaler - image/video deeplearning upscaler (OpenCV)
_NiceScaler のダウンロードと使い方 - ｋ本的に無料ソフト・フリーソフト
_AIで写真を一番きれいに拡大するのはどれ？「NiceScaler」「Real-ESRGAN」「Upscayl」 - パソコン鳥のブログ
_画像や動画をAIが高画質にしてくれるソフト 『NiceScaler』 | PCあれこれ探索
_画質を落とさずに、拡大！AI画像加工ソフト「NiceScaler」 |
2倍に拡大した結果は、かなりイイ感じに見えた。写真画像の拡大には向いているという話を見かけたけれど、たしかにヨサゲ。ちなみに、512x512 を、2倍の 1024x1024 にした場合、以下の処理時間になった。
- ESPCN と FSRCNN は2秒ほどで処理が終わった。
- LapSRN は3秒。
- EDSRはめっちゃ時間がかかって、127秒。
アルゴリズムは色々選べるけれど、各アルゴリズムがどういうものなのかは、以下のページが参考になった。
_【Intern CV Report】超解像の歴史探訪 -2016年編- - Sansan Tech Blog
_コンピュータビジョンの最新論文調査 Single Image Super-Resolution 前編 | BLOG - DeNA Engineering
上記の記事によると…。
- ESPCN と FSRCNN は、SRCNN というアルゴリズムをそれぞれ別のやり方で高速化したアルゴリズム。
- EDSR は、ESPCN や FSRCNN で得られた知見から SRResNet が作られて、その SRResNet よりも高精細さを追求したアルゴリズム。
◎ Upscaylを試用 :
Upscayl というツールもあるらしい。これも、AIで学習した結果に基づいて拡大処理をしてくれる。
_GitHub - upscayl/upscayl: Upscayl - Free and Open Source AI Image Upscaler for Linux, MacOS and Windows built with Linux-First philosophy.
_Upscayl のダウンロードと使い方 - ｋ本的に無料ソフト・フリーソフト
_無料で簡単にAIで低画質な画像を高画質に4倍アップコンバートできる「Upscayl」を使ってみた - GIGAZINE
_AIでディテールを保ったまま画像を拡大する無償ツール「Upscayl」がv2.0.0に - 窓の杜
_AI…とりあえず高画質化ツールを入れてみた、という話 - FURYU Tech Blog - フリュー株式会社
こちらは、4倍に拡大することしかできないらしい。試してみたところ、こちらも数秒で結果を生成してくれた。
Real-ESRGAN はアニメっぽくのっぺりした結果になった。人物の肌などはつるんとしていて、奇麗な見た目ではあるのだけど…。Remacri はシャープさが増したけれど、画像の明るさ？ 色？ が大きく変化した。
_GitHub - upscayl/upscayl: Upscayl - Free and Open Source AI Image Upscaler for Linux, MacOS and Windows built with Linux-First philosophy.
_Upscayl のダウンロードと使い方 - ｋ本的に無料ソフト・フリーソフト
_無料で簡単にAIで低画質な画像を高画質に4倍アップコンバートできる「Upscayl」を使ってみた - GIGAZINE
_AIでディテールを保ったまま画像を拡大する無償ツール「Upscayl」がv2.0.0に - 窓の杜
_AI…とりあえず高画質化ツールを入れてみた、という話 - FURYU Tech Blog - フリュー株式会社
こちらは、4倍に拡大することしかできないらしい。試してみたところ、こちらも数秒で結果を生成してくれた。
Real-ESRGAN はアニメっぽくのっぺりした結果になった。人物の肌などはつるんとしていて、奇麗な見た目ではあるのだけど…。Remacri はシャープさが増したけれど、画像の明るさ？ 色？ が大きく変化した。
◎ Stable Diffusion web UIのExtrasを試用 :
Stable Diffusion web UIのExtrasでも拡大処理ができるので試用してみた。
Upscaler 1 と Upscaler 2 の2つを重ね掛けすることができるらしい。パラメータは以下。
アルゴリズムは以下が選べる。
とりあえず SwinIR_4x を使ってみた。パラメータは全部0。2倍拡大でも精細さは NiceScaler の処理結果より高いように感じた。ただ、肌はアニメっぽくのっぺりしてしまう…。いやまあ、美肌云々を求めてるならこれでいいのだろうけど…。
アルゴリズムによる結果の違いは、以下が参考になりそう。
_Stable DiffusionのUpscalerの各メソッド比較｜Nobu｜note
Upscaler 1 と Upscaler 2 の2つを重ね掛けすることができるらしい。パラメータは以下。
- Upscaler 2 visibility
- GFPGAN visibility
- CodeFormer visibility
- CodeFormer weight : 0なら最大効果、1なら最小効果。
アルゴリズムは以下が選べる。
- Lanczos
- Nearest
- ESRFAN_4x
- LDSR
- R-ESRGAN 4x+
- R-ESRGAN 4x+Anime6B
- ScuNET GAN
- ScuNET PSNR
- SwinIR_4x
とりあえず SwinIR_4x を使ってみた。パラメータは全部0。2倍拡大でも精細さは NiceScaler の処理結果より高いように感じた。ただ、肌はアニメっぽくのっぺりしてしまう…。いやまあ、美肌云々を求めてるならこれでいいのだろうけど…。
アルゴリズムによる結果の違いは、以下が参考になりそう。
_Stable DiffusionのUpscalerの各メソッド比較｜Nobu｜note
◎ 感想 :
精細な画像が欲しいなら、Stable Diffusion web UI の SwinIR を使ったほうがいいかな…。ただ、元画像に近いのは、NiceScaler のような気もする…。SwinIR はアニメ調というか…。
[ ツッコむ ]
以上です。