mieki256's diary



2023/04/13(木) [n年前の日記]

#1 [cg_tools] img2imgを試用中

画像生成AI、Stable Diffusion web UI の、img2img を使って、画像から別画像を生成する作業の流れを確認中。

img2img は、元画像を渡すと、そこから類推される別画像を生成してくれるツール。プロンプトと呼ばれる呪文も与えることで、生成する画像の傾向を変化させることもできる。

せっかくだから実験結果もメモしておこう…。いやまあ、先人達がもっと役に立つ情報を随分前から多々公開してくれてるので、今更こんな情報をアップしても意味は無さそうだけど。

実験その1 :

とりあえず、Poser Pro 11 を使って、512 x 512 の、女の子の画像をレンダリングして、それを元画像にして実験。元画像は以下。

00000-orig_image_output0002.png

実にキモいですね…。

学習モデルデータは、v2-1_768-ema-pruned.ckpt を使ってみた。

img2img に元画像をドラッグアンドドロップで渡して、プロンプトには「1girl」と入力。以下の画像が生成された。

00137-1972562182.png
parameters

1girl,
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 1972562182, Size: 512x512, Model hash: ad2a33c361, Model: v2-1_768-ema-pruned, Denoising strength: 0.75

00138-1972562183.png

00139-1972562184.png

00140-1972562185.png


たしかに画像が生成された。生成されたけど、これのどこらへんが「girl」やねん? AI君には「girl」ってこう見えてるの?

実験その2 :

Denoising strength の値がデフォルトの 0.75 で処理させると上記のような結果が出てくるけれど、数値を下げれば元画像に沿った生成処理になってくれるらしい。0.5 まで下げてみると、生成される画像が変わってきた。

00141-1147899033.png
parameters

1girl,
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 1147899033, Size: 512x512, Model hash: ad2a33c361, Model: v2-1_768-ema-pruned, Denoising strength: 0.5

00142-1147899034.png

00143-1147899035.png

00144-1147899036.png

00145-3887564871.png

00146-3887564872.png

00147-3887564873.png

00148-3887564874.png


今度は少しだけ「girl」らしい生成画像になってきた。もっとも、ジョジョのスタンドの出来損ないみたいな見た目だなと…。というかコレ、バトルで敗北していくときのスタンドじゃないかな。

実験その3 :

高画質化を狙えるらしいプロンプトを打ち込んでみる。
  • Postivie prompt : masterpiece, best quality, photo realistic, realistic,
  • Negative prompt : painting, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)),

ざっくり説明すると…。
  • Positive Prompt には、「こういう画像を出してくれ」的なキーワードを列挙する。
  • Negative Prompt には、「こういう画像は避けてくれ」的なキーワードを列挙する。
  • Postitive prompt に "masterpiece, best quality, " を指定すると、高画質化が狙える。らしい。たぶん。
  • "photo realistic, realistic, " を指定すると、写実的な見た目に寄せてくれる。らしい。たぶん。
  • Negative prompt に "painting, sketches, " を指定すると、おそらく手描き風を避けてくれるのかな。たぶん。
  • "(worst quality:2), (low quality:2), (normal quality:2), lowers, " を指定すると、最低画質、低画質、通常画質、低解像度を避けてくれるっぽい。たぶん。
  • "((monochrome)), ((grayscale)), " を指定すると、白黒画像、グレースケール画像を避けてくれるのだろう。たぶん。
  • (hoge:1.4) とか (hoge:2) とか (hoge:0.5) といった記述をすると、どの程度効果を利かせるのか数値で指定できる。らしい。大きくても 1.4 - 2.0 ぐらいにしたほうがいい、という話も見かけた。
  • hoge で1.0倍、(hoge) で1.1倍、((hoge)) で約1.2倍の効果にしてくれる、らしい。
  • 余談。Stable Diffusion web UI のプロンプト(入力欄)で、(hoge:1.0) と書かれたところにカーソルを合わせて、Ctrl + Up(↑)、Ctrl+ Down(↓) を叩くと、数値を0.1単位で変化させられる。

加えて、Denoising strength を 0.4 に弱めてみた。

また、CFG scale を、7 から 5 に減らしてみた。CFG scale は、数値が大きいとプロンプトの内容に従おうとするけれど、その分無理な感じの合成をするので画像の破綻が増え始めて、数値が小さいとプロンプトの内容から離れてAIが自分勝手に合成するけど、その分破綻しにくい画像が生成されやすくなる、らしい。

「らしい」「たぶん」ばかり書いてあるけど、どれも本当に効果が出てるのか、そういう解釈でいいのか、ちょっと自信が無い…。

00149-4219038187.png
parameters

girl, masterpiece, best quality, photo realistic, realistic,
Negative prompt: painting, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)),
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 5, Seed: 4219038187, Size: 512x512, Model hash: ad2a33c361, Model: v2-1_768-ema-pruned, Denoising strength: 0.4

00150-4219038188.png

00151-4219038189.png

00152-4219038190.png


かなり改善されてきたけど…。夢の中に出てきたら、うなされそうです…。

実験その4 :

学習モデルデータ、v2-1_768-ema-pruned.ckpt には限界があるのかもしれない。学習モデルデータを、話題の、chilloutmix_.safetensors に変更してみる。

00153-1534430406.png
parameters

girl, masterpiece, best quality, photo realistic, realistic,
Negative prompt: painting, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)),
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 5, Seed: 1534430406, Size: 512x512, Model hash: a757fe8b3d, Model: chilloutmix_, Denoising strength: 0.4

00154-1534430407.png

00155-1534430408.png

00156-1534430409.png

00157-2198513447.png

00158-2198513448.png

00159-2198513449.png

00160-2198513450.png


おお…。これならたしかに「girl」の画像だ…。Poser の、あのキモ画像から、こんな画像にしてくれるとは…。

そんなわけで、どんな学習モデルデータを使うかで、全く違う画像が生成されるのだなと。ここまで違ってくるとは。

ちなみに、「russian child」「asian child」といったキーワードも反応してくれる模様。

00161-209150273.png
parameters

russian child, girl, masterpiece, best quality, photo realistic, realistic,
Negative prompt: painting, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)), nsfw,
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 5, Seed: 209150273, Size: 512x512, Model hash: a757fe8b3d, Model: chilloutmix_, Denoising strength: 0.6

00163-509918546.png
parameters

asian child, girl, masterpiece, best quality, photo realistic, realistic,
Negative prompt: painting, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowers, normal quality, ((monochrome)), ((grayscale)), nsfw,
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 5, Seed: 509918546, Size: 512x512, Model hash: a757fe8b3d, Model: chilloutmix_, Denoising strength: 0.6

00164-2995637674.png


なるほど、たしかに、ロシアとアジアな感じに分かれた。

以上、1 日分です。

過去ログ表示

Prev - 2023/04 - Next
1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30

カテゴリで表示

検索機能は Namazu for hns で提供されています。(詳細指定/ヘルプ


注意: 現在使用の日記自動生成システムは Version 2.19.6 です。
公開されている日記自動生成システムは Version 2.19.5 です。

Powered by hns-2.19.6, HyperNikkiSystem Project