mieki256's diary

画像生成AI、Stable Diffusion web UI に含まれている、img2img というツールの使い方について勉強中。

Stable Diffusion web UI は、大別して、2種類の画像生成ツールを持っている、ように見える。

• txt2img : 英文や英単語を打ち込むと、その内容に沿った画像を生成してくれる。
• img2img : 画像を与えると、その画像から類推できる画像を生成してくれる。

txt2img で欲しい画像が得られなかった際に、その生成画像を img2img に渡して、何かしらの修正を加えてから生成処理をすることで、目的の画像に近づけていくことができなくもない、らしい。

とりあえず、Webブラウザ上で表示されている Stable Diffusion web UI のページで、img2imgタブをクリックして、キャンバスに画像をドラッグアンドドロップ後、Denoising strength を設定してから Generate をクリックすれば、元画像から類推できる別の画像を生成してくれる、ところまでは分かった。Denoising strength が小さければ元画像に近く、大きければ元画像から離れる、らしい。たぶん。

また、Sketch と inpaint も、なんとなく分かってきた。

• Sketch : お絵描きモード。ざっくりとした画像をその場で作成できる。元画像を Sketch に転送後、消去したい部分をブラシで上書きしてから生成処理、といったこともできる。
• inpaint : マスク指定モード。マスクの中、もしくは外だけを、生成して描画することができる。

それはともかく、inpaint sketch の使い方が分からない…。inpaint + sketch の機能を持ってるということだろうか…？

そのあたりの使い方が分からないので、以下のような流れで作業してしまっている。

1. 元画像を読み込み。
2. Sketch に転送。
3. 不要な部分を色で塗り潰し。
4. inpaint に転送。
5. 塗り潰した部分にマスクを作成。
6. マスクの中だけ画像生成。

inpaint sketch の使い方が分かれば、こんなことをしなくても済むのだろうか。

余談。img2img の画像を表示するキャンバスが小さ過ぎて、細かい指定ができないあたりがツライ。もしかすると GIMP等で画像を開いて修正してから渡してしまったほうが楽なのでは…。いやまあ、細かく描き込んでみても全然違う画像が出てくるのだから、ざっくり指定ができれば充分やろという気もするけれど。