2024/08/22(木) [n年前の日記]
#1 [cg_tools] Stable Diffusion web UIでアウトペインティングをしようとしてちょっとハマった
画像生成AIを使うと、アウトペインティング(Outpainting)という処理ができる。画像の上下左右に対して、「この先にはこういう画があるんじゃないか？」とAIに推測させて画像を追加する処理。
手元の環境にインストールしてある Stable Diffusion web UI でもアウトペインティングができるらしいので試そうとしたのだけど…。これが上手く行かない。
img2imgタブを選んで、画像をドラッグアンドドロップで渡して、下のほうのスクリプトから以下のどちらかを選べばできるはず、なのだけど。
以下、参考ページ。
_Stable Diffusionの「Poor man's outpainting」を利用してアウトペインティング | taziku / AI - クリエイティブ | 東京・名古屋
_Stable Diffusionの「Outpainting mk2」を利用してアウトペインティング | taziku / AI - クリエイティブ | 東京・名古屋
しかし、追加されるはずの部分が真っ黒になってしまったり、やたらギラギラした模様が描き込まれたり…。処理途中ではそれっぽい画像が生成されている気配がするのだけど、最後の最後で変な画像で置き換えられてる気がする…。
手元の環境にインストールしてある Stable Diffusion web UI でもアウトペインティングができるらしいので試そうとしたのだけど…。これが上手く行かない。
img2imgタブを選んで、画像をドラッグアンドドロップで渡して、下のほうのスクリプトから以下のどちらかを選べばできるはず、なのだけど。
- Poor man’s outpainting
- Outpainting mk2
以下、参考ページ。
_Stable Diffusionの「Poor man's outpainting」を利用してアウトペインティング | taziku / AI - クリエイティブ | 東京・名古屋
_Stable Diffusionの「Outpainting mk2」を利用してアウトペインティング | taziku / AI - クリエイティブ | 東京・名古屋
しかし、追加されるはずの部分が真っ黒になってしまったり、やたらギラギラした模様が描き込まれたり…。処理途中ではそれっぽい画像が生成されている気配がするのだけど、最後の最後で変な画像で置き換えられてる気がする…。
◎ Forge版では動かない :
原因が分かった。Stable Diffusion web UI Forge版を使っていたせいだった。本家の Stable Diffusion web UI を使って試したら、あっさりと期待通りの処理になった。
Forge版でもアウトペインティングができる拡張もあるらしい。
_Stable Diffusion Outpainting Tutorial - Forge UI #stablediffusion - YouTube
_Haoming02/sd-webui-mosaic-outpaint: An Extension for Automatic1111 Webui that trivializes outpainting
Mosaic Outpaint という拡張をインストールすれば、Mosaic タブが増える。Mosaicタブ上で画像を読み込んで、追加したい部分をモザイク状態で事前にざっくり作っておいて、そのモザイク画像とマスク画像をimg2imgに転送してマスク範囲のみを処理することでアウトペインティングができる模様。
Forge版でもアウトペインティングができる拡張もあるらしい。
_Stable Diffusion Outpainting Tutorial - Forge UI #stablediffusion - YouTube
_Haoming02/sd-webui-mosaic-outpaint: An Extension for Automatic1111 Webui that trivializes outpainting
Mosaic Outpaint という拡張をインストールすれば、Mosaic タブが増える。Mosaicタブ上で画像を読み込んで、追加したい部分をモザイク状態で事前にざっくり作っておいて、そのモザイク画像とマスク画像をimg2imgに転送してマスク範囲のみを処理することでアウトペインティングができる模様。
[ ツッコむ ]
以上です。