mieki256's diary

Stable Diffusion web UI でアウトペインティングのやり方について勉強中。以前も少し試してた気もするけれど…。512x512の画像を16:9の画像にしたいので、足りない部分をアウトペインティングで塗り潰してもらいたい。

自分が把握してるやり方は4つ。

• img2img の inpaint で、変えたくないところにマスクを塗って、「マスクの範囲以外をinpaint (inpaint not masked)」「縦横比の維持(埋める) (Resize and fill)」を選び、「Resize to」で欲しい画像サイズを指定して生成。
• 拡張機能 sd-webui-mosaic-outpaint を使って、左右にモザイク状の領域を作成してから img2img に送る。img2img で「Resize by」を選んでスケール=1にして生成。
• img2img のスクリプト、「簡易アウトペインティング (Poor man's outpainting)」を使う。
• img2img のスクリプト、「Outpainting mk2」を使う。

_Haoming02/sd-webui-mosaic-outpaint: An Extension for Automatic1111 Webui that trivializes outpainting
_Stable Diffusionの「Poor man’s outpainting」を利用してアウトペインティング | taziku / AI × クリエイティブ | 東京・名古屋
_img2img入門(7) アウトペインティング｜AICU media
_Stable Diffusionの「Outpainting mk2」を利用してアウトペインティング | taziku / AI × クリエイティブ | 東京・名古屋

これは想像だけど、マスクを自分で塗ってアウトペインティングするやり方は、左右の端が横一直線に引き延ばされてから生成されている気がする…。元画像にパースがついた背景が含まれていても、アウトペインティングされた部分は平面的な背景になりがちなので、おそらくアウトペインティングされる領域には横一直線になった部分が多く含まれているのではないかと。

何度か試したけれど、人間が手を動かしてアタリを描き込んでから生成させるのが一番確実というか、望む結果が得られやすい感じがする。自動処理では平面的な構図にしか対応できない印象。