mieki256's diary

Stable Diffusion web UI reForge上で、SDXL用の ControlNet が使えそうかどうか試していた。SD1.5のControlNetは使えていた記憶があるけれど、SDXLでも使えるのだろうか。ちなみに、Stability Matrix 経由で Stable Diffusion web UI reForge を起動して使っている状態。

動作させるには、SDXL対応のControlNet用モデルデータが必要になる。Stability Matrix の Model Browserタブで、CivitAI ではなく、Hugging Faceタブに切り替えればダウンロードすることができる。最初、Hugging Face タブがあることに気づかなくて、手作業で ControlNet用モデルデータをダウンロードしないといけないのかなと思い込んでた…。

「ControlNets (SDXL)」や「T2I Adapters (Diffusers)」という項目があるので、その下のモデルデータ一覧上でチェックを入れてインポートする。

今回は以下にチェックを入れた。

ControlNets (SDXL) - Canny (Small, Diffusers)
ControlNets (SDXL) - Canny (Mid, Diffusers)
ControlNets (SDXL) - Canny (Full, Diffusers)
ControlNets (SDXL) - Depth (Small, Diffusers)
ControlNets (SDXL) - Depth (Mid, Diffusers)
ControlNets (SDXL) - Depth (Full, Diffusers)
ControlNets (SDXL) - Ioclab Recolor
ControlNets (SDXL) - Kohya Control-lllite Blur
ControlNets (SDXL) - Kohya Control-lllite Blur (Anime)
ControlNets (SDXL) - Kohya Control-lllite Canny
ControlNets (SDXL) - Kohya Control-lllite Canny (Anime)
ControlNets (SDXL) - Kohya Control-lllite Depth
ControlNets (SDXL) - Kohya Control-lllite Depth (Anime)
ControlNets (SDXL) - Kohya Control-lllite Openpose (...
ControlNets (SDXL) - Kohya Control-lllite Scribble Anime
T2I Adapters (Diffusers) - Sketch (SDXL)
T2I Adapters (Diffusers) - Depth-Zoe (SDXL)
T2I Adapters (Diffusers) - OpenPose (SDXL)
T2I Adapters (Diffusers) - Depth-MiDaS (SDXL)
T2I Adapters (Diffusers) - LineArt (SDXL)
T2I Adapters (Diffusers) - Canny (SDXL)

Diffusers というのは何だろうと思ったけれど、どうやら Pythonスクリプト内からStable Diffusionを呼び出せる、Diffusers なるツールがあるらしい…。とりあえず、Diffusers と記述されてるモデルデータは、Stable Diffusion web UI からも使えるようだなと…。

ダウンロードされた ControlNet用モデルデータは、Stability Matrixインストールフォルダ\Data\Models\ControlNet\ 以下に保存されていた。

動作確認してみたけれど、一応、Canny や Scribble は使えるように見えた。

親父さんのボケがどんどん進行していて、相手をしていてシンドイ…。人の言葉を話しているけど、話が通じない。理屈が通じない。ボケてくると3歳児みたいな感じになるらしい、とお袋さんが言ってるけれど、たしかにそうかもしれない。リアル版の、「体は大人、頭脳は子供」かもしれない。

相手に理解力があることを無意識に期待しながら自分が喋ってしまうあたりがいかんのかもしれない。そのあたりのテクニックを全然知らないあたりもダメなのだろうし、このあたり何かしら勉強しないといかんのだろうな…。シンドイ。