mieki256's diary

Stable Diffusion web UI reForge上で、SDXL用の ControlNet が使えそうかどうか試していた。SD1.5のControlNetは使えていた記憶があるけれど、SDXLでも使えるのだろうか。ちなみに、Stability Matrix 経由で Stable Diffusion web UI reForge を起動して使っている状態。

動作させるには、SDXL対応のControlNet用モデルデータが必要になる。Stability Matrix の Model Browserタブで、CivitAI ではなく、Hugging Faceタブに切り替えればダウンロードすることができる。最初、Hugging Face タブがあることに気づかなくて、手作業で ControlNet用モデルデータをダウンロードしないといけないのかなと思い込んでた…。

「ControlNets (SDXL)」や「T2I Adapters (Diffusers)」という項目があるので、その下のモデルデータ一覧上でチェックを入れてインポートする。

今回は以下にチェックを入れた。

ControlNets (SDXL) - Canny (Small, Diffusers)
ControlNets (SDXL) - Canny (Mid, Diffusers)
ControlNets (SDXL) - Canny (Full, Diffusers)
ControlNets (SDXL) - Depth (Small, Diffusers)
ControlNets (SDXL) - Depth (Mid, Diffusers)
ControlNets (SDXL) - Depth (Full, Diffusers)
ControlNets (SDXL) - Ioclab Recolor
ControlNets (SDXL) - Kohya Control-lllite Blur
ControlNets (SDXL) - Kohya Control-lllite Blur (Anime)
ControlNets (SDXL) - Kohya Control-lllite Canny
ControlNets (SDXL) - Kohya Control-lllite Canny (Anime)
ControlNets (SDXL) - Kohya Control-lllite Depth
ControlNets (SDXL) - Kohya Control-lllite Depth (Anime)
ControlNets (SDXL) - Kohya Control-lllite Openpose (...
ControlNets (SDXL) - Kohya Control-lllite Scribble Anime
T2I Adapters (Diffusers) - Sketch (SDXL)
T2I Adapters (Diffusers) - Depth-Zoe (SDXL)
T2I Adapters (Diffusers) - OpenPose (SDXL)
T2I Adapters (Diffusers) - Depth-MiDaS (SDXL)
T2I Adapters (Diffusers) - LineArt (SDXL)
T2I Adapters (Diffusers) - Canny (SDXL)

Diffusers というのは何だろうと思ったけれど、どうやら Pythonスクリプト内からStable Diffusionを呼び出せる、Diffusers なるツールがあるらしい…。とりあえず、Diffusers と記述されてるモデルデータは、Stable Diffusion web UI からも使えるようだなと…。

ダウンロードされた ControlNet用モデルデータは、Stability Matrixインストールフォルダ\Data\Models\ControlNet\ 以下に保存されていた。

動作確認してみたけれど、一応、Canny や Scribble は使えるように見えた。