mieki256's diary

画像生成AI Stable Diffusion web UI と SDXL で実験中。SDXL で ControlNet (OpenPose) は使えるのかどうかが気になったので、そのあたりを少し試してた。

最初、OpenPose画像を渡しても全然反映されなくて悩んでしまった。OpenPose画像を渡す場合はプリプロセッサの種類を None にしないといけないことをすっかり忘れていた…。プリプロセッサは写真等から OpenPose を生成する際に使うものなので、OpenPose画像をプリプロセッサで処理してしまったら只の真っ黒な画像しか出てこない。それじゃ反映されるわけがない…。

しかし、kohya_controllllite_xl_openpose_anime.safetensors や kohya_controllllite_xl_openpose_anime_v2.safetensors を選んでも、やはり OpenPose が反映されなくて悩んでしまった。

ググったところ、それらのモデルデータを使ってもなかなか反映されないのが定評らしく…。thibaud_xl_openpose.safetensors を入手して試用してみたところ、多少は反映されるようになった。ただ、kohya_* のモデルデータ容量が数十MBなのに対して、thibaud_xl_openpose.safetensors は2.3GBぐらいあるけれど…。

ControlNet の Canny も試してみたけれど、これもなかなか思ったようにはいかず。

ググった感じでは、SD1.5 と比べて SDXL は ControlNet が反映されない傾向があるっぽい。そういうものなのか…。