2023/05/14(日) [n年前の日記]
#1 [cg_tools] ControlNet+OpenPoseでちょっとハマった
画像生成AI Stable Diffusion web UI 上で、天地が逆になってるポーズの指定って本当にできないのかなと気になって、そのあたりを試してた。
OpenPose を使えば、棒人間? 棒人形? 相当を使ってポーズを指定できるはずなので…。Openpose Editor という拡張機能を使って、ポーズを作って、ControlNet に転送して、ということをやっていたのだけど…。生成画像にポーズが全く反映されなくて悩んでしまった。ControlNetを最新版にアップデート等々、アレコレやってみたけど改善されず。
何のことはない。ControlNet のプリプロセッサで、OpenPose関係を選んで指定するという、トホホなミスをしていた…。
プリプロセッサの OpenPose 云々は、写真やイラストから、OpenPose を抽出するために指定するものであって…。この場合、既に自分でOpenPose画像を用意しているのだから、プリプロセッサは「None」にして、モデルデータだけ OpenPose を選ばないといけなかった。
そんなわけで、OpenPose で指定したポーズが反映される状態にはなったのだけど…。予想通り、天地が逆になったポーズは、見た瞬間悲鳴を挙げたくなるような、とんでもない画像を生成してしまう…。そういったポーズの学習データが皆無なんだろう…。そりゃまあ、そうだよな。そんな奇天烈な構図/ポーズでわざわざ写真を撮る人なんて居るわけないし。写真がほぼ存在しないのだから、学習するはずもない。
学習していないものをAIは出せない、と再認識。
OpenPose を使えば、棒人間? 棒人形? 相当を使ってポーズを指定できるはずなので…。Openpose Editor という拡張機能を使って、ポーズを作って、ControlNet に転送して、ということをやっていたのだけど…。生成画像にポーズが全く反映されなくて悩んでしまった。ControlNetを最新版にアップデート等々、アレコレやってみたけど改善されず。
何のことはない。ControlNet のプリプロセッサで、OpenPose関係を選んで指定するという、トホホなミスをしていた…。
プリプロセッサの OpenPose 云々は、写真やイラストから、OpenPose を抽出するために指定するものであって…。この場合、既に自分でOpenPose画像を用意しているのだから、プリプロセッサは「None」にして、モデルデータだけ OpenPose を選ばないといけなかった。
そんなわけで、OpenPose で指定したポーズが反映される状態にはなったのだけど…。予想通り、天地が逆になったポーズは、見た瞬間悲鳴を挙げたくなるような、とんでもない画像を生成してしまう…。そういったポーズの学習データが皆無なんだろう…。そりゃまあ、そうだよな。そんな奇天烈な構図/ポーズでわざわざ写真を撮る人なんて居るわけないし。写真がほぼ存在しないのだから、学習するはずもない。
学習していないものをAIは出せない、と再認識。
[ ツッコむ ]
以上です。