2023/06/12(月) [n年前の日記]
#1 [cg_tools] OpenPoseについて調べてた
画像生成AI Stable Diffusion web UI は、ControlNet という拡張機能を追加すると人物画像のポーズなどを指定しやすくなる。その ControlNet の中に、OpenPose という棒人形っぽい画像を渡すことでポーズを指定する機能があるので、そのあたりを少し調べてた。
◎ 色は不要だった :
OpenPose は、右や左、肩や肘等の区別を色の違いで表現しているもの、と思っていたのだけど。Stable Diffusion web UI + ControlNet でOpenPoseを利用する場合、実は色情報は要らなくて、グレーの線が引いてあるだけでも十分らしい…。
_コンノヒロムさんはTwitterを...: 「ControlNetのOpenPose、体の左右を無視して常に... Twitter
手元の環境で試してみたけど、真っ黒(#000000) の背景の上に、灰色(#808080等)で線を引くだけで、たしかにポーズが指定できた…。
今まで、きっちり色違いで線を描きつつ、各頂点にもしっかり丸を描かなきゃいけないものと思い込んで苦労してた…。実は OpenPose Editor なんて要らなかったのだな…。いやまあ、OpenPose Editor は別の用途で使えそうだけど。
_コンノヒロムさんはTwitterを...: 「ControlNetのOpenPose、体の左右を無視して常に... Twitter
手元の環境で試してみたけど、真っ黒(#000000) の背景の上に、灰色(#808080等)で線を引くだけで、たしかにポーズが指定できた…。
今まで、きっちり色違いで線を描きつつ、各頂点にもしっかり丸を描かなきゃいけないものと思い込んで苦労してた…。実は OpenPose Editor なんて要らなかったのだな…。いやまあ、OpenPose Editor は別の用途で使えそうだけど。
◎ 色の一覧 :
グレーの線でも反映されると知る前に、OpenPose の色定義を探して眺めていたので、そのあたりも一応メモ。以下のやり取りで、色一覧が提示されてた。
_what is the OpenPose bone color scheme used for the controlnet model? - lllyasviel/ControlNet - Discussion #266 - GitHub
_Openpose-18-keypoints_coco_color_codes_v13-1.pdf
ただ、OpenPose 1.7.0 で抽出した OpenPose画像と照らし合わせると、色が違う気がする…。肩だの肘だのを示す頂点の色は合ってるように見えたけど、各頂点を結ぶ線の色が全然違うような…？ 一覧では、線の色については少しだけ暗い色、60%の色として列挙されてるけれど、OpenPose 1.7.0 が出力した画像は頂点の色と線の色が同じに見える…。
_what is the OpenPose bone color scheme used for the controlnet model? - lllyasviel/ControlNet - Discussion #266 - GitHub
_Openpose-18-keypoints_coco_color_codes_v13-1.pdf
ただ、OpenPose 1.7.0 で抽出した OpenPose画像と照らし合わせると、色が違う気がする…。肩だの肘だのを示す頂点の色は合ってるように見えたけど、各頂点を結ぶ線の色が全然違うような…？ 一覧では、線の色については少しだけ暗い色、60%の色として列挙されてるけれど、OpenPose 1.7.0 が出力した画像は頂点の色と線の色が同じに見える…。
[ ツッコむ ]
以上、1 日分です。