2023/05/23(火) [n年前の日記]
#1 [cg_tools] 画像生成AIで生成した画像をFILMとAviUtlで動かしてみる
画像生成AI Stable Diffusion web UI で生成した画像を動かしてみたい。
手順の流れとしては以下。
とりあえず、成果物を先に出しとく。
左肩や髪のあたりがおかしいとか、瞬きをしてないから怖いとか、人間の動きじゃないとか、色々問題はあるだろうけど…。それでもまあ、AIが生成した画像を、(この程度の動きでも良いのであれば)一応動画にできるようではあるなと。
作業手順をメモしておく。ちなみに環境は以下。
手順の流れとしては以下。
- Stable Diffusion web UIで、2枚の人物画像と背景画像を生成。
- フレーム補間ツール FILM で中間画像ファイル群を生成。
- 動画編集ソフト AviUtl で読み込んで再生速度にイージングをつけて動画にする。
とりあえず、成果物を先に出しとく。
左肩や髪のあたりがおかしいとか、瞬きをしてないから怖いとか、人間の動きじゃないとか、色々問題はあるだろうけど…。それでもまあ、AIが生成した画像を、(この程度の動きでも良いのであれば)一応動画にできるようではあるなと。
作業手順をメモしておく。ちなみに環境は以下。
- Windows10 x64 22H2
- CPU : AMD Ryzen 5 5600X
- GPU : NVIDIA GeForce GTX1060 6GB
- RAM : 16GB
- AviUtl 1.10
◎ 元になる素材画像を用意する :
画像生成AI Stable Diffusion web UI を使って、似た感じの人物画像を2枚、加えて、背景画像を1枚、生成した。ちなみに、LoRAを使えば、人物の顔をある程度統一できそうな気はする。
◎ 人物画像の背景を消去 :
画像生成AIが生成した人物画像は、人物部分はともかく、背景部分が全然違う。
このままだとフレーム補間で中間画像を作った際におかしなことになるので、人物の背景を消去して透過部分にしてしまって、別の背景画像を合成してしまうことにした。
Stable Diffusion web UI には、人物画像の背景部分を消去してくれる拡張機能がいくつか存在している。今回は、sd_katanuki という拡張機能を利用させてもらった。ありがたや。
_GitHub - aka7774/sd_katanuki: Anime Image Background Remover for AUTOMATIC1111
_【sd_katanuki】画像の背景を一括で透明化や白背景化してくれる拡張機能の紹介！【Stable Diffusion】 | 悠々ログ
人物の背景部分がある程度消去できた。
フリンジが残っていたり、髪の毛のあたりがちょっとアレなのが気になるし、処理時間は若干かかるというか、待たされている感じはあるのだけど、それでも、手作業での切り抜き作業と比べたら、圧倒的に早く目的を果たせる感じはする。
切り抜いた人物画像に対して、GIMP 2.10.34 Portable を使って、背景画像を合成。以下のような感じになった。
このぐらいの画像になってくれれば、フレーム補間ツールもそれなりに処理をしてくれるだろう…。
このままだとフレーム補間で中間画像を作った際におかしなことになるので、人物の背景を消去して透過部分にしてしまって、別の背景画像を合成してしまうことにした。
Stable Diffusion web UI には、人物画像の背景部分を消去してくれる拡張機能がいくつか存在している。今回は、sd_katanuki という拡張機能を利用させてもらった。ありがたや。
_GitHub - aka7774/sd_katanuki: Anime Image Background Remover for AUTOMATIC1111
_【sd_katanuki】画像の背景を一括で透明化や白背景化してくれる拡張機能の紹介！【Stable Diffusion】 | 悠々ログ
人物の背景部分がある程度消去できた。
フリンジが残っていたり、髪の毛のあたりがちょっとアレなのが気になるし、処理時間は若干かかるというか、待たされている感じはあるのだけど、それでも、手作業での切り抜き作業と比べたら、圧倒的に早く目的を果たせる感じはする。
切り抜いた人物画像に対して、GIMP 2.10.34 Portable を使って、背景画像を合成。以下のような感じになった。
このぐらいの画像になってくれれば、フレーム補間ツールもそれなりに処理をしてくれるだろう…。
◎ FILMで中間画像を生成 :
Googleが開発したフレーム補間ツール、FILM を使って、2枚の画像から中間画像を生成した。全部で65枚の画像が得られた。
0000.png - 0064.png にリネームして、連番画像にしておく。
FILMの導入の仕方、使い方については、 _昨日の日記メモ が参考になるかもしれない。
0000.png - 0064.png にリネームして、連番画像にしておく。
FILMの導入の仕方、使い方については、 _昨日の日記メモ が参考になるかもしれない。
◎ AviUtl＋拡張編集プラグインで連番画像を読み込み :
出来上がった連番画像を、動画編集ソフト AviUtl + 拡張編集プラグインを使って動画にしていく。読み込んだ動画(連番画像)に対して、再生速度にイージングを適用していくことで、多少はそれっぽい動きになってくれることを期待する。
ここから先は、自分も作業手順を忘れそうなので、スクリーンショットを貼ってメモしていく…。3日後には忘れてそう…。
まずはプロジェクトを新規作成。拡張編集ウインドウの上で右クリック。「新規プロジェクトの作成」を選択。
元になる連番画像のサイズに合わせて、512x512、24fpsにしておく。
連番画像を動画として読み込む。右クリック → メディアオブジェクトの追加 → 動画ファイル。
動画ファイルオブジェクトのプロパティウインドウが開くので、「参照ファイル」をクリック。
連番画像の一番最初のファイルを選択して「開く」。
これで、連番画像を読み込んで、動画ファイルとして配置することができた。
ここから先は、自分も作業手順を忘れそうなので、スクリーンショットを貼ってメモしていく…。3日後には忘れてそう…。
まずはプロジェクトを新規作成。拡張編集ウインドウの上で右クリック。「新規プロジェクトの作成」を選択。
元になる連番画像のサイズに合わせて、512x512、24fpsにしておく。
連番画像を動画として読み込む。右クリック → メディアオブジェクトの追加 → 動画ファイル。
動画ファイルオブジェクトのプロパティウインドウが開くので、「参照ファイル」をクリック。
連番画像の一番最初のファイルを選択して「開く」。
これで、連番画像を読み込んで、動画ファイルとして配置することができた。
◎ ループ動画にするために動画ファイルを複製 :
1 → 2 → 1 と再生されるようなループ動画を作ってみたいので、読み込んだ動画(連番画像)をコピペで増やして配置する。
◎ 動画を早送り、逆再生 :
前半の動画、1 → 2 に相当する部分は、若干早送りで再生して尺を短くしたい。動画ファイルのプロパティウインドウで、再生速度を、100 から 150 に変更。これで、元の動画の150%の速度で再生されて、尺はその分短くなる。
例えばこの値を200にすれば倍速再生になるし、50にすれば1/2の速度でスロー再生される、らしい。
後半部分は、2 → 1 と再生されるようにしたいので、逆再生を指定する。再生速度にマイナス値を設定すると逆再生になってくれる。
例えばこの値を200にすれば倍速再生になるし、50にすれば1/2の速度でスロー再生される、らしい。
後半部分は、2 → 1 と再生されるようにしたいので、逆再生を指定する。再生速度にマイナス値を設定すると逆再生になってくれる。
◎ 再生速度にイージングをかける :
このまま再生すると、フレーム補間で作った中間画像がリニア(線形)で再生されて、機械的な動きになってしまう。イージングと呼ばれる加速/減速をつけてやることで、多少は自然な動きになるようにしたい。
再生速度、というか再生位置を調整するオブジェクトとして、「時間制御」というオブジェクトがあるらしいので、ソレを追加する。右クリック → メディアオブジェクトの追加 → 時間制御。
AviUtl でイージングを実現するスクリプトは色々あるようだけど、今回は、「イージングスクリプト トラックバー対応版」を利用させてもらうことにした。
_AviUtl イージングの悩みをあっさり解決。導入から使い方･2020年版まで初心者でもわかる。 - Aviutl簡単使い方入門｜すんなりわかる動画編集
_AviUtlで必須のスクリプト、イージング(トラックバー版) - FLAPPER
もっと細かくタイミングを指定をしたい場合は、グラフを描画して調整していくタイプのプラグインやスクリプトを利用することになるのだと思う。
_AviUtl、イージングをウィンドウ上で編集するCurve Editor - FLAPPER
_GitHub - mimaraka/aviutl-plugin-curve_editor: Curve Editor - 様々なイージングをウィンドウ上で編集
_AviUtlのイージングをカスタマイズ、マルチベジェ軌道 - FLAPPER
時間制御オブジェクトのプロパティウインドウ上で、「位置」をクリックして、easing_normal@uf_easing を選択。
イージングの種類を指定しないといけない。「位置」をクリックして、「設定」を選ぶ。
表示された「移動フレーム間隔」というウインドウ上で、イージングの種類番号を入力してEnter。
イージング種類は、イージングスクリプトに同梱されている画像を参考にする。一応引用しておきます。
再生速度、というか再生位置を調整するオブジェクトとして、「時間制御」というオブジェクトがあるらしいので、ソレを追加する。右クリック → メディアオブジェクトの追加 → 時間制御。
AviUtl でイージングを実現するスクリプトは色々あるようだけど、今回は、「イージングスクリプト トラックバー対応版」を利用させてもらうことにした。
_AviUtl イージングの悩みをあっさり解決。導入から使い方･2020年版まで初心者でもわかる。 - Aviutl簡単使い方入門｜すんなりわかる動画編集
_AviUtlで必須のスクリプト、イージング(トラックバー版) - FLAPPER
もっと細かくタイミングを指定をしたい場合は、グラフを描画して調整していくタイプのプラグインやスクリプトを利用することになるのだと思う。
_AviUtl、イージングをウィンドウ上で編集するCurve Editor - FLAPPER
_GitHub - mimaraka/aviutl-plugin-curve_editor: Curve Editor - 様々なイージングをウィンドウ上で編集
_AviUtlのイージングをカスタマイズ、マルチベジェ軌道 - FLAPPER
時間制御オブジェクトのプロパティウインドウ上で、「位置」をクリックして、easing_normal@uf_easing を選択。
イージングの種類を指定しないといけない。「位置」をクリックして、「設定」を選ぶ。
表示された「移動フレーム間隔」というウインドウ上で、イージングの種類番号を入力してEnter。
イージング種類は、イージングスクリプトに同梱されている画像を参考にする。一応引用しておきます。
◎ 終了フレームを指定 :
動画の終了フレームを指定。最後のフレームを表示した状態にしてから、右クリック → 範囲設定 → 現在位置を最終フレーム。
これで、再生速度にイージングをつけた状態の動画を作成することができた。
後は、連番画像として保存してからffmpegでmp4動画にしてもいいし、いきなり mp4 で出力できるプラグインを導入してもいい。
_AviUtlの連番画像の読み込みと出力のやり方を初心者にもわかりやすく解説 - Aviutl簡単使い方入門｜すんなりわかる動画編集
_AviUtl 物置 - JPN takeshima
_GitHub - rigaya/x264guiEx: 拡張 x264 出力(GUI) Ex
これで、再生速度にイージングをつけた状態の動画を作成することができた。
後は、連番画像として保存してからffmpegでmp4動画にしてもいいし、いきなり mp4 で出力できるプラグインを導入してもいい。
_AviUtlの連番画像の読み込みと出力のやり方を初心者にもわかりやすく解説 - Aviutl簡単使い方入門｜すんなりわかる動画編集
_AviUtl 物置 - JPN takeshima
_GitHub - rigaya/x264guiEx: 拡張 x264 出力(GUI) Ex
◎ イージングの有無を比較 :
念のため、リニア(線形、直線的)な再生速度のまま出力した動画と、イージングをつけた動画を並べておく。
個人的にはイージングがついてるほうが良いと思うのだけど…どうだろうか…。
個人的にはイージングがついてるほうが良いと思うのだけど…どうだろうか…。
◎ 余談。コマを抜いたり増やしたりしたい :
もっと細かく、コマ(フレーム)を抜いたり増やしたりしてタイミング調整をしたいのだけど、そういう作業が向いている動画編集ソフトはないのだろうか…。それはもう、動画編集ではなく、アニメ制作ソフトのジャンルになってしまいそうな気もするけど…。
連番画像を読み込んで、このコマは使う、このコマは使わない、とチェックを入れて編集する、みたいな…。後から何度も、各コマの有効無効を切り替えて調整するだろうから、一般的な動画編集ソフトの、コマをズバッと削除して作業するソレとはちょっと違うソフトになりそうな気がする。ソフトには、そのコマが読み込まれているし、ずっと保持されているけど、プレビュー再生時は無効のコマをスキップして再生するだけ、みたいな…。まあ、需要が無いか…。
連番画像を読み込んで、このコマは使う、このコマは使わない、とチェックを入れて編集する、みたいな…。後から何度も、各コマの有効無効を切り替えて調整するだろうから、一般的な動画編集ソフトの、コマをズバッと削除して作業するソレとはちょっと違うソフトになりそうな気がする。ソフトには、そのコマが読み込まれているし、ずっと保持されているけど、プレビュー再生時は無効のコマをスキップして再生するだけ、みたいな…。まあ、需要が無いか…。
[ ツッコむ ]
#2 [anime] 「サイボーグ009 超銀河伝説」を視聴
BS12で放送されていたソレを録画していたので視聴。石ノ森章太郎先生の漫画作品「サイボーグ009」のアニメ映画。
「サイボーグ009」は、最初の頃は東映動画がアニメ化していて、カラーになったTVアニメ2作目はサンライズがアニメ化していたそうで。しかもサンライズ版は、後に「ダグラム」「ボトムズ」を世に出す高橋良輔監督が担当。
そしてこの映画は、サンライズ版の後に作られたらしいけど…。サンライズではなく東映動画が制作したようで…。1980年12月に公開。 *1 監督さんも、高橋監督ではなく、明比正行監督が担当。
感想としては…。なかなか厳しい。1979年公開の「劇場版銀河鉄道999」の次の年の作品だけど、「999の後に、これかあ…」という気分に…。
とりあえず、サイボーグ戦士の若干一名が大変なことになるのだけど、ラスト近辺で更に大変なことに…。見ていて、「オイオイ。それでいいの？」と思ってしまった。散々サイボーグ戦士の悲哀を台詞で語っておきながら、何故そうなる…。まあ、シリーズ物は基本設定を迂闊に変更できないから大変ですなあ、という気分だけが残りました。
音楽がすぎやまこういち先生の担当だったらしいけど、演歌調の曲が多く、コレ本当にすぎやま先生なんでしょうか、当時はこういう作風だったのでしょうか、という疑問が…。編曲にお弟子さん達の名前が並んでるけど、それらの方々の作風なのかなあ…。あるいは監督やPが演歌調ばかり要求してきたのだろうか…。
視聴後、気になって関連情報をググってたのだけど、気になる話がチラホラ…。元々はりんたろう監督が担当する予定だったけど脚本がなかなかできなかったので降りちゃったとか。なんだか納得。この脚本ではなあ…。
りんたろう監督が担当してたら、脚本面はともかくとして、映像的にはもうちょっと観れるものになってたんだろうなと…。というか、あの頃のりんたろう監督の作家性って、かなり貴重だった気がする。
例えば、「劇場版999」「さよ銀」で、メーテルが登場する時はどんな見せ方をしていたか。それを思い返しながら、この作品のゲスト美女の登場の仕方を眺めると…。素人ながら、「どうしてこんなコンテでOKと思えるんだ…」と…。特別感、皆無。いやまあ、りんたろう監督が凄かったということだろうけど。フツーの演出家さんが作るとこうなるんだろうな…。
「サイボーグ009」は、最初の頃は東映動画がアニメ化していて、カラーになったTVアニメ2作目はサンライズがアニメ化していたそうで。しかもサンライズ版は、後に「ダグラム」「ボトムズ」を世に出す高橋良輔監督が担当。
そしてこの映画は、サンライズ版の後に作られたらしいけど…。サンライズではなく東映動画が制作したようで…。1980年12月に公開。 *1 監督さんも、高橋監督ではなく、明比正行監督が担当。
感想としては…。なかなか厳しい。1979年公開の「劇場版銀河鉄道999」の次の年の作品だけど、「999の後に、これかあ…」という気分に…。
とりあえず、サイボーグ戦士の若干一名が大変なことになるのだけど、ラスト近辺で更に大変なことに…。見ていて、「オイオイ。それでいいの？」と思ってしまった。散々サイボーグ戦士の悲哀を台詞で語っておきながら、何故そうなる…。まあ、シリーズ物は基本設定を迂闊に変更できないから大変ですなあ、という気分だけが残りました。
音楽がすぎやまこういち先生の担当だったらしいけど、演歌調の曲が多く、コレ本当にすぎやま先生なんでしょうか、当時はこういう作風だったのでしょうか、という疑問が…。編曲にお弟子さん達の名前が並んでるけど、それらの方々の作風なのかなあ…。あるいは監督やPが演歌調ばかり要求してきたのだろうか…。
視聴後、気になって関連情報をググってたのだけど、気になる話がチラホラ…。元々はりんたろう監督が担当する予定だったけど脚本がなかなかできなかったので降りちゃったとか。なんだか納得。この脚本ではなあ…。
りんたろう監督が担当してたら、脚本面はともかくとして、映像的にはもうちょっと観れるものになってたんだろうなと…。というか、あの頃のりんたろう監督の作家性って、かなり貴重だった気がする。
例えば、「劇場版999」「さよ銀」で、メーテルが登場する時はどんな見せ方をしていたか。それを思い返しながら、この作品のゲスト美女の登場の仕方を眺めると…。素人ながら、「どうしてこんなコンテでOKと思えるんだ…」と…。特別感、皆無。いやまあ、りんたろう監督が凄かったということだろうけど。フツーの演出家さんが作るとこうなるんだろうな…。
◎ ジェフ・シーガルさんが謎過ぎる :
公開当時、「『STAR WARS』の脚本を担当したジェフ・シーガルが脚本作りに協力」と宣伝してたらしいのだけど。この、ジェフ・シーガルさん、「STAR WARS」のスタッフに名を連ねていないという…。何者なんだ。ジェフ・シーガル。
気になってググったけれど、実はコミック版の制作に関係してる人だったのに脚本家と間違えられてしまったという説があったりするようで…。記者会見でも、「ルーカスに二言三言アドバイスしただけ」と答えていて、ガッチリ関わったわけじゃないよと一応本人も弁明してるとか…。一体どこで「STAR WARS」の脚本家扱いになってしまったのやら…。
ただ、この手の映像制作に全く関わってない人物、というわけでもないようで。色々な作品に関わっていたのは間違いないっぽい。ますます謎。何者なんだ…。
気になってググったけれど、実はコミック版の制作に関係してる人だったのに脚本家と間違えられてしまったという説があったりするようで…。記者会見でも、「ルーカスに二言三言アドバイスしただけ」と答えていて、ガッチリ関わったわけじゃないよと一応本人も弁明してるとか…。一体どこで「STAR WARS」の脚本家扱いになってしまったのやら…。
ただ、この手の映像制作に全く関わってない人物、というわけでもないようで。色々な作品に関わっていたのは間違いないっぽい。ますます謎。何者なんだ…。
*1: 東映動画ではなくて東映アニメーションではないの？ と思ったけど、東映アニメーションに名前が変わったのは、1998年だったらしい。
[ ツッコむ ]
以上、1 日分です。