2024/07/24(水) [n年前の日記]
#1 [krita] krita-ai-diffusionを試用
無料で利用できるお絵かきソフト Krita に画像生成AI Stable Diffusion を組み込める、krita-ai-diffusion というプラグインがあると知った。気になったので試用してみることにした。
環境は、Windows10 x64 22H2 + Krita 5.2.3 x64。CPU は AMD Ryzen 5 5600X。GPU は NVIDIA GeForce GTX 1060 6GB。RAM 16GB。
環境は、Windows10 x64 22H2 + Krita 5.2.3 x64。CPU は AMD Ryzen 5 5600X。GPU は NVIDIA GeForce GTX 1060 6GB。RAM 16GB。
◎ 参考ページ :
_無料お絵描きアプリ「Krita」に画像生成AIを組み込んで落書きから美麗イラストを作成する方法まとめ、Stable DiffusionとControlNetをコマンドなしでサクッと導入可能 - GIGAZINE
_リアルタイム画像生成をkrita-ai-diffusionで試してみる | タクトシステム株式会社
_Krita AI Diffusion - Generative AI For Krita
_Krita-AI-Diffusionを使ったAI線画の作成方法|ぽんつく
_Kritaとkrita-ai-diffusionで描いている絵を高速にAI画像生成するのを試す #StableDiffusion - Qiita
_Krita で krita-ai-diffusion のライブ機能を試す - kitaroの自由帳
_Krita AI Diffusionの超進化した修復機能を徹底解説(写真加工編) Tutorial on Enhanced Inpaint of Krita AI Diffusion - YouTube
_AI生成とレタッチをシームレスに行う krita ai diffusionの導入と使い方 - YouTube
_【リアルタイムAI生成】krita-ai-diffusionの使い方 - YouTube
_リアルタイム画像生成をkrita-ai-diffusionで試してみる | タクトシステム株式会社
_Krita AI Diffusion - Generative AI For Krita
_Krita-AI-Diffusionを使ったAI線画の作成方法|ぽんつく
_Kritaとkrita-ai-diffusionで描いている絵を高速にAI画像生成するのを試す #StableDiffusion - Qiita
_Krita で krita-ai-diffusion のライブ機能を試す - kitaroの自由帳
_Krita AI Diffusionの超進化した修復機能を徹底解説(写真加工編) Tutorial on Enhanced Inpaint of Krita AI Diffusion - YouTube
_AI生成とレタッチをシームレスに行う krita ai diffusionの導入と使い方 - YouTube
_【リアルタイムAI生成】krita-ai-diffusionの使い方 - YouTube
◎ インストール :
今までインストールしていた Krita は 5.2.2 だったので、最新版の 5.2.3 をインストールした。
_ダウンロード | Krita
インストーラ krita-x64-5.2.3-setup.exe を入手して実行。今回は、C:\Program Files\Krita (x64)\ にインストールした。
krita-ai-diffusion を入手する。
_Releases - Acly/krita-ai-diffusion
krita_ai_diffusion-1.20.1.zip を入手。
Krita を起動。ツール → スクリプト → Pythonプラグインをファイルからインポート、を選択。krita_ai_diffusion-1.20.1.zip を選択。zipファイルを選択することに注意。インストールされたら Krita を再起動。
Krita を再起動したら、新規画像(512 x 512)を作成。新規画像を作成しないと、設定 → ドッキングパネル、がグレーアウトしたままなので…。新規画像を作成したら、設定 → ドッキングパネル → AI Image Generation、にチェックを入れる。おそらくはウインドウの右下に、AI Image Generation というパネルが出現するので、Configure をクリック。
使いたい画像生成AIの種類にチェックを入れて、Installボタンをクリック。1時間ぐらいかけて必要なファイルがダウンロードされる。
全部で20GBぐらいのファイルがインストールされた。SD1.5だけでこの容量なので、SDXLも選んだらもっと増えるのだろうな…。
_ダウンロード | Krita
インストーラ krita-x64-5.2.3-setup.exe を入手して実行。今回は、C:\Program Files\Krita (x64)\ にインストールした。
krita-ai-diffusion を入手する。
_Releases - Acly/krita-ai-diffusion
krita_ai_diffusion-1.20.1.zip を入手。
Krita を起動。ツール → スクリプト → Pythonプラグインをファイルからインポート、を選択。krita_ai_diffusion-1.20.1.zip を選択。zipファイルを選択することに注意。インストールされたら Krita を再起動。
Krita を再起動したら、新規画像(512 x 512)を作成。新規画像を作成しないと、設定 → ドッキングパネル、がグレーアウトしたままなので…。新規画像を作成したら、設定 → ドッキングパネル → AI Image Generation、にチェックを入れる。おそらくはウインドウの右下に、AI Image Generation というパネルが出現するので、Configure をクリック。
使いたい画像生成AIの種類にチェックを入れて、Installボタンをクリック。1時間ぐらいかけて必要なファイルがダウンロードされる。
- インストール場所は、今回は C:\aiwork\krita\ai_diffusion\server\ComfyUI\ にした。デフォルトでは、C:\Users\(USERNAME)\AppData\Roaming\krita\pykrita\ai_diffusion\.server\ だった気がする。
- SD1.5 と SDXL があるけれど、自分の使ってるビデオカードは NVIDIA GeForce GTX1060 6GB で VRAM が少ないので、SD1.5 だけを選ぶことにした。SDXL はもっとVRAMが多くないと使えなかったような…？ どうだったかな…。
- ControlNet関係は全部入れた。
全部で20GBぐらいのファイルがインストールされた。SD1.5だけでこの容量なので、SDXLも選んだらもっと増えるのだろうな…。
◎ 使い方 :
SD1.5 を使う場合は512x512、SDXLの場合は1024x1024ぐらいの新規画像を作成して、krita-ai-diffusion を利用していく感じになる。
最初は、レイヤーを1枚だけにしておいたほうが良さそうな気もする。2枚あると、レイヤー2枚分を画像生成してしまって、その分時間がかかってしまうような…？ 自分が勘違いしてるかもしれないけれど。
AI Image Generation のパネル上で、選べるモードは4つある。
選べるモデルデータは、標準では3種類だろうか。
Generate モードにして、プロンプトに生成したい内容を打ち込んで Generate ボタンをクリックすれば画像が生成される。生成結果のサムネイルを選択すると「Apply」ボタンがサムネイル上に出現するので、「Apply」ボタンをクリックすると決定したことになり、キャンバス上に生成結果が別レイヤーで追加・適用される。
選択範囲を作った状態で、Strength(強さ) を、100%にするか、100%未満にするかで、処理内容を変えられる。
複数レイヤーに「＋」がついたようなアイコンをクリックすると、現在選択中のレイヤーに ControlNet を設定することができる。例えば Scribble を指定すれば、落書きを元にして画像生成、といったことができる。
Liveモードにして、再生ボタン(右向きの三角ボタン)をクリックすると、キャンバスに何か変更を加える度に、即座に画像生成AIが走るので、ちょこちょこ描いて生成結果を見てまたちょこちょこと描いて、といった感じで作業することができる。ただ、Strength が小さいと落書きがそのまま出てくるので、50%から100%の間にしたほうが見ていて面白い気もする。
LiveモードはLCMと呼ばれる技術を使っているせいか、高速に画像生成できる代わりに、元絵やプロンプトを無視しがちな傾向がありそうで、「違う。そうじゃない」と首を捻る結果が出やすい気もする…。まあ、それもそれで面白いからヨシ。
最初は、レイヤーを1枚だけにしておいたほうが良さそうな気もする。2枚あると、レイヤー2枚分を画像生成してしまって、その分時間がかかってしまうような…？ 自分が勘違いしてるかもしれないけれど。
AI Image Generation のパネル上で、選べるモードは4つある。
- Generate : 通常の画像生成。画像の一部を修復する時もこのモードを使う。
- Upscale : AIを使って画像を拡大できる。
- Live : キャンバスに何か描いた途端に、その絵を元にして画像生成する。
- Animation : 不明。たぶん何かしらのアニメーションを作れるのだろうと思うけど…。
選べるモデルデータは、標準では3種類だろうか。
- Cinematic Photo (実写風)
- Digital Artwork (デジタルアート画像風)
- Comic & Anime (漫画＆アニメ風)
Generate モードにして、プロンプトに生成したい内容を打ち込んで Generate ボタンをクリックすれば画像が生成される。生成結果のサムネイルを選択すると「Apply」ボタンがサムネイル上に出現するので、「Apply」ボタンをクリックすると決定したことになり、キャンバス上に生成結果が別レイヤーで追加・適用される。
選択範囲を作った状態で、Strength(強さ) を、100%にするか、100%未満にするかで、処理内容を変えられる。
- 100%未満の場合は、Generate ボタンが Refine ボタンになって、選択範囲内を置き換えるような画像生成をしてくれる。
- 100%の場合は、選べる項目が以下のように増える。
- Fill : 選択範囲内を画像生成結果で塗り潰す。
- Expand : 選択範囲内を周囲の画像情報から推測して付け足してくれる。キャンバスの外に絵を付け足す感じ。
- Add Content : 選択範囲内にプロンプトで指定した内容のオブジェクトを追加してくれる。「ここに○○を増やしたい」時はコレ。
- Remove Content : 選択範囲内のオブジェクトを周囲の情報を元にして消去してくれる。「ここの○○を消去したい」時はコレ。
- Replace Background : 選択範囲外の背景を差し替えてくれる。
複数レイヤーに「＋」がついたようなアイコンをクリックすると、現在選択中のレイヤーに ControlNet を設定することができる。例えば Scribble を指定すれば、落書きを元にして画像生成、といったことができる。
Liveモードにして、再生ボタン(右向きの三角ボタン)をクリックすると、キャンバスに何か変更を加える度に、即座に画像生成AIが走るので、ちょこちょこ描いて生成結果を見てまたちょこちょこと描いて、といった感じで作業することができる。ただ、Strength が小さいと落書きがそのまま出てくるので、50%から100%の間にしたほうが見ていて面白い気もする。
LiveモードはLCMと呼ばれる技術を使っているせいか、高速に画像生成できる代わりに、元絵やプロンプトを無視しがちな傾向がありそうで、「違う。そうじゃない」と首を捻る結果が出やすい気もする…。まあ、それもそれで面白いからヨシ。
◎ 試してみた :
とりあえず、落書きして、Liveモード + ControlNet の Scribble を指定して、「robot,blue」で何度か生成してみた。
「ロボットといえばトランスフォーマーでしょう！」という Stable Diffusion の主張を感じる…。
「あー、そういう解釈をしちゃうかー」みたいなところはあるけれど、自分が思いつきそうにもない細部のデザインがポンポン出てくるので、案出しには使えそうな気配はする。ライセンス面でどういうことになるのか分からないから、この生成結果をそのまま使うわけにはいかないだろうけど。
ふと思ったけど、1stガンダムを作ってた頃の富野監督のMSデザインラフ案を与えてみたら、画像生成AIは一体どういうデザインを提示してくるんだろうな…。「スタジオぬえにお願いすると線が多くなって大変だからわざわざ大河原さんにお願いしたのにコレじゃ台無しだよ！ 没！」って感じのゴチャゴチャしたデザインを平気でバンバン出してきそうな予感。
「ロボットといえばトランスフォーマーでしょう！」という Stable Diffusion の主張を感じる…。
「あー、そういう解釈をしちゃうかー」みたいなところはあるけれど、自分が思いつきそうにもない細部のデザインがポンポン出てくるので、案出しには使えそうな気配はする。ライセンス面でどういうことになるのか分からないから、この生成結果をそのまま使うわけにはいかないだろうけど。
ふと思ったけど、1stガンダムを作ってた頃の富野監督のMSデザインラフ案を与えてみたら、画像生成AIは一体どういうデザインを提示してくるんだろうな…。「スタジオぬえにお願いすると線が多くなって大変だからわざわざ大河原さんにお願いしたのにコレじゃ台無しだよ！ 没！」って感じのゴチャゴチャしたデザインを平気でバンバン出してきそうな予感。
◎ 余談。Kritaで全レイヤーをエクスポート :
Kritaで全レイヤーをエクスポートする方法はあるのかなとググってみた。
_save as - Export Krita Layers to Single Images - Super User
スクリプトで用意されていたらしい。ツール → スクリプト → レイヤーをエクスポート。処理したいファイルを選択して、出力フォルダを選択して、jpeg か png を選べば、各レイヤー毎に1枚の画像としてエクスポートしてくれる。
_save as - Export Krita Layers to Single Images - Super User
スクリプトで用意されていたらしい。ツール → スクリプト → レイヤーをエクスポート。処理したいファイルを選択して、出力フォルダを選択して、jpeg か png を選べば、各レイヤー毎に1枚の画像としてエクスポートしてくれる。
◎ 余談。ブラシサイズを一発で指定したい :
ブラシサイズを一発で指定したい。
_Krita 上で、よく使うブラシサイズをワンクリックで指定できるようにするプラグイン「Krita用クイックブラシサイズドッカー」 - GIGA!無料通信
_Krita用Quick Brush Sizeドッカー | Midari Create
Quick Brush Size Docker というプラグインをインストールすると可能になるらしい。CLIP STUDIO PAINT や FireAlpaca のような感覚でブラシサイズを変更できるようになる。ありがたや。
_Krita用クイックブラシサイズドッカーの詳細情報 : Vector ソフトを探す！
_Krita 上で、よく使うブラシサイズをワンクリックで指定できるようにするプラグイン「Krita用クイックブラシサイズドッカー」 - GIGA!無料通信
_Krita用Quick Brush Sizeドッカー | Midari Create
Quick Brush Size Docker というプラグインをインストールすると可能になるらしい。CLIP STUDIO PAINT や FireAlpaca のような感覚でブラシサイズを変更できるようになる。ありがたや。
_Krita用クイックブラシサイズドッカーの詳細情報 : Vector ソフトを探す！
- quick_brush_size.zip を入手して解凍。これは一旦解凍する必要がある。
- 解凍すると、その中に QuickBrushSize.zip があるので…。
- Krita を起動。
- ツール → スクリプト → Pythonプラグインをファイルからインポート、を選択。
- QuickBrushSize.zip を選択してインストール。
- Kritaを再起動。
- 設定 → ドッキングパネル → Quick Brush Size、で、有効無効を切り替えることができる。
[ ツッコむ ]
#2 [anime] 「負けヒロインが多すぎる！」1〜2話を視聴
数日前にHDDレコーダに録画してたソレを視聴してたけどメモするのを忘れてたのでメモ。ライトノベルを原作とする学園ラブコメTVアニメ。制作はA-1 Pictures。北村翔太郎監督の初監督作品、らしい。たぶん。
見ていて唸ってしまった。素晴らしい。これはもう素晴らしい出来としか言いようがない。
「負けヒロイン」という、ラノベ/漫画/アニメ/ゲームに出てくるキャラ属性の分類概念にフォーカスを当てた基本設定や、次々に繰り出される主人公の軽快なツッコミ等、原作レベルで既に出来がいいのだろうなと思えるのだけど、コンテ、演出、作画、色彩設計、撮影、どれも隙が無いというか。夏の学校感とか、旧校舎の非常階段感とか、非常に雰囲気が出ていて、実に良い感じ…。
ところどころで新海誠監督作品と見紛うレベルのカットが出てきて…。もしも新海誠監督が純度の高い只のラブコメを作ってみたらどんな映像になるのかな？ たぶんこうなるだろう。みたいな印象も…。ホントかどうかは知らないけれど、新海誠監督も1話を見てべた褒めしていたという話も見かけた。
1話については、動画や撮影等も含めて A-1 Pictures の内製率が高いらしい。菊池雄一郎プロデューサーが、スタジオの総力を結集すればこのレベルの映像は作れるという証明にはなっただろう、みたいな感じの発言していただけのことはあるなと…。
なんとなく、京アニの「けいおん！」を思い出したりもした。この内容で何故ここまで作り込む？ みたいな。「獅子は兎を狩るにも全力を尽くす」とはこういう光景なのでは…。
この後の話数でどうなっていくのかそこは全然分からないけれど、少なくとも1〜2話については完璧な出来じゃないのかなと…。
見ていて唸ってしまった。素晴らしい。これはもう素晴らしい出来としか言いようがない。
「負けヒロイン」という、ラノベ/漫画/アニメ/ゲームに出てくるキャラ属性の分類概念にフォーカスを当てた基本設定や、次々に繰り出される主人公の軽快なツッコミ等、原作レベルで既に出来がいいのだろうなと思えるのだけど、コンテ、演出、作画、色彩設計、撮影、どれも隙が無いというか。夏の学校感とか、旧校舎の非常階段感とか、非常に雰囲気が出ていて、実に良い感じ…。
ところどころで新海誠監督作品と見紛うレベルのカットが出てきて…。もしも新海誠監督が純度の高い只のラブコメを作ってみたらどんな映像になるのかな？ たぶんこうなるだろう。みたいな印象も…。ホントかどうかは知らないけれど、新海誠監督も1話を見てべた褒めしていたという話も見かけた。
1話については、動画や撮影等も含めて A-1 Pictures の内製率が高いらしい。菊池雄一郎プロデューサーが、スタジオの総力を結集すればこのレベルの映像は作れるという証明にはなっただろう、みたいな感じの発言していただけのことはあるなと…。
なんとなく、京アニの「けいおん！」を思い出したりもした。この内容で何故ここまで作り込む？ みたいな。「獅子は兎を狩るにも全力を尽くす」とはこういう光景なのでは…。
この後の話数でどうなっていくのかそこは全然分からないけれど、少なくとも1〜2話については完璧な出来じゃないのかなと…。
◎ 感心した箇所 :
1話については色んなカットで感心してしまったのだけど、個人的には、カットが変わった直後に教室の扉の前でヒロインがピョンとジャンプしていたカットにシビレてしまった。コンテで指示してあったのか、作画の人が思いついてアドリブで盛り込んだのか分からんけれど…。よくまあこんな見せ方、いや、使い方を思いつくもんだなと。
要するに、実写のバラエティ番組でたまに見かける、ジャンプして着地したら全然別の場所に居るというあの見せ方の応用だろうなと。あるいは昭和ライダーのライダージャンプでもいい。いわゆるモンタージュ技法ってやつ。
自分達はそういう見せ方があるということを、知識としては持っている。何度も目にしてきているから、提示されれば「ああ、アレね」とすぐにピンと来る。だから、人によっては「それのどこが面白いの？」「よくある見せ方じゃん」と言い出すかもしれない。しかし…。
まさか、学校の教室の中で、学生さん達がたわいもない会話をしているその場面で、ライダージャンプ(の後半)が出てくるなんてフツー誰も思わないって。このタイミングでソレ使う？ いや、たしかに使えるなコレ。全然使えるわ。いやー、このスタッフ、よく気が付いたな…。天才かよ…。みたいな。
しかも、その仕草を見せることで、視聴者側には「ちょ。今お前どっから湧いてきた？」「お前…神出鬼没やな」という感想が高い確率で発生する。演出が視聴者の心理をたしかに誘導できてると言える。ジャンプして着地するというアクションの前半をぶった切って見せてるだけなのに。
そういう細かいアレコレが1話の各所に盛り込まれていて、結果、塵も積もれば的に、こちら側では「このヒロイン変なヤツだなー」「実際に隣に居たら大迷惑だよなあ」という印象に育っていって…。そしてラストのあたり、旧校舎の屋上で、いきなり『あの表情』を見せてくるわけだから…。演出家の手のひらの上でコロコロと転がされてる(?)ようなこの感覚。実に気持ち良い…。次々に繰り出される職人芸の数々。良い。実に良い。
「ガラスの仮面」原作者の美内すずえ先生の発言を ―― 「ネタより見せ方のほうが大事」という言を思い出したりもして。ネタ＝基本設定だけを見たら、たぶんこのアニメはさほど評価されないだろうなと思うのだけど、見せ方については尋常じゃないレベルで仕上げてる印象で…。「よくあるネタじゃん」なんて言ってるうちはまだ浅い。その「よくあるネタ」を面白く感じさせるように「見せ方」を工夫しまくってるあたりが逆に凄いんですよ。この食材でこんな料理作っちゃうのかよ、さすがプロの料理人は違うわ…。みたいな。
何にせよ、いいもの見せていただきました。素晴らしい。
要するに、実写のバラエティ番組でたまに見かける、ジャンプして着地したら全然別の場所に居るというあの見せ方の応用だろうなと。あるいは昭和ライダーのライダージャンプでもいい。いわゆるモンタージュ技法ってやつ。
自分達はそういう見せ方があるということを、知識としては持っている。何度も目にしてきているから、提示されれば「ああ、アレね」とすぐにピンと来る。だから、人によっては「それのどこが面白いの？」「よくある見せ方じゃん」と言い出すかもしれない。しかし…。
まさか、学校の教室の中で、学生さん達がたわいもない会話をしているその場面で、ライダージャンプ(の後半)が出てくるなんてフツー誰も思わないって。このタイミングでソレ使う？ いや、たしかに使えるなコレ。全然使えるわ。いやー、このスタッフ、よく気が付いたな…。天才かよ…。みたいな。
しかも、その仕草を見せることで、視聴者側には「ちょ。今お前どっから湧いてきた？」「お前…神出鬼没やな」という感想が高い確率で発生する。演出が視聴者の心理をたしかに誘導できてると言える。ジャンプして着地するというアクションの前半をぶった切って見せてるだけなのに。
そういう細かいアレコレが1話の各所に盛り込まれていて、結果、塵も積もれば的に、こちら側では「このヒロイン変なヤツだなー」「実際に隣に居たら大迷惑だよなあ」という印象に育っていって…。そしてラストのあたり、旧校舎の屋上で、いきなり『あの表情』を見せてくるわけだから…。演出家の手のひらの上でコロコロと転がされてる(?)ようなこの感覚。実に気持ち良い…。次々に繰り出される職人芸の数々。良い。実に良い。
「ガラスの仮面」原作者の美内すずえ先生の発言を ―― 「ネタより見せ方のほうが大事」という言を思い出したりもして。ネタ＝基本設定だけを見たら、たぶんこのアニメはさほど評価されないだろうなと思うのだけど、見せ方については尋常じゃないレベルで仕上げてる印象で…。「よくあるネタじゃん」なんて言ってるうちはまだ浅い。その「よくあるネタ」を面白く感じさせるように「見せ方」を工夫しまくってるあたりが逆に凄いんですよ。この食材でこんな料理作っちゃうのかよ、さすがプロの料理人は違うわ…。みたいな。
何にせよ、いいもの見せていただきました。素晴らしい。
[ ツッコむ ]
以上、1 日分です。