mieki256's diary

_無料お絵描きアプリ「Krita」に画像生成AIを組み込んで落書きから美麗イラストを作成する方法まとめ、Stable DiffusionとControlNetをコマンドなしでサクッと導入可能 - GIGAZINE
_リアルタイム画像生成をkrita-ai-diffusionで試してみる | タクトシステム株式会社
_Krita AI Diffusion - Generative AI For Krita
_Krita-AI-Diffusionを使ったAI線画の作成方法|ぽんつく
_Kritaとkrita-ai-diffusionで描いている絵を高速にAI画像生成するのを試す #StableDiffusion - Qiita
_Krita で krita-ai-diffusion のライブ機能を試す - kitaroの自由帳
_Krita AI Diffusionの超進化した修復機能を徹底解説(写真加工編) Tutorial on Enhanced Inpaint of Krita AI Diffusion - YouTube
_AI生成とレタッチをシームレスに行う krita ai diffusionの導入と使い方 - YouTube
_【リアルタイムAI生成】krita-ai-diffusionの使い方 - YouTube

今までインストールしていた Krita は 5.2.2 だったので、最新版の 5.2.3 をインストールした。

_ダウンロード | Krita

インストーラ krita-x64-5.2.3-setup.exe を入手して実行。今回は、C:\Program Files\Krita (x64)\ にインストールした。


krita-ai-diffusion を入手する。

_Releases - Acly/krita-ai-diffusion

krita_ai_diffusion-1.20.1.zip を入手。

Krita を起動。ツール → スクリプト → Pythonプラグインをファイルからインポート、を選択。krita_ai_diffusion-1.20.1.zip を選択。zipファイルを選択することに注意。インストールされたら Krita を再起動。

Krita を再起動したら、新規画像(512 x 512)を作成。新規画像を作成しないと、設定 → ドッキングパネル、がグレーアウトしたままなので…。新規画像を作成したら、設定 → ドッキングパネル → AI Image Generation、にチェックを入れる。おそらくはウインドウの右下に、AI Image Generation というパネルが出現するので、Configure をクリック。

使いたい画像生成AIの種類にチェックを入れて、Installボタンをクリック。1時間ぐらいかけて必要なファイルがダウンロードされる。

• インストール場所は、今回は C:\aiwork\krita\ai_diffusion\server\ComfyUI\ にした。デフォルトでは、C:\Users\(USERNAME)\AppData\Roaming\krita\pykrita\ai_diffusion\.server\ だった気がする。
• SD1.5 と SDXL があるけれど、自分の使ってるビデオカードは NVIDIA GeForce GTX1060 6GB で VRAM が少ないので、SD1.5 だけを選ぶことにした。SDXL はもっとVRAMが多くないと使えなかったような…？ どうだったかな…。
• ControlNet関係は全部入れた。

全部で20GBぐらいのファイルがインストールされた。SD1.5だけでこの容量なので、SDXLも選んだらもっと増えるのだろうな…。

SD1.5 を使う場合は512x512、SDXLの場合は1024x1024ぐらいの新規画像を作成して、krita-ai-diffusion を利用していく感じになる。

最初は、レイヤーを1枚だけにしておいたほうが良さそうな気もする。2枚あると、レイヤー2枚分を画像生成してしまって、その分時間がかかってしまうような…？ 自分が勘違いしてるかもしれないけれど。

AI Image Generation のパネル上で、選べるモードは4つある。

• Generate : 通常の画像生成。画像の一部を修復する時もこのモードを使う。
• Upscale : AIを使って画像を拡大できる。
• Live : キャンバスに何か描いた途端に、その絵を元にして画像生成する。
• Animation : 不明。たぶん何かしらのアニメーションを作れるのだろうと思うけど…。

選べるモデルデータは、標準では3種類だろうか。

• Cinematic Photo (実写風)
• Digital Artwork (デジタルアート画像風)
• Comic & Anime (漫画＆アニメ風)

Generate モードにして、プロンプトに生成したい内容を打ち込んで Generate ボタンをクリックすれば画像が生成される。生成結果のサムネイルを選択すると「Apply」ボタンがサムネイル上に出現するので、「Apply」ボタンをクリックすると決定したことになり、キャンバス上に生成結果が別レイヤーで追加・適用される。

選択範囲を作った状態で、Strength(強さ) を、100%にするか、100%未満にするかで、処理内容を変えられる。

• 100%未満の場合は、Generate ボタンが Refine ボタンになって、選択範囲内を置き換えるような画像生成をしてくれる。
• 100%の場合は、選べる項目が以下のように増える。
• Fill : 選択範囲内を画像生成結果で塗り潰す。
• Expand : 選択範囲内を周囲の画像情報から推測して付け足してくれる。キャンバスの外に絵を付け足す感じ。
• Add Content : 選択範囲内にプロンプトで指定した内容のオブジェクトを追加してくれる。「ここに○○を増やしたい」時はコレ。
• Remove Content : 選択範囲内のオブジェクトを周囲の情報を元にして消去してくれる。「ここの○○を消去したい」時はコレ。
• Replace Background : 選択範囲外の背景を差し替えてくれる。

この機能を使うだけでも、フォトレタッチ作業が随分と楽になるのではないかという気もする。まあ、現状の画像生成AI関係はライセンス面がどうなっていくのかさっぱり分からんので、外に公開する何かしらに使うのは危ない気もする…。後から裁判起こされそう。

複数レイヤーに「＋」がついたようなアイコンをクリックすると、現在選択中のレイヤーに ControlNet を設定することができる。例えば Scribble を指定すれば、落書きを元にして画像生成、といったことができる。

Liveモードにして、再生ボタン(右向きの三角ボタン)をクリックすると、キャンバスに何か変更を加える度に、即座に画像生成AIが走るので、ちょこちょこ描いて生成結果を見てまたちょこちょこと描いて、といった感じで作業することができる。ただ、Strength が小さいと落書きがそのまま出てくるので、50%から100%の間にしたほうが見ていて面白い気もする。

LiveモードはLCMと呼ばれる技術を使っているせいか、高速に画像生成できる代わりに、元絵やプロンプトを無視しがちな傾向がありそうで、「違う。そうじゃない」と首を捻る結果が出やすい気もする…。まあ、それもそれで面白いからヨシ。

とりあえず、落書きして、Liveモード + ControlNet の Scribble を指定して、「robot,blue」で何度か生成してみた。


「ロボットといえばトランスフォーマーでしょう！」という Stable Diffusion の主張を感じる…。

「あー、そういう解釈をしちゃうかー」みたいなところはあるけれど、自分が思いつきそうにもない細部のデザインがポンポン出てくるので、案出しには使えそうな気配はする。ライセンス面でどういうことになるのか分からないから、この生成結果をそのまま使うわけにはいかないだろうけど。

ふと思ったけど、1stガンダムを作ってた頃の富野監督のMSデザインラフ案を与えてみたら、画像生成AIは一体どういうデザインを提示してくるんだろうな…。「スタジオぬえにお願いすると線が多くなって大変だからわざわざ大河原さんにお願いしたのにコレじゃ台無しだよ！ 没！」って感じのゴチャゴチャしたデザインを平気でバンバン出してきそうな予感。

Kritaで全レイヤーをエクスポートする方法はあるのかなとググってみた。

_save as - Export Krita Layers to Single Images - Super User

スクリプトで用意されていたらしい。ツール → スクリプト → レイヤーをエクスポート。処理したいファイルを選択して、出力フォルダを選択して、jpeg か png を選べば、各レイヤー毎に1枚の画像としてエクスポートしてくれる。

ブラシサイズを一発で指定したい。

_Krita 上で、よく使うブラシサイズをワンクリックで指定できるようにするプラグイン「Krita用クイックブラシサイズドッカー」 - GIGA!無料通信
_Krita用Quick Brush Sizeドッカー | Midari Create

Quick Brush Size Docker というプラグインをインストールすると可能になるらしい。CLIP STUDIO PAINT や FireAlpaca のような感覚でブラシサイズを変更できるようになる。ありがたや。

_Krita用クイックブラシサイズドッカーの詳細情報 : Vector ソフトを探す！

1. quick_brush_size.zip を入手して解凍。これは一旦解凍する必要がある。
2. 解凍すると、その中に QuickBrushSize.zip があるので…。
3. Krita を起動。
4. ツール → スクリプト → Pythonプラグインをファイルからインポート、を選択。
5. QuickBrushSize.zip を選択してインストール。
6. Kritaを再起動。
7. 設定 → ドッキングパネル → Quick Brush Size、で、有効無効を切り替えることができる。