mieki256's diary

以下のファイルを入手。

• flux1-dev-bnb-nf4-v2.safetensors ... checkpointデータ。(StabilityMatrixインストールフォルダ)\Data\Models\StableDiffusion\ にコピー。11.2GBほど。
• ae.safetensors ... VAEデータ。(StabilityMatrixインストールフォルダ)\Data\Models\VAE\ にコピー。319.8MBほど。
• clip_l.safetensors ... (StabilityMatrixインストールフォルダ)\Data\Packages\Stable Diffusion WebUI Forge\models\text_encoder\ にコピー。234.7MBほど。
• t5xxl_fp8_e4m3fn.safetensors ... (StabilityMatrixインストールフォルダ)\Data\Packages\Stable Diffusion WebUI Forge\models\text_encoder\ にコピー。4.6GBほど。

_lllyasviel/flux1-dev-bnb-nf4 at main
_silveroxides/flux1-nf4-weights at main
_comfyanonymous/flux_text_encoders at main

• FLUX.1 のモデルデータは、dev と schenll のどちらかを入手できるらしい。
• dev のほうが細かく描画できるけど処理時間が長くて、schnell のほうが荒いけど処理時間が短いらしい。
• 描写の細かさとメモリの使用量は比例する。fp16 > fp8 > nf4 になってるらしい。

自分の環境は VRAM が圧倒的に少ないし、メインメモリもこの手のソレを動かすならおそらく最低レベルだろうから、最初から nf4 だの fp8 だのを選んだ。どうせコレ以外は選べないだろう…。たぶん。

checkpoint と VAE は、Stability Matrix が用意しているモデルデータ格納フォルダに配置すれば済むのだけど。それ以外のファイルは text_encoder/ なるフォルダに入れないといけないらしくて。でも、Stability Matrix側のフォルダの中に、そんなフォルダは無い。仕方ないので Forge をインストールしてあるフォルダの中に配置してしまうことにした。

Stability Matrix 経由で Stable Diffusion web UI Forge を起動。Google Chrome から http://127.0.0.1:7860/ にアクセスしてUI画面を開いた。

• UI : flux を選択。
• Checkpoint : sd\flux1-dev-bnb-nf4-v2.safetensors を選択。
• VAE/Text Encoder : ae.safetensors, clip_l.safetensors, t5xxl_fp8_e4m3fn.safetensors の3つを選択。
• Diffusion in Low Bits : Automatic にしておいた。
• Swap Method : Queue を選択。
• Swap Location : CPU を選択。
• GPU Weights (MB) : 5119 が入ってたのでそのまま。
• サンプリング方法 : Euler
• Schedule type : Simple
• サンプリングステップ数 : 20。FLUX dev の場合は 20 で、FLUX schnell の場合は 4 にするらしい。
• 幅 x 高さ : 896 x 1152 が入ってたのでそのまま。
• Distilled CFG Scale : 3.5 になってたのでそのまま。
• CFGスケール : 1。FLUX.1 はここが1で固定らしい。

画像が生成された。VRAMが6GBしかないのに、ちゃんと画像が生成された。Forge スゴイ。スゴイぞ。

しかし、最初の画像を生成するのに40分かかった…。このスペックのPCでは、さすがにそのぐらいかかるか…。ただ、2枚目の画像生成は10分ぐらいだった。

調子に乗って(?)、flux1-schnell-bnb-nf4.safetensors を入手して配置して、そちらを選んで生成してみた。この場合、2分ぐらいで画像生成できた。ただ、プロンプトの内容があまり反映されてないような感じもする…。

それと、なんだか色合いが全般的におかしい。自分、VAE/Text Encoderの指定を間違えてないか？

とはいえ、話題の FLUX.1 をこんなヘボヘボスペックのPCで動かせたのはスゴイなと…。Forgeスゴイ。

fp8 や nf4 の場合、VAE/Text Encoderが含まれてるから指定しなくてもいいと前述の記事に書いてあった。たしかに外してみても変な色にはならなかった。