mieki256's diary

インストールは、Stable Diffusion web UI の拡張機能タブから行える。リストを読み込んで「anything」と検索欄に打ってやればリストアップされるので、インストールボタンを押す。インストールができたら Stable Diffusion web UI reForge を再起動。

インストールに成功すると Inpaint anythingタブが追加されるのでそれを選択。

セグメントで分けるためにはモデルデータが必要になるので、使いたいモデルデータを選んでダウンロードボタンを押す必要がある。モデルデータは、以下の場所に配置される。

Stable Diffusion web UI reForgeインストールフォルダ\extensions\sd-webui-inpaint-anything\models\

今回ダウンロードしたモデルデータは以下。

sam2_hiera_base_plus.pt	308.5MB	323493298 byte
sam2_hiera_small.pt	175.8MB	184309650 byte
sam_vit_l_0b3195.pth	1.2GB	1249524607 byte
sam_vit_b_01ec64.pth	357.7MB	375042383 byte
sam_hq_vit_l.pth	1.2GB	1254865805 byte
sam_hq_vit_b.pth	361.8MB	379335069 byte
FastSAM-x.pt	138.2MB	144943063 byte
FastSAM-s.pt	22.7MB	23832055 byte
mobile_sam.pt	38.8MB	40728226 byte

• huge, large, base のモデルデータがあって、_h, _l, _b とファイル名につけてある。ファイルサイズは、huge > large > base になっている。
• あるいは、large > base > small > tiny の順になっている場合もある。
• hq とついているのは高品質な結果を出す、らしい。
• Fast とついているのは、処理が早い。精度は甘くなる。

1. 画像をエクスプローラ等からドラッグアンドドロップすれば読み込まれる。
2. セグメント分割するためのモデルデータを選んで、Run Segment Anything ボタンをクリック。
3. そこそこ時間がかかって処理が行われる。セグメントで分割された画像が出てくる。
4. マスクとして使いたい領域の上でマウスの左クリック。もしくはドラッグ。点や線で指示されたセグメントが選択された領域扱いになる。
5. Create Mask をクリック。マスク領域が作成される。

マスク領域の上には、マウスクリックやマウスドラッグで何かしらを描いていける。このレイヤーをスケッチと呼んでいるららしい。

3つのボタンの意味は以下。

• Expand mask region : マスク領域を1ドット広げる。
• Trim mask by sketch : マスク領域から、スケッチに描かれた分を取り除く。
• Add mask by sketch : マスク領域に、スケッチに描かれた分を追加する。

マスク領域ができたら、Inpainting で、マスク領域内を別の画像上で置き換えることができる。

ただ、この Inpainting をするためには、更にモデルデータが必要で…。どれかしらを選んで処理をすると、もしかするとモデルデータをダウンロードして処理してくれるのかもしれない。

ただ、どこにモデルデータが配置されるのか分からなかった。README.md には、以下に置いてある、と書いてあるのだけど…。中を覗いても見当たらない…。

C:\Users\(USERNAME)\.cache\huggingface\hub\

Mask only を使えば、Get mask でマスクを作成して、img2img に送ることもできる。

インストール直後は、生成画像は以下に記録されるらしい。

.\outputs\inpaint-anything\

ただ、設定を変更すれば、img2img の出力フォルダに切り替えることもできる。設定 → Inapint anything。