Stable Diffusion Web UI (AUTOMATIC1111) with Waifu Diffusion で遊んでる
最近話題のStable Diffusion、気になりつつも当初はCLIだしHugging Faceの登録必要らしいしなー、ってスルーしてたんだけども。
Web UIあるよーっていうのを見かけたので、下記記事参考にちょいちょい遊んでる。
note.com
zenn.dev
基本的には対象リポジトリにあるWikiのSetupで問題ないんだけど、遊ぶときにちょいちょい素直にいかないところあったのでそこら辺のメモ。
github.com
モデルデータでかい問題
Stable Diffusionのモデルが4GB、Waifu Diffusionに至っては7.5GBもある。これのせいで
- DL超遅い
- (WSL2の) メモリ足りない
という事態になる。
DL超遅い問題
最初に必要なモデル (ckptファイルとか) ダウンロードするんだけど、こいつがすこぶる遅い*1。あまりに遅い*2のでcurlで事前にDLすることで解決した。
あとWaifu Diffusionのほうに至ってはcurlだと途中でぶった切られるんで結局VivaldiでふつーにDLした。ブラウザ超速い。
メモリ足りない問題
具体的にはdocker-composeでコンテナ起動時にモデル読み込むんだけど、この時点でメモリが足りないと死ぬ。
自分とこのPCはトータル16GBメモリ積んでるわけですが、Docker Desktop (WSL2) には8GBしか割り当ててなかったので、12GB割り当てて解決した。こればっかりはパワーが必要。
ちなみにこの時点でStable Diffusion自体もメモリ対策版の下のやつに差し替えた。
github.com
動くぞ
動いたら後は遊ぶだけである。
奇形になるぞ...?
なんか奇形になるんですよね。おっぱい二段重ねとか。*3
それでちょっとWaifu Diffusionのほう調べたら、どうもStable Diffusionとは違うらしく、
詳しくは
絵下手マンがWaifu Diffusionでファンアートを描く方法 - Qiita
を見てもらうとして、オリキャラ作ろうとする場合のpromptはおおむね
original [ソートされたDanbooruのタグ]
らしい。あと
Stable Diffusion - InstallGentoo Wiki
によれば
- 生成する画像の幅を512pxから広げるとおかしくなる
- なんなら高さも700px超えるとなんかおかしくなる
っていう傾向があるらしいことが分かったので、最近は 512px × 640px くらいでやってる。
( ´ー｀)ﾌｩｰ．．．
txt2imgはなんとなくわかってきたけど、img2imgがいまだにようわからん...好みのゴスロリ紫ロングヘアー巨乳悪魔っ娘生成の道は遠いな
