Stable Diffusion Web UI, Let Your Fave Eat Ramen

昨年から画像生成系AIの性能が格段に向上し、中でもStable Diffusionはオープンソースであることから様々な派生モデルが登場してきています。 こうしたモデルを自分で試したい時には、Stable Diffusion Web UIを使うと非常に便利です。 画像生成をするだけでなく、拡張機能で使い勝手を向上させたり、自分のデータセットでモデルを学習させるといったことも可能です。 今回は、Stable Diffusion Web UIの使い方や、好きなキャラの絵を描かせてみた結果についてお話します。

Transcript

1. Stable Diffusion Web UIで
 超お手軽fine-tune
 推しの子に
 ラーメンを食わせよう

2. 自己紹介
 • 名前
 ◦ 早野 康太
 • お仕事
 ◦ 自然言語モデルの改善
 • 春アニメおすすめ
 (これだけ見とけば
 間違いない)
 ◦ スキップとローファー
 ◦ アイドルマスター U149

3. Stable Diffusionとは
 • 文章を与えると画像を生成してくれるモデル
 • 2022年にStability AIが公開
 ◦ Google Colaboratory
 ▪ https://huggingface.co/stabilityai/stable-diffusion-2
 
 
 

4. Stable Diffusionとは
 • オープンソースなため
 さまざまなモデルが公開されている
 
 
 

5. Stable Diffusionとは
 • 自分の環境で試したい...
 試したくない？
 
 
 

6. Stable Diffusion Web UI
 • Stable Diffusionでの画像生成をブラウザ上で行えるツール
 

7. インストール
 • Stable Diffusion web UI
 ◦ Gitから取ってきてインストールすれば使用可能
 ◦ 基本的にはREADMEに従えばOK
 

8. インストール
 • Google Colaboratory上でも動かせる
 ◦ GitHub - camenduru/stable-diffusion-webui-colab
 ◦ ↑のnotebookをコピペしてそのまま実行すればOK
 ◦ 実行環境はPRO+推奨
 

9. modelとかextensionsの追加について 
 • モデル
 ◦ stable-diffusion-webui/models配下にどんどん追加していく
 

10. modelとかextensionsの追加について 
 • 拡張機能 (extension) でさまざまな機能を追加できる
 ◦ ControlNet
 ◦ LoRA
 ◦ HyperNetworks
 ◦ プロンプト補完
 

11. LoRA
 • LoRA: Low-Rank Adaptation of Large Language Models
 ◦ 元々のモデルのパラメータを更新せず
 「モデルに追加すべき重みの大きさ」を学習するため効率が良い
 ◦ Stable Diffusionでは
 特定のキャラや絵柄を学習させるのによく使われる
 ◦ Web UIのextensionsで利用可能
 ▪ GitHub - liasece/sd-webui-train-tools: The stable diffusion webui training aid extension helps you quickly and visually train models such as Lora.

12. 使ってみた
 • 推しの子を学習させてみた
 出典：ウマ娘プリティーダービー ©Cygames, Inc. • 学習設定
 ◦ backbone: Anything v4
 ◦ 手法: LoRA
 ◦ 画像枚数: 32枚
 ◦ lr: 3e-5
 ◦ optim: AdaFactor
 ◦ epochs: 30

13. 使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.
14. 使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.
15. 使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.
16. 画像生成といえば
 • AIの反逆によって異常ラーメン食べ女・AI樋口円香が生まれ、
 人間がそのファンアートを描くというカオスな流れが誕生しつつある - Togetter
 出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社
17. • (ちなめちゃ難しい)
 画像生成といえば
 出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社
18. まとめ
 • Stable Diffusion Web UIを使えば
 簡単に画像生成に入門することができる
 
 • LoRAでfine-tuneすれば推しの子の画像を生成できる
 ◦ 用意する画像も20-30枚程度で十分