Stable Diffusion Web UI, Let Your Fave Eat Ramen

昨年から画像生成系AIの性能が格段に向上し、中でもStable Diffusionはオープンソースであることから様々な派生モデルが登場してきています。 こうしたモデルを自分で試したい時には、Stable Diffusion Web UIを使うと非常に便利です。 画像生成をするだけでなく、拡張機能で使い勝手を向上させたり、自分のデータセットでモデルを学習させるといったことも可能です。 今回は、Stable Diffusion Web UIの使い方や、好きなキャラの絵を描かせてみた結果についてお話します。

Transcript

1. Stable Diffusion Web UIで

   超お手軽fine-tune

   推しの子に

   ラーメンを食わせよう

   

   View Slide

2. 自己紹介

   ● 名前

   ○ 早野 康太

   ● お仕事

   ○ 自然言語モデルの改善

   ● 春アニメおすすめ

   (これだけ見とけば

   間違いない)

   ○ スキップとローファー

   ○ アイドルマスター U149

   

   View Slide

3. Stable Diffusionとは

   ● 文章を与えると画像を生成してくれるモデル

   ● 2022年にStability AIが公開

   ○ Google Colaboratory

   ■ https://huggingface.co/stabilityai/stable-diffusion-2

   

   

   

   

   View Slide

4. Stable Diffusionとは

   ● オープンソースなため

   さまざまなモデルが公開されている

   

   

   

   

   View Slide

5. Stable Diffusionとは

   ● 自分の環境で試したい...

   試したくない？

   

   

   

   

   View Slide

6. Stable Diffusion Web UI

   ● Stable Diffusionでの画像生成をブラウザ上で行えるツール

   

   

   View Slide

7. インストール

   ● Stable Diffusion web UI

   ○ Gitから取ってきてインストールすれば使用可能

   ○ 基本的にはREADMEに従えばOK

   

   

   View Slide

8. インストール

   ● Google Colaboratory上でも動かせる

   ○ GitHub - camenduru/stable-diffusion-webui-colab

   ○ ↑のnotebookをコピペしてそのまま実行すればOK

   ○ 実行環境はPRO+推奨

   

   

   View Slide

9. modelとかextensionsの追加について 

   ● モデル

   ○ stable-diffusion-webui/models配下にどんどん追加していく

   

   

   View Slide

10. modelとかextensionsの追加について 

    ● 拡張機能 (extension) でさまざまな機能を追加できる

    ○ ControlNet

    ○ LoRA

    ○ HyperNetworks

    ○ プロンプト補完

    

    

    View Slide

11. LoRA

    ● LoRA: Low-Rank Adaptation of Large Language Models

    ○ 元々のモデルのパラメータを更新せず

    「モデルに追加すべき重みの大きさ」を学習するため効率が良い

    ○ Stable Diffusionでは

    特定のキャラや絵柄を学習させるのによく使われる

    ○ Web UIのextensionsで利用可能

    ■ GitHub - liasece/sd-webui-train-tools: The stable diffusion webui
    training aid extension helps you quickly and visually train models such as
    Lora.

    

    View Slide

12. 使ってみた

    ● 推しの子を学習させてみた

    出典：ウマ娘プリティーダービー ©Cygames, Inc.
    ● 学習設定

    ○ backbone: Anything v4

    ○ 手法: LoRA

    ○ 画像枚数: 32枚

    ○ lr: 3e-5

    ○ optim: AdaFactor

    ○ epochs: 30

    

    View Slide

13. 使ってみた

    原作
 生成

    出典：ウマ娘プリティーダービー ©Cygames, Inc.
    

    View Slide

14. 使ってみた

    原作
 生成

    出典：ウマ娘プリティーダービー ©Cygames, Inc.
    

    View Slide

15. 使ってみた

    原作
 生成

    出典：ウマ娘プリティーダービー ©Cygames, Inc.
    

    View Slide

16. 画像生成といえば

    ● AIの反逆によって異常ラーメン食べ女・AI樋口円香が生まれ、

    人間がそのファンアートを描くというカオスな流れが誕生しつつある - Togetter

    出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社
    

    View Slide

17. ● (ちなめちゃ難しい)

    画像生成といえば

    出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社
    

    View Slide

18. まとめ

    ● Stable Diffusion Web UIを使えば

    簡単に画像生成に入門することができる

    

    ● LoRAでfine-tuneすれば推しの子の画像を生成できる

    ○ 用意する画像も20-30枚程度で十分

    

    

    

    

    

    View Slide