Stable Diffusion Web UIで
 超お手軽fine-tune
 推しの子に
 ラーメンを食わせよう


自己紹介
 ● 名前
 ○ 早野 康太
 ● お仕事
 ○ 自然言語モデルの改善
 ● 春アニメおすすめ
 (これだけ見とけば
 間違いない)
 ○ スキップとローファー
 ○ アイドルマスター U149


Stable Diffusionとは
 ● 文章を与えると画像を生成してくれるモデル
 ● 2022年にStability AIが公開
 ○ Google Colaboratory
 ■ https://huggingface.co/stabilityai/stable-diffusion-2
 
 
 


Stable Diffusionとは
 ● オープンソースなため
 さまざまなモデルが公開されている
 
 
 


Stable Diffusionとは
 ● 自分の環境で試したい...
 試したくない？
 
 
 


Stable Diffusion Web UI
 ● Stable Diffusionでの画像生成をブラウザ上で行えるツール
 


インストール
 ● Stable Diffusion web UI
 ○ Gitから取ってきてインストールすれば使用可能
 ○ 基本的にはREADMEに従えばOK
 


インストール
 ● Google Colaboratory上でも動かせる
 ○ GitHub - camenduru/stable-diffusion-webui-colab
 ○ ↑のnotebookをコピペしてそのまま実行すればOK
 ○ 実行環境はPRO+推奨
 


modelとかextensionsの追加について 
 ● モデル
 ○ stable-diffusion-webui/models配下にどんどん追加していく
 


modelとかextensionsの追加について 
 ● 拡張機能 (extension) でさまざまな機能を追加できる
 ○ ControlNet
 ○ LoRA
 ○ HyperNetworks
 ○ プロンプト補完
 


LoRA
 ● LoRA: Low-Rank Adaptation of Large Language Models
 ○ 元々のモデルのパラメータを更新せず
 「モデルに追加すべき重みの大きさ」を学習するため効率が良い
 ○ Stable Diffusionでは
 特定のキャラや絵柄を学習させるのによく使われる
 ○ Web UIのextensionsで利用可能
 ■ GitHub - liasece/sd-webui-train-tools: The stable diffusion webui training aid extension helps you quickly and visually train models such as Lora.


使ってみた
 ● 推しの子を学習させてみた
 出典：ウマ娘プリティーダービー ©Cygames, Inc. ● 学習設定
 ○ backbone: Anything v4
 ○ 手法: LoRA
 ○ 画像枚数: 32枚
 ○ lr: 3e-5
 ○ optim: AdaFactor
 ○ epochs: 30


使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.

使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.

使ってみた
 原作
 生成
 出典：ウマ娘プリティーダービー ©Cygames, Inc.

画像生成といえば
 ● AIの反逆によって異常ラーメン食べ女・AI樋口円香が生まれ、
 人間がそのファンアートを描くというカオスな流れが誕生しつつある - Togetter
 出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社

● (ちなめちゃ難しい)
 画像生成といえば
 出典：ウマ娘プリティーダービー ©Cygames, Inc., ジョジョの奇妙な冒険 黄金の風 荒木飛呂彦 ©集英社

まとめ
 ● Stable Diffusion Web UIを使えば
 簡単に画像生成に入門することができる
 
 ● LoRAでfine-tuneすれば推しの子の画像を生成できる
 ○ 用意する画像も20-30枚程度で十分