Stable Diffusionで遊んでみた

Transcript

1. Stable Diffusion で遊んでみた ドミニオンのカードとか作ってみた
2. Stable Diffusionって何 • 拡散(diffusion)モデルに基づく画像生成AIの実装、GitHubで公開されている。 • 拡散モデルって何？ ◦ ノイズから始めノイズを除去していくことで画像を生成するモデル。
3. 使用環境 • Ryzen 5 5600g • DDR4 3200 MHz 64GB • GeForce RTX 3060 12GB • Windows 11 • Ubuntu 20.04 WSL2
5. 手法 • Ubuntu 20.04 CUDAのライブラリを入れる ◦ ドライバはふしぎなちからで Windowsにインストールしたものが使えるらしい • condaをインストールしUbuntu 20.04の中に仮想環境を作る ◦ wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh ◦ sh Anaconda3-2022.05-Linux-x86_64.sh ◦ conda create -n stable-diffusion python=3.9 ◦ conda activate stable-diffusion • 必要なライブラリを入れる ◦ conda install pytorch torchvision torchaudio cudatoolkit=11.6 -c pytorch -c conda-forge ◦ conda install jupyter pandas matplotlib -c conda-forge
6. 手法 • Hugging face (モデルを配布) のアカウントをセットアップ ◦ https://huggingface.co/CompVis/stable-diffusion-v1-4 ◦ アクセストークンも作った • 依存ライブラリを入れる ◦ pip install diffusers transformers scipy ftfy ◦ huggingface-cli login # アクセストークンを使う • https://tadaoyamaoka.hatenablog.com/entry/2022/08/23/222813
8. ドミニオンのカード作ってみた • ドミニオンって何 ◦ デッキを構築するボードゲーム • https://shardofhonor.github.io/dominion-card-generator/ を利用
9. 財宝カード • many copper coins oil paint
10. 呪いカード • lots crows perched on a branch in the dark, oil painting
11. 勝利点カード • mansion outside view oil painting
12. イベントカード • medieval parliament oil paintig
13. 感想 • Stable Diffusion楽しい ◦ 呪文を入れると絵が出てくる ◦ image2imageでリファインする等もできそう ◦ AIに大量に生成させてディレクター気分 • クオリティ高くない？ ◦ 既に同人ボドゲのコンポーネント（カードなど）に使えるレベル • Geforce RTX 3060 12GBいいな ◦ ミドルなのに12GBも載ってるし良い ◦ 1画像生成に15秒ほど • メモリ64GBいいな ◦ Stable Diffusionを動かして資料を作っていたら気がついたら 32GBを超えていた