Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stable Diffusionを動かしてみる
Search
Henry Cui
September 23, 2022
Technology
2
300
Stable Diffusionを動かしてみる
Henry Cui
September 23, 2022
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
120
Diffusion Model with Perceptual Loss
zchenry
0
67
レンズの下のLLM / LLM under the Lens
zchenry
0
95
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
130
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
180
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
61
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
Other Decks in Technology
See All in Technology
最近たまに見かけるTiDBってなんだ? - Findy
pingcap0315
2
530
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
0
180
ここが嬉しいABAC ここが辛いよABAC #再解説+補足編
masahirokawahara
0
200
Databricks におけるデータエンジニアリング
databricksjapan
0
370
Signals Unleashed: The Full Guide
rainerhahnekamp
0
360
"好き"との生活/Regularly update profile with GitHub Actions
judeeeee
0
150
A (short) History of AI
harishpillay
0
110
[2024年3月版] Databricksのシステムアーキテクチャ
databricksjapan
7
1.9k
ユーザーストーリーのレビューを自動化したみたの
bun913
1
300
DevOpsDays History and my DevOps story
kawaguti
PRO
8
1.5k
Aurora MySQL v3(MySQL8.0互換)の オンラインDDLの罠挙動を全バージョンで検証した
yutakikai
0
150
少数チームで挑む: SwiftUI, TCA, KMPを用いた 新規動画配信アプリ 「ABEMA Live」の開発について
tomu28
0
530
Featured
See All Featured
Making Projects Easy
brettharned
108
5.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
243
20k
Code Reviewing Like a Champion
maltzj
513
39k
Adopting Sorbet at Scale
ufuk
67
8.6k
Building a Scalable Design System with Sketch
lauravandoore
455
32k
[RailsConf 2023] Rails as a piece of cake
palkan
22
3.9k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
658
120k
How to name files
jennybc
64
92k
Building Your Own Lightsaber
phodgson
98
5.7k
Embracing the Ebb and Flow
colly
79
4.1k
Ruby is Unlike a Banana
tanoku
96
10k
KATA
mclloyd
14
12k
Transcript
Stable Diffusionを動かしてみる 機械学習の社会実装勉強会第15回 Henry 2022/9/23
自己紹介 ▪ 東京大学理学部情報科学科 ▪ 同大学大学院情報理工学系研究科コンピュター科学専攻 ▪ 博士(情報理工学)取得 • ICMLなどの国際・国内学会・ジャーナルに論文発表 •
学振DC2・理研AIPセンター研究パートタイマー • AIPチャレンジなどの競争的研究費取得・外国大学への訪問 ▪ 在学中に株式会社パンハウスを共同創業 2
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 3
画像生成AIモデルの発展 4
Text to Image 生成例 by Stable Diffusion 5
(Text + Image) to Image 生成例 by Stable Diffusion A
fantasy landscape, trending on artstation 6
4.2 Gigabytes, or: How to Draw Anything ▪ https://andys.page/posts/how-to-draw/ ▪
Stable Diffusionを複数回(丁寧に)使えば実現できる 7
Text Inversion や DreamBooth ▪ より高度的な作業として、ユーザー指定の概念を生成画像に 含ませる • 似た機能がどんどん公開ライブラリーに追加されていく ▪
https://birdmanikioishota.blog.fc2.com/blog-entry-8.html 8
動画生成まで実現できる ▪ https://replicate.com/andreasjansson/stable-diffusion-anim ation • 生成過程に工夫して連続な画像変換が実現される ▪ https://github.com/nateraw/stable-diffusion-videos • 潜在空間の補間という単純なアプローチ
9
日本版 Stable Diffusion ▪ https://github.com/rinnakk/japanese-stable-diffusion ▪ https://huggingface.co/spaces/rinna/japanese-stable-diffus ion で体験できる ▪
目的 • Generate Japanese-style images • Understand Japanglish • Understand Japanese unique onomatope • Understand Japanese proper noun ▪ サラリーマン 油絵 10
TrinArtなどアタク向け拡張 11
Optimized Stable Diffusion ▪ https://github.com/basujindal/stable-diffusion ▪ リソースの少ない環境でより効率的に動かせるために最適化 された実装 ▪ The
code can now generate 512x512 images using under 2.4 GB of GPU VRAM! • 魅力的ですが、後ほどのデモでは optimize されてないライブラリーで 行う 12
環境構築したくない人向け ▪ GUIまで用意してくれたパッケージ ▪ Windowsで ▪ M1/M2 Macで • https://github.com/divamgupta/diffusionbee-stable-diffusion-ui
▪ https://www.charl-e.com/ 13
より使いやすいWeb API! ▪ https://computerender.com/ ▪ 下のように叩くだけ! 14
Prompt Engineering ▪ 提示文の書き方が大事 ▪ DALEE2 https://dallery.gallery/the-dalle-2-prompt-book/ ▪ https://lexica.art/ 15
関連研究が集まるところ ▪ NeurIPS 2022 Machine Learning for Creativity and Design
Workshop ▪ https://neuripscreativityworkshop.github.io/2022/ ▪ 今年年末! 16
その他の情報源 ▪ https://github.com/awesome-stable-diffusion/awesome-sta ble-diffusion • モデル、デモ、チュートリアル、UIなど幅広い情報など ▪ Reddit • https://www.reddit.com/r/StableDiffusion
や • https://www.reddit.com/r/StableDiffusion/comments/wqaizj/list_of_ stable_diffusion_systems/ など 17
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffuersの使い方 ▪ デモ 18
Diffusersライブラリー ▪ https://github.com/huggingface/diffusers ▪ 公式レポジトリにあるサンプルコード • https://github.com/CompVis/stable-diffusion/tree/main/scripts ▪ Huggingface ブログ
• https://huggingface.co/blog/stable_diffusion 19
シンプルな使い方 (1/2) ▪ 環境構築 • pip install diffusers==0.2.4 transformers==4.21.2 ftfy==6.1.1
▪ インポート • from diffusers import StableDiffusionPipeline ▪ パイプラインの準備 • pipe = StableDiffusionPipeline.from_pretrained('CompVis/stable-diffusion -v1-4', use_auth_token=AUTH_TOKEN) 20
シンプルな使い方 (2/2) ▪ 推論パラメータ • inference_kwargs = dict( height=args.height, width=args.width,
guidance_scale=args.guidance_scale, num_inference_steps=args.num_inference_steps) ▪ 推論 • image = pipe(args.prompt, **inference_kwargs)['sample'][0] 21
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 22