Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stable Diffusionを動かしてみる
Search
Henry Cui
September 23, 2022
Technology
2
310
Stable Diffusionを動かしてみる
Henry Cui
September 23, 2022
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
160
Diffusion Model with Perceptual Loss
zchenry
0
79
レンズの下のLLM / LLM under the Lens
zchenry
0
99
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
210
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
63
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
Other Decks in Technology
See All in Technology
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
310
データベース03: 関係データモデル
trycycle
0
120
Gitlab本から学んだこと - そーだいなるプレイバック / gitlab-book
soudai
7
1.4k
M5と自作基板をくっつけてみた〜M5 Japan Tour 2024 Spring 福冈 (Fukuoka|福岡)〜
keropiyo
1
260
TailwindCSSでUIライブラリを作る際のハマりどころ
shuta13
0
190
Real World Type Puzzle and Code Generation
yukukotani
3
470
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
15
35k
中年男性がメインフレームから クラウドへキャリアシフトしてみた
uechishingo
1
430
RailsConf 2024 Keynote "Startups on Rails in 2024"
irinanazarova
0
110
Babylon.js JAPAN活動紹介 (2024/4)
limes2018
1
130
M&A戦略を支えるデータマネジメント (MIDAS Tech Study #16 GENDA Komiyama)
kommy339
1
170
AWS アーキテクチャ作図入門/aws-architecture-diagram-101
ma2shita
16
6.6k
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
125
8.5k
Building Your Own Lightsaber
phodgson
100
5.7k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
How to Ace a Technical Interview
jacobian
273
22k
The Cult of Friendly URLs
andyhume
74
5.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
80
44k
What's in a price? How to price your products and services
michaelherold
238
11k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
9
1.3k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
275
13k
Writing Fast Ruby
sferik
622
60k
Transcript
Stable Diffusionを動かしてみる 機械学習の社会実装勉強会第15回 Henry 2022/9/23
自己紹介 ▪ 東京大学理学部情報科学科 ▪ 同大学大学院情報理工学系研究科コンピュター科学専攻 ▪ 博士(情報理工学)取得 • ICMLなどの国際・国内学会・ジャーナルに論文発表 •
学振DC2・理研AIPセンター研究パートタイマー • AIPチャレンジなどの競争的研究費取得・外国大学への訪問 ▪ 在学中に大学発ベンチャーを共同創業し、CTOを務める 2
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 3
画像生成AIモデルの発展 4
Text to Image 生成例 by Stable Diffusion 5
(Text + Image) to Image 生成例 by Stable Diffusion A
fantasy landscape, trending on artstation 6
4.2 Gigabytes, or: How to Draw Anything ▪ https://andys.page/posts/how-to-draw/ ▪
Stable Diffusionを複数回(丁寧に)使えば実現できる 7
Text Inversion や DreamBooth ▪ より高度的な作業として、ユーザー指定の概念を生成画像に 含ませる • 似た機能がどんどん公開ライブラリーに追加されていく ▪
https://birdmanikioishota.blog.fc2.com/blog-entry-8.html 8
動画生成まで実現できる ▪ https://replicate.com/andreasjansson/stable-diffusion-anim ation • 生成過程に工夫して連続な画像変換が実現される ▪ https://github.com/nateraw/stable-diffusion-videos • 潜在空間の補間という単純なアプローチ
9
日本版 Stable Diffusion ▪ https://github.com/rinnakk/japanese-stable-diffusion ▪ https://huggingface.co/spaces/rinna/japanese-stable-diffus ion で体験できる ▪
目的 • Generate Japanese-style images • Understand Japanglish • Understand Japanese unique onomatope • Understand Japanese proper noun ▪ サラリーマン 油絵 10
TrinArtなどアタク向け拡張 11
Optimized Stable Diffusion ▪ https://github.com/basujindal/stable-diffusion ▪ リソースの少ない環境でより効率的に動かせるために最適化 された実装 ▪ The
code can now generate 512x512 images using under 2.4 GB of GPU VRAM! • 魅力的ですが、後ほどのデモでは optimize されてないライブラリーで 行う 12
環境構築したくない人向け ▪ GUIまで用意してくれたパッケージ ▪ Windowsで ▪ M1/M2 Macで • https://github.com/divamgupta/diffusionbee-stable-diffusion-ui
▪ https://www.charl-e.com/ 13
より使いやすいWeb API! ▪ https://computerender.com/ ▪ 下のように叩くだけ! 14
Prompt Engineering ▪ 提示文の書き方が大事 ▪ DALEE2 https://dallery.gallery/the-dalle-2-prompt-book/ ▪ https://lexica.art/ 15
関連研究が集まるところ ▪ NeurIPS 2022 Machine Learning for Creativity and Design
Workshop ▪ https://neuripscreativityworkshop.github.io/2022/ ▪ 今年年末! 16
その他の情報源 ▪ https://github.com/awesome-stable-diffusion/awesome-sta ble-diffusion • モデル、デモ、チュートリアル、UIなど幅広い情報など ▪ Reddit • https://www.reddit.com/r/StableDiffusion
や • https://www.reddit.com/r/StableDiffusion/comments/wqaizj/list_of_ stable_diffusion_systems/ など 17
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffuersの使い方 ▪ デモ 18
Diffusersライブラリー ▪ https://github.com/huggingface/diffusers ▪ 公式レポジトリにあるサンプルコード • https://github.com/CompVis/stable-diffusion/tree/main/scripts ▪ Huggingface ブログ
• https://huggingface.co/blog/stable_diffusion 19
シンプルな使い方 (1/2) ▪ 環境構築 • pip install diffusers==0.2.4 transformers==4.21.2 ftfy==6.1.1
▪ インポート • from diffusers import StableDiffusionPipeline ▪ パイプラインの準備 • pipe = StableDiffusionPipeline.from_pretrained('CompVis/stable-diffusion -v1-4', use_auth_token=AUTH_TOKEN) 20
シンプルな使い方 (2/2) ▪ 推論パラメータ • inference_kwargs = dict( height=args.height, width=args.width,
guidance_scale=args.guidance_scale, num_inference_steps=args.num_inference_steps) ▪ 推論 • image = pipe(args.prompt, **inference_kwargs)['sample'][0] 21
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 22