Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stable Diffusionを動かしてみる
Search
Henry Cui
September 23, 2022
Technology
2
390
Stable Diffusionを動かしてみる
Henry Cui
September 23, 2022
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
210
Direct Preference Optimization
zchenry
0
380
Diffusion Model with Perceptual Loss
zchenry
0
420
レンズの下のLLM / LLM under the Lens
zchenry
0
190
Go with the Prompt Flow
zchenry
0
170
Mojo Dojo
zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
580
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
130
Other Decks in Technology
See All in Technology
LLMを搭載したプロダクトの品質保証の模索と学び
qa
0
1.1k
AWSで始める実践Dagster入門
kitagawaz
1
710
COVESA VSSによる車両データモデルの標準化とAWS IoT FleetWiseの活用
osawa
1
370
「何となくテストする」を卒業するためにプロダクトが動く仕組みを理解しよう
kawabeaver
0
420
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
320
2025/09/16 仕様駆動開発とAI-DLCが導くAI駆動開発の新フェーズ
masahiro_okamura
0
100
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
260
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
500
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
5
730
20250912_RPALT_データを集める→とっ散らかる問題_Obsidian紹介
ratsbane666
0
100
テストを軸にした生き残り術
kworkdev
PRO
0
210
Apache Spark もくもく会
taka_aki
0
120
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Automating Front-end Workflow
addyosmani
1370
200k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Music & Morning Musume
bryan
46
6.8k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3k
For a Future-Friendly Web
brad_frost
180
9.9k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Faster Mobile Websites
deanohume
309
31k
Transcript
Stable Diffusionを動かしてみる 機械学習の社会実装勉強会第15回 Henry 2022/9/23
自己紹介 ▪ 東京大学理学部情報科学科 ▪ 同大学大学院情報理工学系研究科コンピュター科学専攻 ▪ 博士(情報理工学)取得 • ICMLなどの国際・国内学会・ジャーナルに論文発表 •
学振DC2・理研AIPセンター研究パートタイマー • AIPチャレンジなどの競争的研究費取得・外国大学への訪問 ▪ 在学中に大学発ベンチャーを共同創業し、CTOを務める 2
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 3
画像生成AIモデルの発展 4
Text to Image 生成例 by Stable Diffusion 5
(Text + Image) to Image 生成例 by Stable Diffusion A
fantasy landscape, trending on artstation 6
4.2 Gigabytes, or: How to Draw Anything ▪ https://andys.page/posts/how-to-draw/ ▪
Stable Diffusionを複数回(丁寧に)使えば実現できる 7
Text Inversion や DreamBooth ▪ より高度的な作業として、ユーザー指定の概念を生成画像に 含ませる • 似た機能がどんどん公開ライブラリーに追加されていく ▪
https://birdmanikioishota.blog.fc2.com/blog-entry-8.html 8
動画生成まで実現できる ▪ https://replicate.com/andreasjansson/stable-diffusion-anim ation • 生成過程に工夫して連続な画像変換が実現される ▪ https://github.com/nateraw/stable-diffusion-videos • 潜在空間の補間という単純なアプローチ
9
日本版 Stable Diffusion ▪ https://github.com/rinnakk/japanese-stable-diffusion ▪ https://huggingface.co/spaces/rinna/japanese-stable-diffus ion で体験できる ▪
目的 • Generate Japanese-style images • Understand Japanglish • Understand Japanese unique onomatope • Understand Japanese proper noun ▪ サラリーマン 油絵 10
TrinArtなどアタク向け拡張 11
Optimized Stable Diffusion ▪ https://github.com/basujindal/stable-diffusion ▪ リソースの少ない環境でより効率的に動かせるために最適化 された実装 ▪ The
code can now generate 512x512 images using under 2.4 GB of GPU VRAM! • 魅力的ですが、後ほどのデモでは optimize されてないライブラリーで 行う 12
環境構築したくない人向け ▪ GUIまで用意してくれたパッケージ ▪ Windowsで ▪ M1/M2 Macで • https://github.com/divamgupta/diffusionbee-stable-diffusion-ui
▪ https://www.charl-e.com/ 13
より使いやすいWeb API! ▪ https://computerender.com/ ▪ 下のように叩くだけ! 14
Prompt Engineering ▪ 提示文の書き方が大事 ▪ DALEE2 https://dallery.gallery/the-dalle-2-prompt-book/ ▪ https://lexica.art/ 15
関連研究が集まるところ ▪ NeurIPS 2022 Machine Learning for Creativity and Design
Workshop ▪ https://neuripscreativityworkshop.github.io/2022/ ▪ 今年年末! 16
その他の情報源 ▪ https://github.com/awesome-stable-diffusion/awesome-sta ble-diffusion • モデル、デモ、チュートリアル、UIなど幅広い情報など ▪ Reddit • https://www.reddit.com/r/StableDiffusion
や • https://www.reddit.com/r/StableDiffusion/comments/wqaizj/list_of_ stable_diffusion_systems/ など 17
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffuersの使い方 ▪ デモ 18
Diffusersライブラリー ▪ https://github.com/huggingface/diffusers ▪ 公式レポジトリにあるサンプルコード • https://github.com/CompVis/stable-diffusion/tree/main/scripts ▪ Huggingface ブログ
• https://huggingface.co/blog/stable_diffusion 19
シンプルな使い方 (1/2) ▪ 環境構築 • pip install diffusers==0.2.4 transformers==4.21.2 ftfy==6.1.1
▪ インポート • from diffusers import StableDiffusionPipeline ▪ パイプラインの準備 • pipe = StableDiffusionPipeline.from_pretrained('CompVis/stable-diffusion -v1-4', use_auth_token=AUTH_TOKEN) 20
シンプルな使い方 (2/2) ▪ 推論パラメータ • inference_kwargs = dict( height=args.height, width=args.width,
guidance_scale=args.guidance_scale, num_inference_steps=args.num_inference_steps) ▪ 推論 • image = pipe(args.prompt, **inference_kwargs)['sample'][0] 21
内容 ▪ 画像生成とStable Diffusionの応用例など ▪ Diffusersの使い方 ▪ デモ 22