Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
NearMeの技術発表資料です
PRO
October 28, 2023
Science
500
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
NearMeの技術発表資料です
PRO
October 28, 2023
Transcript
40 slides
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
1 はじめに 参考図書:「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
2 拡散モデルとは ‧⽣成モデル
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
4 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
5 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
6 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
7 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11 ブラウン運動 定義
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
21 Langevin⽅程式
22 Langevin⽅程式 あるいは
23 Langevin⽅程式 あるいは
24 Langevin Monte-Carlo法 離散化
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27 Langevin⽅程式で遊んでみよう
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
30 うまくいった例 初期点 混合正規分布 終点
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
34 Appendix
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ? A. そもそも確率微分⽅程式が怪しい
37 確率積分 これは正当化可能
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか? ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか? (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも?) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39 Thank you
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
判断特化モデル Jev で 開発チケットをトリアージする
nearme_tech
PRO
0
42
Develop and customize Slackbot with Centaur
nearme_tech
PRO
0
26
AIエージェントのための 隔離された安全なインフラ設計
nearme_tech
PRO
0
44
Claude Code × git worktree で並列開発 (続き) -差分のサービスだけを併設する-
nearme_tech
PRO
1
82
Claude Code × git worktree で並列開発 — サブモジュール構成のリポジトリで成立させる —
nearme_tech
PRO
0
88
LLM + 強化学習
nearme_tech
PRO
0
46
PosthogのA/Bテスト機能の紹介
nearme_tech
PRO
1
120
AIフレンドリーなプロダクトに向けて
nearme_tech
PRO
2
82
初めてのLean言語
nearme_tech
PRO
0
150
Other Decks in Science
See All in Science
Where does the rigor go? Research software and the future of trustworthy science.
arfon
0
430
生成AI・プレプリント時代における 研究成果公開の再設計 ― トップカンファレンス文化はどこへ向かうのか / Redesigning the Dissemination of Research Outputs in the Age of Generative AI and Preprints — Where Is the Top-Conference Culture Heading?
ykiyota
0
31k
[Relay webinaire eBIS actu n°16] Conclusion
institutdelelevage
PRO
0
320
Sunday Math Party 36 - Operate with Operate
butchi
0
110
因果探索の発展と展望
sshimizu2006
2
1.3k
Collective Predictive Coding Hypothesis: Emergence of Language and Cooperative Behaviors
tanichu
0
250
J-STAGE全文XML登載必須化について
xspa2012
0
1.7k
人工知能のための哲学塾 ニューロフィロソフィ篇 第一夜 「無著、世親と唯識のはじまり、ニューラルネットワークのはじまり」
miyayou
0
150
JSAI2026企画セッションKS-14 インタビュー集『⼈⼯知能と哲学と四つの問い』が提起する⼈⼯知能のこれからの課題 趣旨説明 / JSAI2026 Special Session: A Collection of Interviews, “Artificial Intelligence, Philosophy, and Four Questions”
ykiyota
0
500
薬学部出身の新卒営業がAmazon Bio Discoveryで自由研究してみた!
kusunokikeisuke
0
260
Build your own LLM, Live, with MicroGPT
ianozsvald
0
180
Massey Ratings for Match Outcome Prediction in Table Tennis: Evidence of Greater Stability than the ITTF World Ranking
konakalab
0
200
Featured
See All Featured
Google's AI Overviews - The New Search
badams
0
1.7k
AI Search: Where Are We & What Can We Do About It?
aleyda
0
8.2k
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
900
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs
inesmontani
PRO
3
3.8k
Bash Introduction
62gerente
615
220k
Effective software design: The role of men in debugging patriarchy in IT @ Voxxed Days AMS
baasie
1
620
ラッコキーワード サービス紹介資料
rakko
5
5.9M
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Writing Fast Ruby
sferik
630
63k
Sam Torres - BigQuery for SEOs
techseoconnect
PRO
0
610
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
Building the Perfect Custom Keyboard
takai
2
960