Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Slide 2
Slide 2 text
1 はじめに 参考図書：「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
Slide 3
Slide 3 text
2 拡散モデルとは ‧⽣成モデル
Slide 4
Slide 4 text
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
Slide 5
Slide 5 text
4 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
Slide 6
Slide 6 text
5 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
Slide 7
Slide 7 text
6 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
Slide 8
Slide 8 text
7 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
Slide 9
Slide 9 text
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
Slide 10
Slide 10 text
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
Slide 11
Slide 11 text
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
Slide 12
Slide 12 text
11 ブラウン運動 定義
Slide 13
Slide 13 text
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
Slide 14
Slide 14 text
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
Slide 15
Slide 15 text
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
Slide 16
Slide 16 text
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
Slide 17
Slide 17 text
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
Slide 18
Slide 18 text
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
Slide 19
Slide 19 text
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
Slide 20
Slide 20 text
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
Slide 21
Slide 21 text
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
Slide 22
Slide 22 text
21 Langevin⽅程式
Slide 23
Slide 23 text
22 Langevin⽅程式 あるいは
Slide 24
Slide 24 text
23 Langevin⽅程式 あるいは
Slide 25
Slide 25 text
24 Langevin Monte-Carlo法 離散化
Slide 26
Slide 26 text
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
Slide 27
Slide 27 text
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
Slide 28
Slide 28 text
27 Langevin⽅程式で遊んでみよう
Slide 29
Slide 29 text
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
Slide 30
Slide 30 text
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
Slide 31
Slide 31 text
30 うまくいった例 初期点 混合正規分布 終点
Slide 32
Slide 32 text
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
Slide 33
Slide 33 text
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
Slide 34
Slide 34 text
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之 : 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
Slide 35
Slide 35 text
34 Appendix
Slide 36
Slide 36 text
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？
Slide 37
Slide 37 text
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？ A. そもそも確率微分⽅程式が怪しい
Slide 38
Slide 38 text
37 確率積分 これは正当化可能
Slide 39
Slide 39 text
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか？ ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか？ (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも？) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…？)
Slide 40
Slide 40 text
39 Thank you