拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

Transcript

1. 0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
2. 1 はじめに 参考図書：「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
3. 2 拡散モデルとは ‧⽣成モデル
4. 3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
5. 4 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
6. 5 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
7. 6 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
8. 7 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
9. 8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10. 9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
11. 10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
12. 11 ブラウン運動 定義
13. 12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
14. 13 確率微分⽅程式の数値解法 Euler・丸山スキーム
15. 14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16. 15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17. 16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
18. 17 確率微分⽅程式の数値解法 Euler・丸山スキーム
19. 18 確率微分⽅程式の数値解法 Euler・丸山スキーム
20. 19 確率微分⽅程式の数値解法 Euler・丸山スキーム
21. 20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
22. 21 Langevin⽅程式
23. 22 Langevin⽅程式 あるいは
24. 23 Langevin⽅程式 あるいは
25. 24 Langevin Monte-Carlo法 離散化
26. 25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
27. 26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
28. 27 Langevin⽅程式で遊んでみよう
29. 28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
30. 29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
31. 30 うまくいった例 初期点 混合正規分布 終点
32. 31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
33. 32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
34. 33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之 : 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
35. 34 Appendix
36. 35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？
37. 36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？ A. そもそも確率微分⽅程式が怪しい
38. 37 確率積分 これは正当化可能
39. 38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか？ ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか？ (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも？) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…？)
40. 39 Thank you