拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

1 はじめに参考図書：「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE

2 拡散モデルとは ‧⽣成モデル

3 拡散モデルとは ‧⽣成モデル拡散モデルは⽣成モデルの⼀種

4 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) →

5 ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →

Denoising Diffusion Probabilistic Model) →

Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている

8 確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形

9 確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形

10 確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)

11 ブラウン運動定義

12 ブラウン運動定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」

13 確率微分⽅程式の数値解法 Euler・丸山スキーム

14 確率微分⽅程式の数値解法 Euler・丸山スキーム離散化

20 確率微分⽅程式の数値解法 Euler・丸山スキーム連続極限

21 Langevin⽅程式

22 Langevin⽅程式あるいは

23 Langevin⽅程式あるいは

24 Langevin Monte-Carlo法離散化

25 Langevin Monte-Carlo法離散化ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則

26 Langevin Monte-Carlo法離散化ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る

27 Langevin⽅程式で遊んでみよう

28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC

29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を観察する ‧各パラメータを⾊々と変えてみる

30 うまくいった例初期点混合正規分布終点

31 局所峰に登ったまま終わる例混合正規分布初期点終点

32 局所峰に登ったまま終わる例混合正規分布初期点終点こういうこともある

33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨数理ファイナンスへの応⽤」. 共⽴出版, 2014.

34 Appendix

35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？

36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？ A. そもそも確率微分⽅程式が怪しい

37 確率積分これは正当化可能

38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか？ ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれてサービスの価格が均衡していくプロセスと同⼀視できないか？ (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも？) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…？)

39 Thank you

拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

More Decks by NearMeの技術発表資料です

Other Decks in Science

Featured

Transcript