02023-10-27 第66回NearMe技術勉強会Futo Ueno拡散モデルの概要−§1. 拡散モデルで使われる確率微分⽅程式について−
View Slide
1はじめに参考図書:「拡散モデル –– データ⽣成技術の数理」https://amzn.asia/d/2anj2zE
2拡散モデルとは‧⽣成モデル
3拡散モデルとは‧⽣成モデル拡散モデルは⽣成モデルの⼀種
42つのモデル‧スコアベースモデル (SBM; Score Based Model)→
52つのモデル‧スコアベースモデル (SBM; Score Based Model)→‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)→
62つのモデル‧スコアベースモデル (SBM; Score Based Model)→‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)→
72つのモデル‧スコアベースモデル (SBM; Score Based Model)→‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)→※双⽅に確率微分⽅程式が⽤いられている
8確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10確率微分⽅程式確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11ブラウン運動定義
12ブラウン運動定義※ 特に重要な性質→「インクリメントが正規分布に従う」
13確率微分⽅程式の数値解法Euler・丸山スキーム
14確率微分⽅程式の数値解法Euler・丸山スキーム離散化
15確率微分⽅程式の数値解法Euler・丸山スキーム離散化
16確率微分⽅程式の数値解法Euler・丸山スキーム離散化
17確率微分⽅程式の数値解法Euler・丸山スキーム
18確率微分⽅程式の数値解法Euler・丸山スキーム
19確率微分⽅程式の数値解法Euler・丸山スキーム
20確率微分⽅程式の数値解法Euler・丸山スキーム連続極限
21Langevin⽅程式
22Langevin⽅程式あるいは
23Langevin⽅程式あるいは
24Langevin Monte-Carlo法離散化
25Langevin Monte-Carlo法離散化ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26Langevin Monte-Carlo法離散化ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則→局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27Langevin⽅程式で遊んでみよう
28コードhttps://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4?usp=sharing#scrollTo=_3WF4YS6WOuC
29遊び⽅‧ブラウン運動のサンプルパスを発⽣させてみる‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を観察する‧各パラメータを⾊々と変えてみる
30うまくいった例初期点混合正規分布終点
31局所峰に登ったまま終わる例混合正規分布初期点終点
32局所峰に登ったまま終わる例混合正規分布初期点終点こういうこともある
33参考⽂献‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023.‧⽯村直之 : 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」.共⽴出版, 2014.
34Appendix
35素朴な疑問Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36素朴な疑問Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?A. そもそも確率微分⽅程式が怪しい
37確率積分これは正当化可能
38妄想‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか?‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれてサービスの価格が均衡していくプロセスと同⼀視できないか?(サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?)できれば「それらしい」プライスを⽣成できるかも?)🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39Thank you