拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

Transcript

1. 0
   2023-10-27 第66回NearMe技術勉強会
   Futo Ueno
   拡散モデルの概要
   −§1. 拡散モデルで使われる確率微分⽅程式について−
   

   View Slide

2. 1
   はじめに
   参考図書：「拡散モデル –– データ⽣成技術の数理」
   https://amzn.asia/d/2anj2zE
   

   View Slide

3. 2
   拡散モデルとは
   ‧⽣成モデル
   

   View Slide

4. 3
   拡散モデルとは
   ‧⽣成モデル
   拡散モデルは⽣成モデルの⼀種
   

   View Slide

5. 4
   ２つのモデル
   ‧スコアベースモデル (SBM; Score Based Model)
   →
   

   View Slide

6. 5
   ２つのモデル
   ‧スコアベースモデル (SBM; Score Based Model)
   →
   ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)
   →
   

   View Slide

7. 6
   ２つのモデル
   ‧スコアベースモデル (SBM; Score Based Model)
   →
   ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)
   →
   

   View Slide

8. 7
   ２つのモデル
   ‧スコアベースモデル (SBM; Score Based Model)
   →
   ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)
   →
   ※双⽅に確率微分⽅程式が⽤いられている
   

   View Slide

9. 8
   確率微分⽅程式
   確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
   

   View Slide

10. 9
    確率微分⽅程式
    確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
    

    View Slide

11. 10
    確率微分⽅程式
    確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
    ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
    

    View Slide

12. 11
    ブラウン運動
    定義
    

    View Slide

13. 12
    ブラウン運動
    定義
    ※ 特に重要な性質→「インクリメントが正規分布に従う」
    

    View Slide

14. 13
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    

    View Slide

15. 14
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化
    

    View Slide

16. 15
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化
    

    View Slide

17. 16
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化
    

    View Slide

18. 17
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    

    View Slide

19. 18
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    

    View Slide

20. 19
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    

    View Slide

21. 20
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    連続極限
    

    View Slide

22. 21
    Langevin⽅程式
    

    View Slide

23. 22
    Langevin⽅程式
    あるいは
    

    View Slide

24. 23
    Langevin⽅程式
    あるいは
    

    View Slide

25. 24
    Langevin Monte-Carlo法
    離散化
    

    View Slide

26. 25
    Langevin Monte-Carlo法
    離散化
    ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
    

    View Slide

27. 26
    Langevin Monte-Carlo法
    離散化
    ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
    →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
    

    View Slide

28. 27
    Langevin⽅程式で遊んでみよう
    

    View Slide

29. 28
    コード
    https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4
    ?usp=sharing#scrollTo=_3WF4YS6WOuC
    

    View Slide

30. 29
    遊び⽅
    ‧ブラウン運動のサンプルパスを発⽣させてみる
    ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる
    ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を
    観察する
    ‧各パラメータを⾊々と変えてみる
    

    View Slide

31. 30
    うまくいった例
    初期点
    混合正規分布
    終点
    

    View Slide

32. 31
    局所峰に登ったまま終わる例
    混合正規分布
    初期点
    終点
    

    View Slide

33. 32
    局所峰に登ったまま終わる例
    混合正規分布
    初期点
    終点
    こういうこともある
    

    View Slide

34. 33
    参考⽂献
    ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023.
    ‧⽯村直之 : 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」.
    共⽴出版, 2014.
    

    View Slide

35. 34
    Appendix
    

    View Slide

36. 35
    素朴な疑問
    Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？
    

    View Slide

37. 36
    素朴な疑問
    Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ？
    A. そもそも確率微分⽅程式が怪しい
    

    View Slide

38. 37
    確率積分
    これは正当化可能
    

    View Slide

39. 38
    妄想
    ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか？
    ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて
    サービスの価格が均衡していくプロセスと同⼀視できないか？
    (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?)
    できれば「それらしい」プライスを⽣成できるかも？)
    🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、
    ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…？)
    

    View Slide

40. 39
    Thank you
    

    View Slide