$30 off During Our Annual Pro Sale. View Details »

拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−

More Decks by NearMeの技術発表資料です

Other Decks in Science

Transcript

  1. 0
    2023-10-27 第66回NearMe技術勉強会
    Futo Ueno
    拡散モデルの概要
    −§1. 拡散モデルで使われる確率微分⽅程式について−

    View Slide

  2. 1
    はじめに
    参考図書:「拡散モデル –– データ⽣成技術の数理」
    https://amzn.asia/d/2anj2zE

    View Slide

  3. 2
    拡散モデルとは
    ‧⽣成モデル

    View Slide

  4. 3
    拡散モデルとは
    ‧⽣成モデル
    拡散モデルは⽣成モデルの⼀種

    View Slide

  5. 4
    2つのモデル
    ‧スコアベースモデル (SBM; Score Based Model)

    View Slide

  6. 5
    2つのモデル
    ‧スコアベースモデル (SBM; Score Based Model)

    ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)

    View Slide

  7. 6
    2つのモデル
    ‧スコアベースモデル (SBM; Score Based Model)

    ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)

    View Slide

  8. 7
    2つのモデル
    ‧スコアベースモデル (SBM; Score Based Model)

    ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model)

    ※双⽅に確率微分⽅程式が⽤いられている

    View Slide

  9. 8
    確率微分⽅程式
    確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形

    View Slide

  10. 9
    確率微分⽅程式
    確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形

    View Slide

  11. 10
    確率微分⽅程式
    確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
    ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)

    View Slide

  12. 11
    ブラウン運動
    定義

    View Slide

  13. 12
    ブラウン運動
    定義
    ※ 特に重要な性質→「インクリメントが正規分布に従う」

    View Slide

  14. 13
    確率微分⽅程式の数値解法
    Euler・丸山スキーム

    View Slide

  15. 14
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化

    View Slide

  16. 15
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化

    View Slide

  17. 16
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    離散化

    View Slide

  18. 17
    確率微分⽅程式の数値解法
    Euler・丸山スキーム

    View Slide

  19. 18
    確率微分⽅程式の数値解法
    Euler・丸山スキーム

    View Slide

  20. 19
    確率微分⽅程式の数値解法
    Euler・丸山スキーム

    View Slide

  21. 20
    確率微分⽅程式の数値解法
    Euler・丸山スキーム
    連続極限

    View Slide

  22. 21
    Langevin⽅程式

    View Slide

  23. 22
    Langevin⽅程式
    あるいは

    View Slide

  24. 23
    Langevin⽅程式
    あるいは

    View Slide

  25. 24
    Langevin Monte-Carlo法
    離散化

    View Slide

  26. 25
    Langevin Monte-Carlo法
    離散化
    ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則

    View Slide

  27. 26
    Langevin Monte-Carlo法
    離散化
    ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
    →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る

    View Slide

  28. 27
    Langevin⽅程式で遊んでみよう

    View Slide

  29. 28
    コード
    https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4
    ?usp=sharing#scrollTo=_3WF4YS6WOuC

    View Slide

  30. 29
    遊び⽅
    ‧ブラウン運動のサンプルパスを発⽣させてみる
    ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる
    ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を
    観察する
    ‧各パラメータを⾊々と変えてみる

    View Slide

  31. 30
    うまくいった例
    初期点
    混合正規分布
    終点

    View Slide

  32. 31
    局所峰に登ったまま終わる例
    混合正規分布
    初期点
    終点

    View Slide

  33. 32
    局所峰に登ったまま終わる例
    混合正規分布
    初期点
    終点
    こういうこともある

    View Slide

  34. 33
    参考⽂献
    ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023.
    ‧⽯村直之 : 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」.
    共⽴出版, 2014.

    View Slide

  35. 34
    Appendix

    View Slide

  36. 35
    素朴な疑問
    Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?

    View Slide

  37. 36
    素朴な疑問
    Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
    A. そもそも確率微分⽅程式が怪しい

    View Slide

  38. 37
    確率積分
    これは正当化可能

    View Slide

  39. 38
    妄想
    ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか?
    ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて
    サービスの価格が均衡していくプロセスと同⼀視できないか?
    (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?)
    できれば「それらしい」プライスを⽣成できるかも?)
    🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、
    ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)

    View Slide

  40. 39
    Thank you

    View Slide