Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Search
NearMeの技術発表資料です
PRO
October 28, 2023
Science
0
400
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
NearMeの技術発表資料です
PRO
October 28, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
Rust 並列強化学習
nearme_tech
PRO
0
5
並列で⽣成AIにコーディングをやらせる
nearme_tech
PRO
1
57
希望休勤務を考慮したシフト作成
nearme_tech
PRO
0
21
Hub Labeling による高速経路探索
nearme_tech
PRO
0
71
Build an AI agent with Mastra
nearme_tech
PRO
0
70
Rustで強化学習アルゴリズムを実装する vol3
nearme_tech
PRO
0
37
Webアプリケーションにおけるクラスの設計再入門
nearme_tech
PRO
1
83
AIエージェント for 予約フォーム
nearme_tech
PRO
2
150
ULID生成速度を40倍にしたった
nearme_tech
PRO
2
55
Other Decks in Science
See All in Science
サイゼミ用因果推論
lw
1
7.4k
IWASAKI Hideo
genomethica
0
120
データベース10: 拡張実体関連モデル
trycycle
PRO
0
770
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
820
アナログ計算機『計算尺』を愛でる Midosuji Tech #4/Analog Computing Device Slide Rule now and then
quiver
1
200
点群ライブラリPDALをGoogleColabにて実行する方法の紹介
kentaitakura
1
310
モンテカルロDCF法による事業価値の算出(モンテカルロ法とベイズモデリング) / Business Valuation Using Monte Carlo DCF Method (Monte Carlo Simulation and Bayesian Modeling)
ikuma_w
0
200
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
500
Design of three-dimensional binary manipulators for pick-and-place task avoiding obstacles (IECON2024)
konakalab
0
220
研究って何だっけ / What is Research?
ks91
PRO
1
100
CV_5_3dVision
hachama
0
140
How To Buy, Verified Venmo Accounts in 2025 This year
usaallshop68
2
150
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Gamification - CAS2011
davidbonilla
81
5.4k
Bash Introduction
62gerente
613
210k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Designing for humans not robots
tammielis
253
25k
A better future with KSS
kneath
238
17k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
How GitHub (no longer) Works
holman
314
140k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Transcript
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
1 はじめに 参考図書:「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
2 拡散モデルとは ‧⽣成モデル
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
4 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
5 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
6 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
7 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11 ブラウン運動 定義
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
21 Langevin⽅程式
22 Langevin⽅程式 あるいは
23 Langevin⽅程式 あるいは
24 Langevin Monte-Carlo法 離散化
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27 Langevin⽅程式で遊んでみよう
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
30 うまくいった例 初期点 混合正規分布 終点
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
34 Appendix
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ? A. そもそも確率微分⽅程式が怪しい
37 確率積分 これは正当化可能
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか? ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか? (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも?) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39 Thank you