Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Search
NearMeの技術発表資料です
PRO
October 28, 2023
Science
0
160
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
NearMeの技術発表資料です
PRO
October 28, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
2つの曲線を比較する方法ってあるの? 〜フレシェ距離を試してみた〜 with Python
nearme_tech
PRO
1
18
Constrained K-means Clustering (クラスタサイズの制限をしたK-means法) を調べてみた
nearme_tech
PRO
0
16
VRPの近傍操作SWAP*について調べてみた
nearme_tech
PRO
1
49
新人エンジニアが読んでためになった本
nearme_tech
PRO
2
21
Object–relational mapping and query builder battle 1: Intro to Prisma
nearme_tech
PRO
1
29
深層学習モデルの最適化 -Deep Learning Tuning Playbookを読む-
nearme_tech
PRO
1
52
機械学習を支える連続最適化
nearme_tech
PRO
1
44
サードパーティクッキーの終焉と Topics APIによる代替の可能性
nearme_tech
PRO
1
81
ONNXハンズオン
nearme_tech
PRO
2
28
Other Decks in Science
See All in Science
いまAI組織が求める企画開発エンジニアとは?
roadroller
2
1.1k
【論文紹介】DocTr_ Document Transformer for Structured Information Extraction in Documents / iccv2023-doctr
yuya4
3
680
Transformer系機械学習モデルを取り巻くライブラリや用語を整理する
bobfromjapan
2
580
Machine Learning for Materials (Lecture 7)
aronwalsh
0
770
Science of Scienceおよび科学計量学に関する研究論文の俯瞰可視化_LT版
hayataka88
0
710
バックアップ『しながら』ランサムウェア検出も!? セキュリティ強化が満載 Veeam 12.1
climbteam
0
540
はじめてのバックドア基準:あるいは、重回帰分析の偏回帰係数を因果効果の推定値として解釈してよいのか問題
takehikoihayashi
2
250
20240420 Global Azure 2024 | Azure Migrate でデータセンターのサーバーを評価&移行してみる
olivia_0707
2
800
事業会社における 機械学習・推薦システム技術の活用事例と必要な能力 / ml-recsys-in-layerx-wantedly-2024
yuya4
3
110
AI科学の何が“哲学”の問題になるのか ~問いマッピングの試み~
rmaruy
1
1.9k
深層学習を利用して 大豆の外部欠陥を判別した研究事例の紹介
kentaitakura
0
150
最適化超入門
tkm2261
11
2.9k
Featured
See All Featured
Navigating Team Friction
lara
181
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
28
2.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.3k
A Tale of Four Properties
chriscoyier
155
22k
Statistics for Hackers
jakevdp
792
220k
Leading Effective Engineering Teams 2024
addyosmani
3
300
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
Design by the Numbers
sachag
277
18k
A designer walks into a library…
pauljervisheath
201
24k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
121
18k
Practical Orchestrator
shlominoach
185
10k
Pencils Down: Stop Designing & Start Developing
hursman
118
11k
Transcript
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
1 はじめに 参考図書:「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
2 拡散モデルとは ‧⽣成モデル
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
4 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
5 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
6 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
7 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11 ブラウン運動 定義
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
21 Langevin⽅程式
22 Langevin⽅程式 あるいは
23 Langevin⽅程式 あるいは
24 Langevin Monte-Carlo法 離散化
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27 Langevin⽅程式で遊んでみよう
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
30 うまくいった例 初期点 混合正規分布 終点
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
34 Appendix
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ? A. そもそも確率微分⽅程式が怪しい
37 確率積分 これは正当化可能
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか? ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか? (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも?) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39 Thank you