Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
Search
NearMeの技術発表資料です
PRO
October 28, 2023
Science
0
300
拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
NearMeの技術発表資料です
PRO
October 28, 2023
Tweet
Share
More Decks by NearMeの技術発表資料です
See All by NearMeの技術発表資料です
ルートの質を評価する指標について
nearme_tech
PRO
0
11
Rustで作る強化学習エージェント
nearme_tech
PRO
0
37
ビームサーチ
nearme_tech
PRO
0
34
WASM入門
nearme_tech
PRO
0
33
ESLintをもっと有効活用しよう
nearme_tech
PRO
0
25
リファクタリングのための第一歩
nearme_tech
PRO
0
68
ガウス過程回帰とベイズ最適化
nearme_tech
PRO
1
190
確率的プログラミング入門
nearme_tech
PRO
2
120
Observability and OpenTelemetry
nearme_tech
PRO
2
45
Other Decks in Science
See All in Science
As We May Interact: Challenges and Opportunities for Next-Generation Human-Information Interaction
signer
PRO
0
380
butterfly_effect/butterfly_effect_in-house
florets1
1
150
証明支援系LEANに入門しよう
unaoya
0
660
私たちのプロダクトにとってのよいテスト/good test for our products
camel_404
0
250
3次元点群を利用した植物の葉の自動セグメンテーションについて
kentaitakura
2
910
大規模言語モデルの開発
chokkan
PRO
85
43k
01_篠原弘道_SIPガバニングボード座長_ポスコロSIPへの期待.pdf
sip3ristex
0
150
多次元展開法を用いた 多値バイクラスタリング モデルの提案
kosugitti
0
240
All-in-One Bioinformatics Platform Realized with Snowflake ~ From In Silico Drug Discovery, Disease Variant Analysis, to Single-Cell RNA-seq
ktatsuya
0
310
04_石井クンツ昌子_お茶の水女子大学理事_副学長_D_I社会実現へ向けて.pdf
sip3ristex
0
150
重複排除・高速バックアップ・ランサムウェア対策 三拍子そろったExaGrid × Veeam連携セミナー
climbteam
0
200
Machine Learning for Materials (Challenge)
aronwalsh
0
160
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
94
13k
The Cost Of JavaScript in 2023
addyosmani
47
7.4k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
990
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
A Philosophy of Restraint
colly
203
16k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Become a Pro
speakerdeck
PRO
26
5.2k
Building Adaptive Systems
keathley
40
2.4k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Transcript
0 2023-10-27 第66回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§1. 拡散モデルで使われる確率微分⽅程式について−
1 はじめに 参考図書:「拡散モデル –– データ⽣成技術の数理」 https://amzn.asia/d/2anj2zE
2 拡散モデルとは ‧⽣成モデル
3 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
4 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
5 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
6 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) →
7 2つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM;
Denoising Diffusion Probabilistic Model) → ※双⽅に確率微分⽅程式が⽤いられている
8 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
9 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形
10 確率微分⽅程式 確率微分⽅程式(SDE; Stochastic differential equation)の⼀般形 ※ 第⼆項がなければ, 常微分⽅程式(決定論的な微分⽅程式)
11 ブラウン運動 定義
12 ブラウン運動 定義 ※ 特に重要な性質→「インクリメントが正規分布に従う」
13 確率微分⽅程式の数値解法 Euler・丸山スキーム
14 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
15 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
16 確率微分⽅程式の数値解法 Euler・丸山スキーム 離散化
17 確率微分⽅程式の数値解法 Euler・丸山スキーム
18 確率微分⽅程式の数値解法 Euler・丸山スキーム
19 確率微分⽅程式の数値解法 Euler・丸山スキーム
20 確率微分⽅程式の数値解法 Euler・丸山スキーム 連続極限
21 Langevin⽅程式
22 Langevin⽅程式 あるいは
23 Langevin⽅程式 あるいは
24 Langevin Monte-Carlo法 離散化
25 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則
26 Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27 Langevin⽅程式で遊んでみよう
28 コード https://colab.research.google.com/drive/1bjvtn217jlj8XyqiO_K0cUzfq0zNOUw4 ?usp=sharing#scrollTo=_3WF4YS6WOuC
29 遊び⽅ ‧ブラウン運動のサンプルパスを発⽣させてみる ‧1次元Langevin⽅程式のサンプルパスを発⽣させてみる ‧2次元の混合正規分布上をLangevin Monte-Carlo法で遷移した際の軌道を 観察する ‧各パラメータを⾊々と変えてみる
30 うまくいった例 初期点 混合正規分布 終点
31 局所峰に登ったまま終わる例 混合正規分布 初期点 終点
32 局所峰に登ったまま終わる例 混合正規分布 初期点 終点 こういうこともある
33 参考⽂献 ‧岡野原⼤輔 : 「拡散モデル –– データ⽣成技術の数理」. 岩波書店, 2023. ‧⽯村直之
: 「確率微分⽅程式⼊⾨ 数理ファイナンスへの応⽤」. 共⽴出版, 2014.
34 Appendix
35 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ?
36 素朴な疑問 Q. ⼀応「微分⽅程式」の解なのに⾄る所でギザギザしてるのはなぜ? A. そもそも確率微分⽅程式が怪しい
37 確率積分 これは正当化可能
38 妄想 ‧拡散モデル(の考え⽅)をダイナミックプライシングに利⽤できないだろうか? ‧逆拡散過程に沿ってノイズが取り除かれていく様⼦を、市場原理に揉まれて サービスの価格が均衡していくプロセスと同⼀視できないか? (サービスを市場原理そのものに曝す必要はなく、そのプロセスさえ学習(模倣?) できれば「それらしい」プライスを⽣成できるかも?) 🤔(⼊出⼒が低次元ならわざわざ拡散モデルみたいなことをせずに、 ⼿ごろな数理モデルを⽴ててプライスを推定すればよいのでは…?)
39 Thank you