Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
diffusion model, part 3.6, probability flow ODE
Search
Ryo Misawa
April 18, 2023
Science
0
1.5k
diffusion model, part 3.6, probability flow ODE
岡野原さんの「拡散モデル データ生成技術の数理」3.6章 確率フローODE
Ryo Misawa
April 18, 2023
Tweet
Share
More Decks by Ryo Misawa
See All by Ryo Misawa
TextPruner による大規模言語モデルの軽量化 / Large language model pruning using TextPruner
misawann
0
1.3k
Other Decks in Science
See All in Science
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
310
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
130
01_篠原弘道_SIPガバニングボード座長_ポスコロSIPへの期待.pdf
sip3ristex
0
660
ランサムウェア対策にも考慮したVMware、Hyper-V、Azure、AWS間のリアルタイムレプリケーション「Zerto」を徹底解説
climbteam
0
110
06_浅井雄一郎_株式会社浅井農園代表取締役社長_紹介資料.pdf
sip3ristex
0
630
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
190
Transport information Geometry: Current and Future II
lwc2017
0
200
[Paper Introduction] From Bytes to Ideas:Language Modeling with Autoregressive U-Nets
haruumiomoto
0
130
機械学習 - SVM
trycycle
PRO
1
880
データベース08: 実体関連モデルとは?
trycycle
PRO
0
930
研究って何だっけ / What is Research?
ks91
PRO
1
120
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
870
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1370
200k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
A Tale of Four Properties
chriscoyier
160
23k
Mobile First: as difficult as doing things right
swwweet
224
9.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Embracing the Ebb and Flow
colly
87
4.8k
Large-scale JavaScript Application Architecture
addyosmani
513
110k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
Site-Speed That Sticks
csswizardry
10
820
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Transcript
確率フロー ODE 拡散モデル データ生成技術の数理 3.6章 三澤遼 1
Outline 1. 確率フロー ODE とは 2. 確率フロー ODE と SDE
の周辺尤度が一致することの証明 3. 確率フロー ODE の尤度計算 4. シグナルとノイズで表される確率フロー ODE 2
任意の SDE は ODE に変換可能 伊藤型の確率微分方程式 : Wiener 過程 これは決定的な過程である
ODE に変換することができる 確率フロー ODE とは 3
1. 順過程,逆過程ともに同じ方程式に従って決定的に遷移 SDE では拡散過程と逆拡散過程が異なる方程式に従っていた SDE では確率的に遷移していた 2. データ分布と事前分布が 1 対
1 対応 決定的な過程であるため 3. 確率的要素が少なく少量ステップで収束 一方,SDE に加えられるノイズと MCMC 法は離散化誤差を改善 確率フロー ODE にノイズを加えることで品質改善できる SDE との比較 4
伊藤過程における Focker-Planck 方程式 確率分布 の従う方程式(Stratonovich 積では別の形を取る) 1 次元の場合 次元の場合 として,
確率フロー ODE と SDE の周辺尤度が一致することの証明 5
より と思い(伊藤ルール), の1次以下だけ残すと (伊藤公式) 一方, なので 蛇足: Focker-Planck 方程式(1次元)の導出 6
任意の について成立するので, 多次元の Focker-Planck 方程式も同様. 蛇足: Focker-Planck 方程式(1次元)の導出 7
右辺第2項を で括り,整理すれば良い. 確率フロー ODE と SDE の周辺尤度が一致することの証明 8
よって,右辺は となる.括弧の中身が になっている. が に依存しない場合は右辺第2項は消える. 確率フロー ODE と SDE の周辺尤度が一致することの証明
9
の場合, 尤度は, と計算される (Chen et al., 2018). 確率フロー ODE の尤度計算
10
定理 (Instantaneous Change of Variables) 常微分方程式 に従う確率変数の確率分布について が成立.両辺を で積分すると所望の式が得られる. 注意:
定理では確率変数の時間変化を追跡 Focker-Plank 方程式: 固定位置での確率分布 Focker-Planck 方程式では,右辺の 依存性が消えず計算が困難. -> で置き換え依存性消去.代償として 次元の ODE に帰着. 結果は等価. 確率フロー ODE の尤度計算: Instantaneous Change of Variable 11
両辺を で割って定理を得る. 以下の ODE に帰着. を追跡するために状態が 次元増加. 確率フロー ODE の尤度計算:
定理の証明 12
は Skilling-Hutchinson 推定で効率的に計算できる 行列 を陽に計算して対角和を求めるのは非効率. 例えば,標準基底 との積 により の 番目の列が得られる.
回繰り返し を計算(非効率). Skilling (1989) と Hutchinson (1989) は同時期に対角和の推定量を提案. 確率変数 が を満たすとする.このとき が条件から容易に従う. を条件を満たす確率変数とすると,Skilling-Hutchinson 推定量は 確率フロー ODE の尤度計算: Skilling-Hutchinson 推定 13
は不偏推定量.つまり 確率変数には Rademacher ベクトルや正規分布上のベクトルが用いられる. Hutchinson のトレース推定量: ガウストレース推定量: 本ケースでは は誤差逆伝播法により,ヤコビアンを陽に表さず効率的に 計算可能
(VJP: Vector-Jacobian Products) 確率フロー ODE の尤度計算: Skilling-Hutchinson 推定 14
SBM や DDPM の確率フロー ODE 確率フロー ODE は として だったので
微積分学の基本定理から シグナルとノイズで表される確率フロー ODE 15
分散発散型 SDE(SBM など)では, なので, シグナルとノイズで表される確率フロー ODE 16
参考文献 1. 岡野原大輔,拡散モデル データ生成技術の数理. 2. 沙川貴大,上田正仁,量子測定と量子制御. 3. Sebastian Nowozin, Thoughts
on Trace Estimation in Deep Learning. 参考文献 17