岡野原さんの「拡散モデル データ生成技術の数理」3.6章 確率フローODE
確率フロー ODE拡散モデル データ生成技術の数理 3.6章三澤遼1
View Slide
Outline1. 確率フロー ODE とは2. 確率フロー ODE と SDE の周辺尤度が一致することの証明3. 確率フロー ODE の尤度計算4. シグナルとノイズで表される確率フロー ODE2
任意の SDE は ODE に変換可能伊藤型の確率微分方程式: Wiener 過程これは決定的な過程である ODE に変換することができる確率フロー ODE とは3
1. 順過程,逆過程ともに同じ方程式に従って決定的に遷移SDE では拡散過程と逆拡散過程が異なる方程式に従っていたSDE では確率的に遷移していた2. データ分布と事前分布が 1 対 1 対応決定的な過程であるため3. 確率的要素が少なく少量ステップで収束一方,SDE に加えられるノイズと MCMC 法は離散化誤差を改善確率フロー ODE にノイズを加えることで品質改善できるSDE との比較4
伊藤過程における Focker-Planck 方程式確率分布 の従う方程式(Stratonovich 積では別の形を取る)1 次元の場合次元の場合として,確率フロー ODE と SDE の周辺尤度が一致することの証明5
より と思い(伊藤ルール), の1次以下だけ残すと(伊藤公式)一方, なので蛇足: Focker-Planck 方程式(1次元)の導出6
任意の について成立するので,多次元の Focker-Planck 方程式も同様.蛇足: Focker-Planck 方程式(1次元)の導出7
右辺第2項を で括り,整理すれば良い.確率フロー ODE と SDE の周辺尤度が一致することの証明8
よって,右辺はとなる.括弧の中身が になっている.が に依存しない場合は右辺第2項は消える.確率フロー ODE と SDE の周辺尤度が一致することの証明9
の場合,尤度は,と計算される (Chen et al., 2018).確率フロー ODE の尤度計算10
定理 (Instantaneous Change of Variables)常微分方程式 に従う確率変数の確率分布についてが成立.両辺を で積分すると所望の式が得られる.注意: 定理では確率変数の時間変化を追跡Focker-Plank 方程式: 固定位置での確率分布Focker-Planck 方程式では,右辺の 依存性が消えず計算が困難.-> で置き換え依存性消去.代償として 次元の ODE に帰着. 結果は等価.確率フロー ODE の尤度計算: Instantaneous Change of Variable11
両辺を で割って定理を得る.以下の ODE に帰着. を追跡するために状態が 次元増加.確率フロー ODE の尤度計算: 定理の証明12
は Skilling-Hutchinson 推定で効率的に計算できる行列 を陽に計算して対角和を求めるのは非効率.例えば,標準基底 との積 により の 番目の列が得られる.回繰り返し を計算(非効率).Skilling (1989) と Hutchinson (1989) は同時期に対角和の推定量を提案.確率変数 が を満たすとする.このときが条件から容易に従う.を条件を満たす確率変数とすると,Skilling-Hutchinson 推定量は確率フロー ODE の尤度計算: Skilling-Hutchinson 推定13
は不偏推定量.つまり確率変数には Rademacher ベクトルや正規分布上のベクトルが用いられる.Hutchinson のトレース推定量:ガウストレース推定量:本ケースではは誤差逆伝播法により,ヤコビアンを陽に表さず効率的に計算可能 (VJP: Vector-Jacobian Products)確率フロー ODE の尤度計算: Skilling-Hutchinson 推定14
SBM や DDPM の確率フロー ODE確率フロー ODE は としてだったので微積分学の基本定理からシグナルとノイズで表される確率フロー ODE15
分散発散型 SDE(SBM など)では, なので,シグナルとノイズで表される確率フロー ODE16
参考文献1. 岡野原大輔,拡散モデル データ生成技術の数理.2. 沙川貴大,上田正仁,量子測定と量子制御.3. Sebastian Nowozin, Thoughts on Trace Estimation in Deep Learning.参考文献17