Share
Embed
Transcript
36 slides
-
ランダムウォーク的振る舞い • ギブスサンプリングは,変数間に 強い相関関係がある場合,全ての 空間を満遍なく探索するのに非常 に時間がかかる • 要するに,ランダムウォークの振る 舞いを示してしまう •
ギブスサンプリングでは,真の分 布をどれくらい近似できているかは 分からない ランダムウォークを避けるために 過剰緩和が試みられる -
過剰緩和 Over-relaxation • y移動を方向付けすることで,ランダムウォークを避ける試み • 条件付き分布がガウス分布である問題に対して適用可能 • 特定の変数z_iの条件付き分布はある平均 μと分散σを持つ.z_i’を以下の式に置き換える. •
α=0なら通常のギブスサンプリング, α<0なら,平均と反対方向へバイアスがかかるため,そのような方 向へサンプリングを誘導していく • 非ガウス分布への拡張→順序付き過剰緩和 -
ギブスサンプリングの適用可能性 • 条件付き分布p(z_k|z\k)からサンプルが容易に抽 出可能かどうか,がギブスサンプリングが使える かどうかの判断基準になる. • ある変数と依存関係にある変数群(マルコフブラ ンケット)で条件付けされた条件付き確率分布が 求まるか否か •
Co-parentの変数も依存関係があることに注意 する • 複数の変数を同時に動かさないといけない場合 (強い相関がある)には,あまり効果的なアルゴリ ズムではない • 変分ベイズが使えるモデルには有効 -
ギブスサンプリングの改良 • ブロック化ギブスサンプリング ◦ 完全に全ての非観測変数をバラバラに更新していくのではなく,複数のグループに分けて,グループ内の変数 は同時に更新する方法 ◦ 同時にサンプリングされるため,より真の分布に近いサンプルが得られることが期待できる • 崩壊型ギブスサンプリング(周辺化ギブスサンプリング)
◦ いくつかの変数について,周辺化によりモデルから除去してからギブスサンプリングを行う方法 ◦ サンプルすべき変数の数が減るためより高速化が見込まれる -
スライスを妥協する • 実際には,スライスから直接サンプリングすることは困難なことが多い • よって,以下の右図のように, z近傍の幅を適応的にすることで妥協する 1. z(r)を含む幅wの領域を設定し,各端点がス ライスの中に入るかどうかテストする 2.
両方の端点がスライス外まで出るまで拡張し ,一様サンプリングする 3. サンプルがスライスからはみ出た場合,そこ を新たな端点とし,再度サンプリングする 4. スライス内に入っていたらそれを新たな z(r)と する -
Metropolis-Hastingsにおける理想的遷移 • MH法では,以下の式にそって,受理するかを決定していた. • 仮に提案分布が対称だと仮定すると, q関数は消去でき,p(z)のみの式になる.究極的には, p(z*)=p(z)と なるようなz*を見つけることが出来れば棄却率を 0に出来る. •
そこで,物理学的な保存則を用いて, p(z*)=p(z)となるようなz*を見つけていくことを考える. • 利用される保存則がハミルトニアン(エネルギー保存の一般化式) • (ハミルトニアン)=(運動/力学エネルギー)+(位置 /ポテンシャルエネルギー) -
確定的な遷移 • MHは提案分布に基づく確率的遷移を行っていたが, HMCはハミルトニアンに基づく確定的な遷移を行 う • 変数zに対して,関数g_iを確率p_iで選び,z*=g(z)として遷移するマルコフ連鎖を考える • 各関数gについて逆関数が存在しヤコピアンが非ゼロと仮定する •
この時,遷移確率p(z*|z)は,以下のように表現できる( Jはヤコピアン) • さらに,受理関数Aが組み込まれる場合, -
ハミルトニアンモンテカルロ • PRMLではハイブリッドモンテカルロと紹介されているが,一般にはハミルトニアンモンテカルロとして知ら れている • ハミルトン力学と,Metropolisアルゴリズムを組み合わせた手法で,それにより,ハミルトン力学のサンプ リング(離散化)に伴って生じるバイアスを取り除くことができる • アルゴリズムとしては,運動量変数 rの確率的な更新(モンテカルロ)と,リープフロッグアルゴリズムによ
るハミルトン力学系の更新を交互に行うマルコフ連鎖 • 計算誤差を考えない場合,全てのサンプルは受理される ハミルトン力学系の説明,運動量変数の導入,リープフロッグの説明をしてい きます -
確定的遷移はエルゴード性を満たさない • ハミルトニアンが成り立つ位相空間上での同時分布を以下のように示すことが出来る • ハミルトン力学においては, Hの値が不変であるから,p(z,r)は不変となる • p(z,r)は不変だが,zとrは変化するので,ランダムウォークを避け, zに大きな変化をつけることができる •
しかし,Hの値がずっと一定であると,エルゴード性を満たさないため,サンプリング手法としては不適切. • そこで,運動量変数rについて確率的に更新する -
まとめ • ギブスサンプリング ◦ 複数の非観測変数の確率分布について推論する手法の一つ ◦ 各変数を順番に更新していくアルゴリズム ◦ 変数間の相関が強く,同時に動かす必要がある場合にはダメかも •
スライスサンプリング ◦ ステップサイズを適応的にした MH法という感じ ◦ シンプルで良いのではないでしょうか • ハミルトニアンモンテカルロ ◦ スライスサンプリングで満足できなかった人が作った,ステップサイズをめちゃ大きくできる手法 ◦ ハミルトニアンに基づく確定的な遷移と,確率的な遷移を組み合わせた ◦ バケモノみたいなアルゴリズム,すごい,適用範囲広い • 正規化項はモデル選択に使える -
参考 - ベイズ推論による機械学習入門 - データ解析のための統計モデリング入門 - 基礎からのベイズ統計学:ハミルトニアンモンテカルロ法による実践的入門 - 【統計学】ハミルトニアンモンテカルロ法をアニメーションで可視化して理解する。 -
ハミルトニアンモンテカルロ法 - https://takun-physics.net/2702/ - http://watanabe-www.math.dis.titech.ac.jp/~kohashi/document/bayes_51.pdf - https://www.slideshare.net/tsubosaka/prml11-4