PRML Sec3.4-3.6 (Japanese)

Japanese presentation material of PRML(Pattern Recognition and Machine Learning).
This contains Sec3.3 to Sec 3.6.
- Bayesian Model Comparison(ガウスモデル比較)
- The Evidence Approximation(エビデンス近似)
- Limitation of Fixed Basis Functions

Transcript

1. PRML 輪読 3.4-3.6
2. 3.4 Bayesian Model Comparison
3. Sec1.2-1.3 頻度論とベイズ的アプローチ • 最尤推定 ◦ p(D|w)を最大化するパラメータ wを求める ◦ パラメータwを固定して、データ Dが生成される確率を考える →頻度論 • MAP推定 ◦ p(w|D)を最大化するパラメータ wを求める ◦ データDを固定してパラメータ wが生成される確率を考える →ベイズ的 ◦ パラメータwの「不確実性」を導入する考え方 • 完全なベイズ的アプローチ ◦ MAP推定はパラメータ wを点推定しているが、本来の目的は新しい入力に対する予測ができたら ok ◦ そこでwのすべての値に対して積分するアプローチが考えられる 復習
4. モデルとパラメータ モデルMを導入 • パラメータを点推定せずに周辺化（和をとる）する • モデルM（観測データD上の目標値tの確率分布）を導入する
5. モデル選択 • どのモデル（≒どのパラメータ）がいいのかを決めたい • どうやって決めるか？ ◦ 交差検証（Cross-Validation）：n-1/n個のサブセットで訓練し、残りの 1つで評価する枠組み。 →Sec1.3
6. ベイズを利用したモデル比較 • ベイズ的に考えるならば、 モデルの選択に関する不確かさを表す確率 を導入する • L個のモデル{Mi}(i=1..L)を比較する場合を考える。モデルは 観測データD上の確率分布 • データはこれらのモデルのどれかにしたがって生成されているが、どれかはわからないという問題設定を 考えると、 [事前分布]各々のモデルに対する好み データから見たモデルの好み モデルエビデンス/周辺尤度：パラメータ wについて周辺化
7. モデルについての周辺化 • もし事後分布がわかれば、モデルについて周辺化でき、 • x（入力値）とD（学習データ）のもとでの、 t（目標値）についての確率分 布である「予測分布」を得る • 予測分布は、各モデルの 混合分布になっている ◦ 個々のモデルの予測分布の事後確率に関する重みつき平均 ◦ モデル平均としても解釈できる
8. モデル選択 • モデル平均を一番もっともらしいモデル 1つで置き換える（近似）する方法 • p(D|M_i)を最大化するモデルを選択する＜最尤推定的＞ • 周辺尤度（モデルエビデンス）最大化
9. モデルエビデンスの近似 • モデルエビデンスp(D|M_i)は陽に求められない • パラメータが一つだけの場合を考えると、事後分布が最頻値 w_MAPの近傍で鋭く尖っているとき、その 幅Δw_posteriorで表せば、以下のように近似できる ※M_iに関する依存性が省略されているので注意
10. モデルエビデンス最大化 • パラメータを多変量に拡張すると、モデルパラメータの個数を Mとして、 • 第一項はモデルのデータへのフィット度を示し、第二項はモデルの複雑性へのペナルティ • 周辺尤度最大化によって、中間程度の複雑さ（パラメータ数）のモデルが選択されるようになる
11. つまり？ • ベイズモデル比較は、モデルの複雑さとパラメータの不確実性の両方を考慮した情報量基準を与える ◦ 訓練データだけに基づいたモデル比較ができる（交差検定不要） ◦ 過学習によるバイアス（複雑さ）を回避できる ◦ モデルの不確実性も考慮できる AIC
12. 3.5 The Evidence Approximation
13. エビデンス近似 • モデル選択で使った近似テクニックを線形基底関数モデルに適用する枠組み • 別名がいっぱいある ◦ 経験ベイズ（Empirical Bayes） ◦ 第２種の最尤推定（ Type 2 Maximum Likelihood） ◦ 一般化最尤推定（ Generalized Maximum Likelihood）
14. 線形基底関数モデル • 以下の式で定義される回帰関数、ただし εは期待値0,精度(分散の逆数)βのガウス分布変数 • 確率的に記述すると以下のようになる • データ入力Xとそれに対する目標値tを用いて尤度関数を記述すると、 復習 復習
15. 線形基底モデルのベイズアプローチ • ベイズアプローチではパラメータの不確実性を考慮するところからスタート • パラメータwの事前分布を定義（期待値 0、分散αの独立な多変量ガウス） • 事前分布にガウスを選んだら、共役性から、事後分布もガウスになる • m_N、s_Nは以下のようになる 復習
16. ハイパーパラメータの周辺化 • ハイパーパラメータα、βについても事前分布を導入し、周辺化して予測したい α,βについて周辺化（入力変数 xに対する依存性は省略）
17. ハイパーパラメータの周辺化 w,α,βの3変数すべてで解析的に周辺化することは難しい
18. α,βの固定を考える • 事後分布p(α,β|t)がα_hatとβ_hatの値の周りで鋭く尖っているとき、 αとβをそれぞれα_hatとβ_hatに固定 した下で単にwを周辺化する • ベイズの定理より、 周辺尤度関数 事前分布 →周辺尤度関数最大化により α_hatおよび β_hatが得られる
19. (対数)エビデンスの最大化 • 解析解を得る ◦ 周辺尤度関数を微分して 0となるところ • 収束解を得る ◦ EMアルゴリズム（Sec9.3.4）により、収束解を得る。解析解と同じ解に収束する ◦ 解析解が求められない分布で有効 解析的アプローチについて説明する
20. エビデンス関数 • 周辺尤度関数は、 • この式にいろいろ代入する（詳細は英語版 p167、日本語版p166参照）と、 • エビデンス関数の表式となる。パラメータ次元 M、データ数N、Aはヘッセ行列(誤差関数の二階導関数)
21. エビデンス関数とパラメータ次元M • 多項式回帰の問題の場合を考える • 次元が少ないとき、フィッティングが悪く、エビデンスの値は小さい • M=1の時はエビデンスが向上するが、 M=2の時はむしろ下がる ◦ データを生成した真の三角関数は奇関数のため、偶数次数の項を持たない • Mが増加するにつれフィッティングはほぼ変わらないが、ペナルティが増加する
22. エビデンス関数とパラメータ次元M • 汎化誤差のプロット（中央図）だけでは、どの Mが最適かわからない • エビデンス（右図）を見ると、 M=3が最適であると判断できる
23. エビデンス関数の最大化 • エビデンス関数を最大化する α,βを求める • エビデンス関数(3.86)のαについての停留点 • なんかいろいろやる（en:p169, ja:p168）と、αについての陰関数が得られる • γは有効パラメータ数と呼ばれる α=f(α)の状態なので繰り返し法で収束 解を求める λ_iはヘッセ行列Aの固有値(i=<M) λ_iはすべて正
24. 有効パラメータ数 • λ_iがαに対して非常に大きい場合、 λ_i/(α+λ_i )は1に近 い値をとる。この場合、対応するパラメータは w_iは最 尤推定値に近い • そのようなパラメータはデータによって強く制約されるこ とからwell-determinedパラメータと呼ばれる • λ_iがαに対して非常に小さい場合、 λ_i/(α+λ_i )は0に近 い値をとる。この場合、対応するパラメータ w_iは事前 分布にしたがって小さい値に設定される。 • よってγは尤度関数の感度が高い向きにあるパラメータ の数（有効パラメータ数）と解釈できる
25. ベータに関する最尤推定量との比較 • 回帰モデルを最尤推定した場合の推定量は、 • エビデンス関数の最大化をする βは以下のように与えられる • NがN-γに修正されている • なぜ？どう解釈する？
26. 不偏推定量 • 最尤推定の場合の分散の最尤推定量は、 • 平均μがバイアスを含んでいるので、分散の不偏推定量は以下のように修正される • N-1は自由度の一つを平均のフィッティングと最尤推定のバイアスを取り除くのに用いていることを考慮し ているとみなせる 復習
27. ベータに関する最尤推定量との比較 • M個のパラメータのうち、すべてのパラメータがデータに調整されているわけではない • データによって決まるパラメータ数は γであり、残りのM-γは事前分布によって小さい値に調整される • これが分母に反映されており、最尤推定のバイアスを補正している
28. パラメータ/超パラメータ/有効パラメータ数 • 三角関数を9個の基底関数 からなるガウス基底関数モ デルによって近似する問題 を考える • バイアス項を含めた10の パラメータがある • エビデンスの枠組みによっ てαを決める、βは真の値 11.1に設定
29. パラメータ/超パラメータ/有効パラメータ数 • 超パラメータαをo<α<∞で変化させる • 各パラメータi=1〜10について、有効パラ メータ数の変化を伴って、値が変化していく • 超パラメータはパラメータ{w_i}の大きさを制 御している
30. 3.6 Limitations of Fixed Basis Functions
31. 基底関数を固定することの限界 • 非線形基底関数を線形結合することのメリット ◦ 最小二乗法の閉じた解がもとまる ◦ ベイズ推定の計算が簡単 ◦ 基底関数を適切に選べば、任意の非線形変換をモデル化できる • デメリット ◦ 入力空間の次元数に対応した数の基底関数が必要＝ 次元の呪い • 解決法 ◦ 本質的な次元数（データ多様体）が入力空間の次元数より小さい性質を用いる ▪ RDFネットワーク、SVM、関係ベクトルマシン ◦ 目標変数がデータ多様体のほんの少数の方向にしか強く依存しない性質を用いる ▪ ニューラルネットワーク
32. まとめ
33. まとめ • ベイズモデル比較は、モデルの複雑さとパラメータの不確実性の両方を考慮した情報量基準を与える ◦ 訓練データだけに基づいたモデル比較ができる（交差検定不要） ◦ 過学習によるバイアス（複雑さ）を回避できる ◦ モデルの不確実性も考慮できる • それに基づいた回帰モデリングをエビデンス近似と呼ぶ • エビデンス近似では、超パラメータを周辺化し、モデルの複雑性が「ちょうどよい」ところにおさまる超パラ メータを自動で導出する • 要するに、過激なベイジアンは、 MAP推定にとどまらず、超パラメータ自体の事前分布まで考える • [頻度論] 最尤推定→MAP推定→エビデンス近似→？？[ベイジアン] • 次元の呪いからは逃れらないぞ
34. おわり！ Sec3.5はかなり端折ってしまった