PRML勉強会 第二章 - 松元宏 作成分

PRML勉強会 第二章 - 松元宏 作成分
代理upload

Transcript

1. PRML勉強会第３回 松本宏
2. 勉強会のきっかけ PRML勉強会始まったきっかけ： 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。
3. あと、 前回は突然おやすみとなり、すいませんでした。 m_m
4. 第１回、第２階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。
5. ハードルが上がって辛いです。。。
6. まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで！ 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁｗせｄｒｆ ｔｇｙふじこｌｐ
7. ことわり かなり情報を削減しています。 ご了承を
8. 確率分布
9. 二値変数 二つの取りうる値のうち１つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布
10. ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散
11. ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる
12. 多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか
13. • そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は
14. K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約：
15. 共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布
16. ディリクレ分布 二項分布の共役分布を正規化したものが：
17. 多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) • ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)
18. ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散
19. 多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列
20. 距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離
21. 共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は
22. もっと詳しく… 対称行列より
23. 座標変換
24. まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。
25. ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る ガウス分布の平均
26. ガウス分布の２次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる
27. まとめると
28. 確率分布 第４回分
29. ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布 条件付きガウス分布
30. 条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列
31. 条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルｘについて、 一部分がわかっている時
32. 条件付きガウス分布 多変量ガウス分布の特性 ２つの変数集合の同時分布がガウス分布に従う １つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら
33. 条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める
34. 条件付きガウス分布 この時のベクトルxを２つの部分集合に分ける 対応する平均ベクトルμの分割も定義する
35. 条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ
36. 条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)
37. また、xベクトルに関するもの/しないもの分けると
38. この時の一次の項、二次の項と別々に見る 二次の項： → の分散が
39. 一次の項： → の平均ベクトルが
40. 二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布
41. 平方完成し の項を取り出 す
42. で積分すると 定数 に依存
43. に依存する項： 積分結果:
44. 周辺分布の分散共分散行列: 平均:
45. ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)
46. ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML = ...
47. 逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...
48. • スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101
49. 周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布
50. フォン・ミーゼス分布 式 (2.179) 導出は2.176から
51. 混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数：式 2.193