Tweet
Tweet

Slide 1

Slide 1 text

PRML勉強会第３回 松本宏

Slide 2

Slide 2 text

勉強会のきっかけ PRML勉強会始まったきっかけ： 実務訓練中に木村くんに気軽に持ちかけ たPRML勉強会なんですが、こんなに参加者が 集まるとは思っていませんでした。 ありがとうございます。

Slide 3

Slide 3 text

あと、 前回は突然おやすみとなり、すいませんでした。 m_m

Slide 4

Slide 4 text

第１回、第２階と先発を竹野くんに行ってもらい、 ハードル上げて頂いてありがとうございます。

Slide 5

Slide 5 text

ハードルが上がって辛いです。。。

Slide 6

Slide 6 text

まぁ、最初に言ったと思いますけど 全部理解とか ムリなんで！ 一割だけでもわかればいいと思ってはじめたの に・・・ あんなにハードル上げやがって、、、くぁｗせｄｒｆ ｔｇｙふじこｌｐ

Slide 7

Slide 7 text

ことわり かなり情報を削減しています。 ご了承を

Slide 8

Slide 8 text

確率分布

Slide 9

Slide 9 text

二値変数 二つの取りうる値のうち１つをとる変数のこと x ∈ {0, 1} よくコイン投げが例として使われる それを分布図でしめすのが B3前期に中川健治先生の授業でやった 二項分布

Slide 10

Slide 10 text

ベルヌーイ分布 コインの表をx=1で出る確率を としたときの 確率分布 平均 分散

Slide 11

Slide 11 text

ベルヌーイ分布 データ集合Dに対しての尤度関数が以下となる

Slide 12

Slide 12 text

多項分布 二値変数に対しての多値変数 K個の可能な状態のうち1つを取る変数 サイコロとか

Slide 13

Slide 13 text

• そして、各確率が以下の時 • 例えば、観測値データが以下の様な場合 • Xの分布は

Slide 14

Slide 14 text

K個の面をもつサイコロが有る。 各面の出る確率は i番目の面が出た回数 をとする。 そのときのN回投げるとき 制約：

Slide 15

Slide 15 text

共役分布 多項分布の共役分布は 共役分布: 尤度関数と事前分布の積が事後分布 となる事前分布

Slide 16

Slide 16 text

ディリクレ分布 二項分布の共役分布を正規化したものが：

Slide 17

Slide 17 text

多項分布とディリクレ分布 違い: • 多項分布はサイコロの出た目の分布 – Multi(n | p, N) • ディリクレ分布はサイコロの目の出易さ分布 – Dir(p|α)

Slide 18

Slide 18 text

ガウス分布 単変数(変数がxだけ): μ: D次元の平均ベクトル σ^2: 分散

Slide 19

Slide 19 text

多変数 x: D次元ベクトル μ: D次元平均ベクトル Σ: DxD共分散行列

Slide 20

Slide 20 text

距離 ガウス分布の指数部分 マハラノビス距離(Δ): 各変量の共分散を考慮した距離 Σが単位行列ならユークリッド距離

Slide 21

Slide 21 text

共分散行列に対する 固有ベクトルの方程式 上記のように表せれ、 これより、共分散行列Σは 逆行列は

Slide 22

Slide 22 text

もっと詳しく… 対称行列より

Slide 23

Slide 23 text

座標変換

Slide 24

Slide 24 text

まとめると… 固有ベクトルに酔って平行移動や回転をした、 座標系が定義された。

Slide 25

Slide 25 text

ガウス分布のモーメント ガウス分布でのxの期待値は 指数部分は偶関数、かつ、( z + μ ) はzが対称性のために μ だけが残る ガウス分布の平均

Slide 26

Slide 26 text

ガウス分布の２次モーメント 交差項 などは対称性より消え、 は、正規化されたガウス分布より1となる 残った は となる

Slide 27

Slide 27 text

まとめると

Slide 28

Slide 28 text

確率分布 第４回分

Slide 29

Slide 29 text

ガウス分布 条件付きガウス分布 周辺ガウス分布 ガウス変数に対するベイズの定理 ガウス分布の最尤推定 逐次推定 ガウス分布に対するベイズ推論 スチューデントのt分布 周期変数 混合ガウス分布 条件付きガウス分布

Slide 30

Slide 30 text

条件付きガウス分布 ガウス分布の式 :D次元の平均ベクトル :DxDの共分散行列

Slide 31

Slide 31 text

条件付きガウス分布 条件確率はどうなるか 確率変数ベクトルｘについて、 一部分がわかっている時

Slide 32

Slide 32 text

条件付きガウス分布 多変量ガウス分布の特性 ２つの変数集合の同時分布がガウス分布に従う １つの変数集合が与えられたとき もう一方の集合の条件付き分布もガウス分布になる がガウス分布なら

Slide 33

Slide 33 text

条件付きガウス分布 ガウス分布を求めるというのは 平均ベクトルμと分散共分散行列Σを求める

Slide 34

Slide 34 text

条件付きガウス分布 この時のベクトルxを２つの部分集合に分ける 対応する平均ベクトルμの分割も定義する

Slide 35

Slide 35 text

条件付きガウス分布 共分散行列Σも以下のように与えられる 共分散行列Σの逆行列を考える 精度行列と呼ぶ

Slide 36

Slide 36 text

条件付きガウス分布 ガウス分布の指数部分の二次系式 これに先の値を代入すると (平方完成をおこなうと)

Slide 37

Slide 37 text

また、xベクトルに関するもの/しないもの分けると

Slide 38

Slide 38 text

この時の一次の項、二次の項と別々に見る 二次の項： → の分散が

Slide 39

Slide 39 text

一次の項： → の平均ベクトルが

Slide 40

Slide 40 text

二変数の確率関数 に対して、 変数Xだけの確率関数 周辺ガウス分布 周辺ガウス分布 周辺確率分布

Slide 41

Slide 41 text

平方完成し の項を取り出 す

Slide 42

Slide 42 text

で積分すると 定数 に依存

Slide 43

Slide 43 text

に依存する項： 積分結果:

Slide 44

Slide 44 text

周辺分布の分散共分散行列: 平均:

Slide 45

Slide 45 text

ガウス変数に対するベイ ズの定理 さっきは ガウス分布p(x)から条件付きベクトル p(x_a | x_b), 周辺分布p(x_a)

Slide 46

Slide 46 text

ガウス分布の最尤推定 データ集合Xの分布パラメータを最尤推定法で求める 対数尤度関数: ... 対数尤度μの導関数を0とすると、平均、分散が求まる μ_ML = ... Σ_ML = ...

Slide 47

Slide 47 text

逐次推定 データを一点ずつ処理してそれを破棄 最尤推定量μ_MLよりNとN-1分離 解釈: ... もっと汎用的、定式化 Robbins Monroアルゴリズム これは本書で...

Slide 48

Slide 48 text

• スチューデントのt分布 平均は同じで精度が異なるガウス分布を 無限個 ガウスの無限混合分布 頑健 図@P.101

Slide 49

Slide 49 text

周期変数 周期性をもつ確率変数を扱う場合は 極座標 フォン・ミーゼス分布

Slide 50

Slide 50 text

フォン・ミーゼス分布 式 (2.179) 導出は2.176から

Slide 51

Slide 51 text

混合ガウス分布 単一のガウス分布で表現が難しい時 図(2.21) 式(2.188) 形状はパラメータに依存 パラメータは最尤推定法で求まる 対数尤度関数：式 2.193