PRML Sec1.6-2.2 (Japanese)

Japanese presentation material of PRML(Pattern Recognition and Machine Learning).
This contains Sec1.6 to Sec 2.2.
- Information Theory(情報理論)
- Binary Variables
- Multinominal Variables

Transcript

1. PRML 輪読 1.6-2.2
2. 1.6 情報理論 Information Theory
3. 情報理論とパターン認識 • 情報理論では、あるデータ分布（確率分布）に従うデータを、どれくらいのビットを使っ たら表現できるのかについて形式化できる • 計算機科学および機械学習において中心的な技術の基礎理論となる ◦ データ圧縮 ◦ 密度推定 ◦ ベイズ的機械学習 ▪ カルバックライブラー情報量（ KLダイバージェンス）
4. 情報量（離散確率の場合） • 情報の量は「驚きの度合い」 ◦ 起きそうもない事象が起きた時の情報量＞いつでも起きそうな事象が起きた時の情報量 ◦ 確実に起きることがわかっている事象の情報量は０ • 離散確率変数xの確率分布p(x)に対し、情報量を表すh(x)は単調な関数であると予想さ れる • 二つの事象x,yが無関係なら、h(x,y)はh(x)+h(y)となりそう。 • 一方p(x,y)=p(x)p(y)なので、この二つの式を見比べると、h(x)はp(x)の対数になる気がす る
5. 情報量の単位 • 対数の底に2を使う場合、単位はビット（bit） • 対数の底にeを使う場合、単位はナット（nat） • 1ナット＝In2ビット
6. エントロピー（離散確率の場合） • いろいろな解釈がある • 解釈①：確率p(x)から取り出された変数 xの情報量の平均量（期待値） • p(x)が一様分布のとき、エントロピーは 最大になる
7. 平均符号長 • エントロピーの議論を使って、平均符号長の議論ができる • 出現頻度の高い文字に短いビット符号列を割り振ることで、平均符号長が短くなる • {⅛,⅛.⅛,⅛,⅛,⅛.⅛,⅛}と、{½,¼,⅛,1/16, 1/32, 1/64,1/64,1/64,1/64}の２パターンだと、 非一様な分布のエントロピーは一様な場合よりも小さい →乱雑さの基準としてのエントロピー（解釈②）
8. 巨視的な力学量としてのエントロピー • エントロピーは元々熱力学における熱平衡状態の文脈で 登場 • その後、乱雑さを測る尺度（統計力学）となる • 熱力学においては、巨視的（系全体）な ”指標”と、微視的 （各原子）な状態数を定式化した • 巨視的な”指標”がエントロピー
9. 多重度 Multiplicity • N個の物体（原子）がI個の箱に分けられている状態を考える • 各箱にはn_i個の物体があるとする • N個の物体の選び方N!通り • i番目の箱には(n_i)!通り • N個の物体の箱への入れ方の総数は これを多重度という 注意：箱に物体を振り分けていく場合の数（箱数の N乗）ではなく、ある状態になっているとき に、原子１つ１つを区別して考えた場合にとりうる可能性の数
10. 多重度を用いたエントロピー • エントロピーは多重度(W)の対数を適当に定数倍したもの（ボルツマンの原理） • n_i/Nを一定に保ったままNを無限にする極限を考える（無数の物体を考える）と、　　　　　は物体が i番目 の箱に割り当てられる確率となる • 物体の特定の状態はミクロ状態、比 n_i/Nで表される物体の占有数の分布はマクロ状態と呼ばれる
11. エントロピーの導出 • N →∞の時、以下の式（スターリングの近似式）が成り立つので、 • エントロピーは • 箱を離散確率変数Xの状態x_iと解釈すると、p(x)=p_iとなる
12. エントロピーの最大値の導出 • エントロピーの式を最大化する確率分布 p(x) は一様分布である • 以下の式を最大化するp(x)を求める
13. エントロピーの連続変数への拡張 • 微小区間Δを考えると、平均値の定理より、各区間に対して、以下の満たす x_iが必ず存在する • 各区間に入る任意の値xにx_iを割り当てることで量子化すると、 • 第一項について、Δ→0 の極限をとると、 微分エントロピー
14. 微分エントロピー最大化としてのガウス分布 • 微分エントロピーは、ガウス分布が ”なぜ”出現するのかの理由を与える • p(x)の一次モーメント（期待値）と二次モーメント（分散）を制約した場合、微分エントロピー最大となるの は、 • つまりガウス分布の時！ • 計算の詳細はp53（日本語版p53）
15. 条件つきエントロピー • 同時分布p(x,y)を考える時、xが既知の場合、yの値を特定するのに必要な付加的な情報は -Inp(y|x)であ る • yを特定するための付加的な情報量の平均は • 確率の乗法定理を使うと xに対するyの条件つきエントロピー
16. 相対エントロピー(カルバックライブラダイバージェンス) • 未知の真の分布p(x)があり、近似的にq(x)でモデル化したとする • xの値を特定するのに必要な 追加情報量の平均は、 • KL(p||q)≠KL(q||p)
17. KLダイバージェンスの特性 • KL(q||p)≧0 • 等号が成り立つのはp(x)=q(x)のとき • 証明はp55
18. KLダイバージェンスの最小化 • KLダイバージェンスの最小化は尤度最大化と等価 • 未知の分布p(x)を近似するq(x|θ)を考える • KLダイバージェンスを最小化する θを求める • p(x)を知らないので、p(x)からサンプリングされたN個のデータ点で近似する 負の対数尤度 θ関係ないの で無視できる
19. 相互情報量 • p(x)とp(y)がどれくらい独立であるかどうかを考える指標として KLダイバージェンスが使える • 確率の加法・乗法定理を使うと、相互情報量は条件つきエントロピーをつかって • 相互情報量：yの値を知ることによって、xに関する不確実性がどれだけ減少するかを示す量 • p(x)とp(x|y)の間の情報量の差と考えられる 変数x,y間の相互情報量
20. 2 確率分布 Probability Distribution
21. 密度推定 • 観測値の有限集合{x_1,...,x_N}が与えられた時、確率変数xの確率分布p(x)をモデル化す る問題 • 本章では・・・ ◦ データ点は独立同分布に従うとする ◦ 特定の確率分布を前提としたパラメトリックな密度推定と、ノンパラメトリックな密度推定（ヒストグラ ム、最近傍、カーネル）を紹介する
22. 2.1 二値変数 Binary Variables
23. ベルヌーイ分布 • コインを投げた時の結果を表す確率分布 • 確率分布というより、関数に近い • 二値確率変数　　　　　に対して、
24. コイン投げの独立試行 • ベルヌーイ分布に従うコインを複数投げたとき、 μの値を推定する • 観測値のデータ集合D={x_1, x_2, …, x_N}があるとするとき、 尤度関数 対数尤度関数 この対数尤度関数は、 μと観測値の総和　　　　のみで記述できる つまり、観測値の総和は十分統計量となっている 十分統計量：データ集合を持たなくても、その量を持っているだけで確率分布が記述で きる量
25. 最尤推定の欠点 • 前スライドの対数尤度関数を微分して、最尤推定量を求めると、 • コイン投げを３回して、３回とも表がでた場合、最尤推定量は p(x=1)=1、p(x=0)=0となる • これは現実的に見て正しくない x=1になる回数を mとすると
26. 二項分布 • ベルヌーイ試行をN回行った時に、m回表が出る確率
27. 共役事前分布 • 最尤推定では過学習してしまうことがある • 事前分布を導入してベイズ的にパラメータを更新したい 事後分布 尤度 事前分布 計算の簡略化および逐次学習のため、事前分布と事後分布は 同じ関数形になっていてほしい 同じ関数形式になる分布の性質を共役性とよぶ 事後分布と共役性をもつ事前分布を共役事前分布とよぶ
28. ベータ分布 • 二項分布の共役事前分布 • Γ関数は • ややこしいが、Γ関数は、ベータ分布の正規化のために存在していると理解しておけば ok パラメータa,bはパラメー タμの分布を決める超パ ラメータ (hyper-parameter)
29. ベータ分布の事後分布 • 事前分布(2,13)と二項尤度関数(2,9)をかけると事後分布が得られる l=N-m(裏の回数) • a→a+m(表の出た回数)、b→b+l(裏の出た回数)へと更新された • a,bはそれぞれ有効観測数と呼ばれる
30. a,bの効果 • ベータ分布ではa,bの数が増加するにつれ て、分布のピークがより鋭くなる • 観測数が増えるにつれてより鋭い分布を得ら れるようになる • 平均的に、より多くの観測数を得ると、事後 分布が示す不確実性は減少する • 詳細はp74(日本語版p72)
31. イラストで理解
32. ベイズと最尤推定の関係 • 無限のデータ集合においては、 MAP解と最尤解は一致する m,l→∞の場合、m/m+lに収束する
33. 2.2 多値分布 Multinomial Variables
34. 多値における表現 • K個の可能な状態のうち１つをとるような離散変数を考える • 1-of-K符号化法がよく使われる • x_3=1の状態となった観測値xは以下のように表現する • x_k=1となる確率をパラメータμ_kで表すと、xの分布は ベルヌーイの多値への拡張
35. 最尤推定解 • 細かいところは省略して尤度関数と結果のみ示す（詳細は p75,76） 各x_kが出現した回数m_kに従うという妥当な結果を得る
36. 多項分布 • 二項分布の多値への拡張
37. ディリクレ分布 • 多項分布に対する共役事前分布 • ハイパーパラメータαを導入して、 • μの総和が1になる制約があるので、K-1次元の単体(Simplex)上に制限 して分布する
38. ハイパーパラメータを変えた時 • 単体平面上に、縦軸に密度 をプロットしてみる • 高い密度のあるところほど 生起しやすい • {α_k}=1のときは、事前確率 を与えないのと等価 • 真ん中によっている方が、 各変数が等しく出現しやす い
39. 二値変数確率の表現 • 二項分布で表現してもいいし、多項分布で K=2で表現してもいい • 式の見た目がちょっと違うが、意味は同じ
40. まとめ
41. 1.6 情報理論 • 情報量は確率の-log • エントロピーは情報量の平均（確率の平均なので期待値でもある） • 離散確率の場合、一様分布がエントロピー最大 • 連続確率の場合、ガウス分布が微分エントロピー最大 • ある確率分布が、どれくらい真の分布を近似できているかを示す量を KLダイバージェンスという • KLダイバージェンスの最小化が尤度の最大化と等価になる • 二変数x,yの間の独立性を示す量である相互情報量は KLダイバージェンスから計算できる
42. 2.1 二値変数 • ベルヌーイ分布、二項分布、ベータ分布の違いを理解 • MAPでは、事前分布を用いて有効観測数を追加していることと理解 • データが多いと、MAP解は最尤推定解と一致する
43. 2.2 多値変数 • 1-of-K記法に親しむ • 多項分布、ディリクレ分布について理解 • 二値変数の場合を内包する
44. おわり！