PRML 6章 カーネル法@長岡

PRML勉強会の資料です．

Transcript

1. PRML勉強会@長岡 第6章 カーネル法 岩橋研究室　木村 大輝
2. 2014/06/16 PRML 第６章 カーネル法 2 / 42　 目次 • 概要 • 双対表現 • カーネル関数の構成 • RBFネットワーク • ガウス過程 今回やる部分 次回説明します
3. 2014/06/16 PRML 第６章 カーネル法 3 / 42　 線形回帰モデル • 線形回帰モデル（３章）を再び考える • 入力変数に対して非線形 • φは基底関数なので高次元(特徴次元)への写像 • 多くの線形回帰モデルはカーネル関数を使う形 に書き換えることができる 基底関数 パラメータ
4. 2014/06/16 PRML 第６章 カーネル法 4 / 42　 なぜ高次元（特徴次元）に写像？ • 特徴次元に写像することで線形分離可能にする
5. 2014/06/16 PRML 第６章 カーネル法 5 / 42　 カーネル関数(1) • カーネル関数kは入力x,x'に対し以下を満たす • φ(x)を直接扱う必要がなくなる ▶ 高次元（or 無限次元）の空間を間接的に扱える • 特徴空間次元での内積 ▶ 各サンプル点の近さと考えることができる
6. 2014/06/16 PRML 第６章 カーネル法 6 / 42　 カーネル関数(2) • 不変カーネル ▶ 引数の差にのみ依存 • 均一カーネル or RBF ▶ ２つのベクトル間の距離にのみ依存
7. 2014/06/16 PRML 第６章 カーネル法 7 / 42　 6.1 双対表現 PRML下巻 p.2 – p.4
8. 2014/06/16 PRML 第６章 カーネル法 8 / 42　 双対表現 • 線形モデルは双対表現に書き直すことができる • 双対とは？ ▶ 別の関係に変換しても元の関係が成り立つこと • 並列と直列 • インピーダンスとアドミタンス • 電場と磁場 • 双対表現にすることでカーネル関数が現れる
9. 2014/06/16 PRML 第６章 カーネル法 9 / 42　 ここで … (6.4) 双対表現の導出(1) • 線形回帰は二乗和誤差を最小化する 誤差関数J(w)は真値tn より次のようになる ここでJ(w)の勾配を0とおき,wについて解く
10. 2014/06/16 PRML 第６章 カーネル法 10 / 42　 ただし 双対表現の導出(2) ここで とすると よって • wで表現されていたものをaで置き換えた • このことを双対表現と呼ぶ また，上式を式(6.4)に代入すると
11. 2014/06/16 PRML 第６章 カーネル法 11 / 42　 双対表現の導出(3) となりカーネル関数kで表すことができる 同様に予測値yも以下で与えられる ここで
12. 2014/06/16 PRML 第６章 カーネル法 12 / 42　 双対表現の意義 • パラメータa，予測値yをカーネル関数で表現す ることができる ▶ 特徴ベクトルφ(x)を考えることを避けつつ高次元 の特徴空間を間接的に扱うことができる ▶ wの次元はパラメータ数と同じになるが，aの次元 は訓練データ数と同じになる • 双対性はSVMにおいても有用（→７章）
13. 2014/06/16 PRML 第６章 カーネル法 13 / 42　 6.2 カーネル関数の構成 PRML下巻 p.4 – p.10
14. 2014/06/16 PRML 第６章 カーネル法 14 / 42　 カーネル関数の構成(1) • 有効なカーネル関数を構成するには 1.特徴空間への写像を考え構成する 特徴空間 左:ガウス分布 右:ロジスティックシグモイド関数 をxの関数 としてプロット
15. 2014/06/16 PRML 第６章 カーネル法 15 / 42　 カーネル関数の構成(2) 2.カーネル関数を直接定義する • 特徴空間でスカラー積であることを保証する必要がある 例) に対し2次元の入力を考えると よってφのスカラー積となる → 有効なカーネル関数
16. 2014/06/16 PRML 第６章 カーネル法 16 / 42　 カーネル関数の構成(3) • より簡単に有効なカーネル関数と示すには？ ▶ ある に対してグラム行列Kが半正定値 ▶ つまり，任意の に対して
17. 2014/06/16 PRML 第６章 カーネル法 17 / 42　 様々なカーネル関数(1) • 多項式カーネル ▶ M次多項式を表すカーネル関数 • ガウシアンカーネル ▶ 最もよく使われるカーネル関数 ▶ 無限次元への写像と等価
18. 2014/06/16 PRML 第６章 カーネル法 18 / 42　 様々なカーネル関数(2) • 生成モデルによるカーネル ▶ 生成モデルp(x)の確率が共に大きいと似ている • 既知のカーネルから構成 ▶ 新たなカーネルを構成するには単純なカーネルを 構成要素として用いる（→PRML下巻p.5参照）
19. 2014/06/16 PRML 第６章 カーネル法 19 / 42　 6.3 RBFネットワーク PRML下巻 p.10 – p.14
20. 2014/06/16 PRML 第６章 カーネル法 20 / 42　 RBFネットワーク • 基底関数φはどのようなものを使えば良いか？ ▶ 一般にはRBF(動径基底関数)を使用する • 中心μ i からの動径（普通はユークリッド距離）のみに依存 • 目的変数の値を正確に再現できる – 目的関数に含まれるノイズも学習してしまう（過学習） • 入力変数にノイズが含まれる場合においても有効 ただし，中心をμ i とする hとしてガウス関数がよく利用される
21. 2014/06/16 PRML 第６章 カーネル法 21 / 42　 RBFネットワーク(2) ▶ ノイズν(ξ)が含まれるとき二乗和誤差関数Eは 変分法により 正規化されている
22. 2014/06/16 PRML 第６章 カーネル法 22 / 42　 RBFネットワーク(3) ▶ 基底関数が正規化されているので任意のxで ▶ 正規化を行なわないと • 域内の予測値が小さくなる • 予測値のほとんどがバイアスパラメータが決定される 正規化
23. 2014/06/16 PRML 第６章 カーネル法 23 / 42　 RBFネットワーク(4) • RBFの線型結合は次のように表される ▶ 三層パーセプトロンと類似している • RBF「ネットワーク」 ▶ 任意の非線形関数を近似することができる RBF
24. 2014/06/16 PRML 第６章 カーネル法 24 / 42　 6.3.1 Nadaraya-Watsonモデル • Nadaraya-Watsonモデルについては省略 ▶ カーネル密度推定（PRML３章）からRBF正則化が 導くことができる
25. 2014/06/16 PRML 第６章 カーネル法 25 / 42　 カーネル関数まとめ • サンプルが増えると複雑な関数を表現できる • 高次元を扱うことができる ▶ カーネルトリック • カーネル関数のモジュール化 ▶ 多項式カーネル，ガウシアンカーネル，etc... • 次回はガウス過程！
26. 2014/06/16 PRML 第６章 カーネル法 26 / 42　 目次 • 概要 • 双対表現 • カーネル関数の構成 • RBFネットワーク • ガウス過程 前回やった部分 今回説明します
27. 2014/06/16 PRML 第６章 カーネル法 27 / 42　 6.4 ガウス過程 PRML下巻 p.14 – p.31
28. 2014/06/16 PRML 第６章 カーネル法 28 / 42　 ガウス過程 • ガウス過程とは？ ▶ 任意の点集合{x1 ,x2 ,…,xN }に対するy x ( )の値の同時 分布がガウス分布に従うとしたもの • 今まではパラメータwの事前分布p w ( )を決めいていたが 関数y x ( )の事前分布を直接定義する • xの変化を時間の変化と捉えれば確率過程と考えること もできる
29. 2014/06/16 PRML 第６章 カーネル法 29 / 42　 線形回帰再訪(1) • まずは線形回帰の再導出を行う M個の固定された基底関数のモデル（→ 上巻3.3） ここで 基底関数 パラメータベクトル 分布の精度
30. 2014/06/16 PRML 第６章 カーネル法 30 / 42　 線形回帰再訪(2) 前頁でwの分布を決めると関数y x ( )も決まった ▶ y x ( )の確率分布を導くことと同じ ▶ y x ( )はwと同様にガウス分布に従うため平均と分散 で記述することができる ここで，y y x ={ ( 1 y x ), ( 2 y x ),…, ( N )} = Φwとすると平均は 次のように表される
31. 2014/06/16 PRML 第６章 カーネル法 31 / 42　 線形回帰再訪(3) 分散は ここで，カーネル関数の定義 から とすると
32. 2014/06/16 PRML 第６章 カーネル法 32 / 42　 線形回帰再訪(4) • ガウス過程は ▶ 平均と共分散といった統計量で記述される • 平均は0とおくことが多い ▶ カーネル関数で与えられる
33. 2014/06/16 PRML 第６章 カーネル法 33 / 42　 ガウス過程による回帰(1) 観測データには独立な誤差が含まれていると仮定する ここで，各点の誤差がガウス分布に従うとすると βは精度パラメータである 同様にガウス過程がカーネル関数で与えられることから
34. 2014/06/16 PRML 第６章 カーネル法 34 / 42　 ガウス過程による回帰(2) したがって，周辺分布p t ( )は次のようになる ここで 実線：事前分布からサンプリングされた関数 赤丸：入力集合 x { n }に対する目標値y n 緑丸： y { n }にノイズを加えた点t n 誤差（ノイズ） 目標値
35. 2014/06/16 PRML 第６章 カーネル法 35 / 42　 ガウス過程による回帰(3) • ここまでは関数当てはめ ▶ 新しい入力xN+1 に対するtN+1 を予測したい • 同時分布p t ( N+1 )は次のように与えられる ここでkは要素k x ( n x , N+1 n N ) ( =1,…, )のベクトル また，c k x = ( N+1 x , N+1 ) + β-1
36. 2014/06/16 PRML 第６章 カーネル法 36 / 42　 ガウス過程による回帰(4) 2.3.1節の結果から平均と分散は以下のようになる 赤線：正弦関数 青丸：ガウス分布に従うノイズを加えた点 緑線：ガウス過程による予測分布の平均 影　：標準偏差の範囲
37. 2014/06/16 PRML 第６章 カーネル法 37 / 42　 ガウス過程による回帰(5) • ガウス過程による回帰は ▶ 逆行列を計算する必要がある • ガウス過程の場合はサンプル数NのときO(N3) • 基底関数の場合はモデル数MのときO(M3) ▶ 無限個の基底関数を考えることができる
38. 2014/06/16 PRML 第６章 カーネル法 38 / 42　 超パラメータの学習 • 共分散関数を考えるよりもパラメトリックな関 数を使うほうが良い（→ 上巻3.5） ▶ 超パラメータの集合θを導入する • 尤度関数を考えてそれを最大化する →最大化
39. 2014/06/16 PRML 第６章 カーネル法 39 / 42　 超パラメータの学習 • 共分散関数を考えるよりもパラメトリックな関 数を使うほうが良い（→ 上巻3.5） ▶ 超パラメータの集合θを導入する • 尤度関数を考えてそれを最大化する →最大化
40. 2014/06/16 PRML 第６章 カーネル法 40 / 42　 関連度自由決定 • ２次元の入力があるとき，カーネル関数を次の ように定義する • 最尤推定で最適なη1 ，η2 を 決定することが可能 ▶ 入力変数の影響度が分かる ３次元入力
41. 2014/06/16 PRML 第６章 カーネル法 41 / 42　 ガウス過程による分類 • ガウス過程のモデルは実数値全体を取り得る ▶ 活性化関数を使うことで分類問題に適応させる • ロジスティックシグモイド関数など
42. 2014/06/16 PRML 第６章 カーネル法 42 / 42　 まとめ • カーネル法は高次元の特徴空間で扱う手法 ▶ 線形回帰などは双対性を利用してカーネル関数で記 述することができる ▶ パラメータ数は訓練データ数になる • ガウス過程 ▶ 無限個の基底関数を扱うことができる ▶ 関数の分散を計算できる