Slide 1

Slide 1 text

PRML勉強会@長岡 第6章 カーネル法 岩橋研究室 木村 大輝

Slide 2

Slide 2 text

2014/06/16 PRML 第6章 カーネル法 2 / 42  目次 ● 概要 ● 双対表現 ● カーネル関数の構成 ● RBFネットワーク ● ガウス過程 今回やる部分 次回説明します

Slide 3

Slide 3 text

2014/06/16 PRML 第6章 カーネル法 3 / 42  線形回帰モデル ● 線形回帰モデル(3章)を再び考える ● 入力変数に対して非線形 ● φは基底関数なので高次元(特徴次元)への写像 ● 多くの線形回帰モデルはカーネル関数を使う形 に書き換えることができる 基底関数 パラメータ

Slide 4

Slide 4 text

2014/06/16 PRML 第6章 カーネル法 4 / 42  なぜ高次元(特徴次元)に写像? ● 特徴次元に写像することで線形分離可能にする

Slide 5

Slide 5 text

2014/06/16 PRML 第6章 カーネル法 5 / 42  カーネル関数(1) ● カーネル関数kは入力x,x'に対し以下を満たす ● φ(x)を直接扱う必要がなくなる ▶ 高次元(or 無限次元)の空間を間接的に扱える ● 特徴空間次元での内積 ▶ 各サンプル点の近さと考えることができる

Slide 6

Slide 6 text

2014/06/16 PRML 第6章 カーネル法 6 / 42  カーネル関数(2) ● 不変カーネル ▶ 引数の差にのみ依存 ● 均一カーネル or RBF ▶ 2つのベクトル間の距離にのみ依存

Slide 7

Slide 7 text

2014/06/16 PRML 第6章 カーネル法 7 / 42  6.1 双対表現 PRML下巻 p.2 – p.4

Slide 8

Slide 8 text

2014/06/16 PRML 第6章 カーネル法 8 / 42  双対表現 ● 線形モデルは双対表現に書き直すことができる ● 双対とは? ▶ 別の関係に変換しても元の関係が成り立つこと ● 並列と直列 ● インピーダンスとアドミタンス ● 電場と磁場 ● 双対表現にすることでカーネル関数が現れる

Slide 9

Slide 9 text

2014/06/16 PRML 第6章 カーネル法 9 / 42  ここで … (6.4) 双対表現の導出(1) ● 線形回帰は二乗和誤差を最小化する 誤差関数J(w)は真値tn より次のようになる ここでJ(w)の勾配を0とおき,wについて解く

Slide 10

Slide 10 text

2014/06/16 PRML 第6章 カーネル法 10 / 42  ただし 双対表現の導出(2) ここで とすると よって ● wで表現されていたものをaで置き換えた ● このことを双対表現と呼ぶ また,上式を式(6.4)に代入すると

Slide 11

Slide 11 text

2014/06/16 PRML 第6章 カーネル法 11 / 42  双対表現の導出(3) となりカーネル関数kで表すことができる 同様に予測値yも以下で与えられる ここで

Slide 12

Slide 12 text

2014/06/16 PRML 第6章 カーネル法 12 / 42  双対表現の意義 ● パラメータa,予測値yをカーネル関数で表現す ることができる ▶ 特徴ベクトルφ(x)を考えることを避けつつ高次元 の特徴空間を間接的に扱うことができる ▶ wの次元はパラメータ数と同じになるが,aの次元 は訓練データ数と同じになる ● 双対性はSVMにおいても有用(→7章)

Slide 13

Slide 13 text

2014/06/16 PRML 第6章 カーネル法 13 / 42  6.2 カーネル関数の構成 PRML下巻 p.4 – p.10

Slide 14

Slide 14 text

2014/06/16 PRML 第6章 カーネル法 14 / 42  カーネル関数の構成(1) ● 有効なカーネル関数を構成するには 1.特徴空間への写像を考え構成する 特徴空間 左:ガウス分布 右:ロジスティックシグモイド関数 をxの関数 としてプロット

Slide 15

Slide 15 text

2014/06/16 PRML 第6章 カーネル法 15 / 42  カーネル関数の構成(2) 2.カーネル関数を直接定義する ● 特徴空間でスカラー積であることを保証する必要がある 例) に対し2次元の入力を考えると よってφのスカラー積となる → 有効なカーネル関数

Slide 16

Slide 16 text

2014/06/16 PRML 第6章 カーネル法 16 / 42  カーネル関数の構成(3) ● より簡単に有効なカーネル関数と示すには? ▶ ある に対してグラム行列Kが半正定値 ▶ つまり,任意の に対して

Slide 17

Slide 17 text

2014/06/16 PRML 第6章 カーネル法 17 / 42  様々なカーネル関数(1) ● 多項式カーネル ▶ M次多項式を表すカーネル関数 ● ガウシアンカーネル ▶ 最もよく使われるカーネル関数 ▶ 無限次元への写像と等価

Slide 18

Slide 18 text

2014/06/16 PRML 第6章 カーネル法 18 / 42  様々なカーネル関数(2) ● 生成モデルによるカーネル ▶ 生成モデルp(x)の確率が共に大きいと似ている ● 既知のカーネルから構成 ▶ 新たなカーネルを構成するには単純なカーネルを 構成要素として用いる(→PRML下巻p.5参照)

Slide 19

Slide 19 text

2014/06/16 PRML 第6章 カーネル法 19 / 42  6.3 RBFネットワーク PRML下巻 p.10 – p.14

Slide 20

Slide 20 text

2014/06/16 PRML 第6章 カーネル法 20 / 42  RBFネットワーク ● 基底関数φはどのようなものを使えば良いか? ▶ 一般にはRBF(動径基底関数)を使用する ● 中心μ i からの動径(普通はユークリッド距離)のみに依存 ● 目的変数の値を正確に再現できる – 目的関数に含まれるノイズも学習してしまう(過学習) ● 入力変数にノイズが含まれる場合においても有効 ただし,中心をμ i とする hとしてガウス関数がよく利用される

Slide 21

Slide 21 text

2014/06/16 PRML 第6章 カーネル法 21 / 42  RBFネットワーク(2) ▶ ノイズν(ξ)が含まれるとき二乗和誤差関数Eは 変分法により 正規化されている

Slide 22

Slide 22 text

2014/06/16 PRML 第6章 カーネル法 22 / 42  RBFネットワーク(3) ▶ 基底関数が正規化されているので任意のxで ▶ 正規化を行なわないと ● 域内の予測値が小さくなる ● 予測値のほとんどがバイアスパラメータが決定される 正規化

Slide 23

Slide 23 text

2014/06/16 PRML 第6章 カーネル法 23 / 42  RBFネットワーク(4) ● RBFの線型結合は次のように表される ▶ 三層パーセプトロンと類似している ● RBF「ネットワーク」 ▶ 任意の非線形関数を近似することができる RBF

Slide 24

Slide 24 text

2014/06/16 PRML 第6章 カーネル法 24 / 42  6.3.1 Nadaraya-Watsonモデル ● Nadaraya-Watsonモデルについては省略 ▶ カーネル密度推定(PRML3章)からRBF正則化が 導くことができる

Slide 25

Slide 25 text

2014/06/16 PRML 第6章 カーネル法 25 / 42  カーネル関数まとめ ● サンプルが増えると複雑な関数を表現できる ● 高次元を扱うことができる ▶ カーネルトリック ● カーネル関数のモジュール化 ▶ 多項式カーネル,ガウシアンカーネル,etc... ● 次回はガウス過程!

Slide 26

Slide 26 text

2014/06/16 PRML 第6章 カーネル法 26 / 42  目次 ● 概要 ● 双対表現 ● カーネル関数の構成 ● RBFネットワーク ● ガウス過程 前回やった部分 今回説明します

Slide 27

Slide 27 text

2014/06/16 PRML 第6章 カーネル法 27 / 42  6.4 ガウス過程 PRML下巻 p.14 – p.31

Slide 28

Slide 28 text

2014/06/16 PRML 第6章 カーネル法 28 / 42  ガウス過程 ● ガウス過程とは? ▶ 任意の点集合{x1 ,x2 ,…,xN }に対するy x ( )の値の同時 分布がガウス分布に従うとしたもの ● 今まではパラメータwの事前分布p w ( )を決めいていたが 関数y x ( )の事前分布を直接定義する ● xの変化を時間の変化と捉えれば確率過程と考えること もできる

Slide 29

Slide 29 text

2014/06/16 PRML 第6章 カーネル法 29 / 42  線形回帰再訪(1) ● まずは線形回帰の再導出を行う M個の固定された基底関数のモデル(→ 上巻3.3) ここで 基底関数 パラメータベクトル 分布の精度

Slide 30

Slide 30 text

2014/06/16 PRML 第6章 カーネル法 30 / 42  線形回帰再訪(2) 前頁でwの分布を決めると関数y x ( )も決まった ▶ y x ( )の確率分布を導くことと同じ ▶ y x ( )はwと同様にガウス分布に従うため平均と分散 で記述することができる ここで,y y x ={ ( 1 y x ), ( 2 y x ),…, ( N )} = Φwとすると平均は 次のように表される

Slide 31

Slide 31 text

2014/06/16 PRML 第6章 カーネル法 31 / 42  線形回帰再訪(3) 分散は ここで,カーネル関数の定義 から とすると

Slide 32

Slide 32 text

2014/06/16 PRML 第6章 カーネル法 32 / 42  線形回帰再訪(4) ● ガウス過程は ▶ 平均と共分散といった統計量で記述される ● 平均は0とおくことが多い ▶ カーネル関数で与えられる

Slide 33

Slide 33 text

2014/06/16 PRML 第6章 カーネル法 33 / 42  ガウス過程による回帰(1) 観測データには独立な誤差が含まれていると仮定する ここで,各点の誤差がガウス分布に従うとすると βは精度パラメータである 同様にガウス過程がカーネル関数で与えられることから

Slide 34

Slide 34 text

2014/06/16 PRML 第6章 カーネル法 34 / 42  ガウス過程による回帰(2) したがって,周辺分布p t ( )は次のようになる ここで 実線:事前分布からサンプリングされた関数 赤丸:入力集合 x { n }に対する目標値y n 緑丸: y { n }にノイズを加えた点t n 誤差(ノイズ) 目標値

Slide 35

Slide 35 text

2014/06/16 PRML 第6章 カーネル法 35 / 42  ガウス過程による回帰(3) ● ここまでは関数当てはめ ▶ 新しい入力xN+1 に対するtN+1 を予測したい ● 同時分布p t ( N+1 )は次のように与えられる ここでkは要素k x ( n x , N+1 n N ) ( =1,…, )のベクトル また,c k x = ( N+1 x , N+1 ) + β-1

Slide 36

Slide 36 text

2014/06/16 PRML 第6章 カーネル法 36 / 42  ガウス過程による回帰(4) 2.3.1節の結果から平均と分散は以下のようになる 赤線:正弦関数 青丸:ガウス分布に従うノイズを加えた点 緑線:ガウス過程による予測分布の平均 影 :標準偏差の範囲

Slide 37

Slide 37 text

2014/06/16 PRML 第6章 カーネル法 37 / 42  ガウス過程による回帰(5) ● ガウス過程による回帰は ▶ 逆行列を計算する必要がある ● ガウス過程の場合はサンプル数NのときO(N3) ● 基底関数の場合はモデル数MのときO(M3) ▶ 無限個の基底関数を考えることができる

Slide 38

Slide 38 text

2014/06/16 PRML 第6章 カーネル法 38 / 42  超パラメータの学習 ● 共分散関数を考えるよりもパラメトリックな関 数を使うほうが良い(→ 上巻3.5) ▶ 超パラメータの集合θを導入する ● 尤度関数を考えてそれを最大化する →最大化

Slide 39

Slide 39 text

2014/06/16 PRML 第6章 カーネル法 39 / 42  超パラメータの学習 ● 共分散関数を考えるよりもパラメトリックな関 数を使うほうが良い(→ 上巻3.5) ▶ 超パラメータの集合θを導入する ● 尤度関数を考えてそれを最大化する →最大化

Slide 40

Slide 40 text

2014/06/16 PRML 第6章 カーネル法 40 / 42  関連度自由決定 ● 2次元の入力があるとき,カーネル関数を次の ように定義する ● 最尤推定で最適なη1 ,η2 を 決定することが可能 ▶ 入力変数の影響度が分かる 3次元入力

Slide 41

Slide 41 text

2014/06/16 PRML 第6章 カーネル法 41 / 42  ガウス過程による分類 ● ガウス過程のモデルは実数値全体を取り得る ▶ 活性化関数を使うことで分類問題に適応させる ● ロジスティックシグモイド関数など

Slide 42

Slide 42 text

2014/06/16 PRML 第6章 カーネル法 42 / 42  まとめ ● カーネル法は高次元の特徴空間で扱う手法 ▶ 線形回帰などは双対性を利用してカーネル関数で記 述することができる ▶ パラメータ数は訓練データ数になる ● ガウス過程 ▶ 無限個の基底関数を扱うことができる ▶ 関数の分散を計算できる