PLS における回帰係数 0 明治大学 理⼯学部 応用化学科 データ化学⼯学研究室 ⾦⼦ 弘昌

前提 部分的最小二乗回帰 (Partial Least Squares Regression, PLS) の以下の記事を読んでいることが前提です https://datachemeng.com/partialleastsquares/ 1

PLS の基本式 (yは１変数) 2  A : PLS の成分数  ta : a 番目の主成分  pa : a 番目のローディング  E : X の残差 T T 1 A a a a= = + = +  X t p E TP E 1 A a a a q = = + = +  y t f Tq f  qa : a 番目の係数  f : y の残差 X、y はオートスケーリング後 (平均 0、標準偏差 1) オートスケーリングについては こちら ⾏列の表し⽅やローディングについては こちら

PLS における回帰係数 3 PLS でも最小二乗法による線形重回帰分析 https://datachemeng.com/ordinaryleastsquares/ と同様にして、以下のように表すことができる f Xb y + = ( ) q W P W b 1 T − = 回帰係数 b は、以下のように計算される なぜこのように表されるのか、証明します  W : ウェイトベクトル w1 , w2 , … を横に 並べた⾏列

1 成分モデル 基本式と証明したいこと 4 E p t X + = T 1 1 f t y + = 1 1 q 基本式 1 = Ew 0 を証明します

1 成分モデル 式変形 Ew1 =0 の証明 5 1 1 T 1 1 1 1 1 T 1 1 1 T 1 1 Ew w p t t Ew w p t Xw E p t X + = + = + = 両辺に右から w1 をかけると、 1 T T 1 1 T 1 T 1 1 T 1 Xw X w Xw X t t t X p = = 1 1 T T 1 1 T T 1 1 T 1 = = Xw X w Xw X w w p ここで、 (同様にして、任意の a 成分において pa Twa =1) 0 Ew Ew t t = + = 1 1 1 1 よって、 ・・・あとで使います 1 1 Xw t = より、 ・・・あとで使います

2 成分モデル 基本式と証明したいこと 6 2 T 2 2 T 1 1 E p t p t X + + = 2 2 2 1 1 f t t y + + = q q 基本式 を証明します 2 1 = E w 0 2 2 = E w 0

2 成分モデル 式変形 E2 w1 =0 の証明 1/2 7 2 T 2 2 T 1 1 E p t p t X + + = 1 成分モデルの基本式より、 1 2 1 T 2 2 1 2 1 T 2 2 1 2 T 2 2 w E w p t 0 w E w p t Ew E p t E + = + = + = 両辺に右から w1 をかけると、 より、 ( ) T 2 2 2 T 2 2 T T 1 1 2 2 T 2 2 = − = X t p t t X t p t p t t T 1 1 2 p t X X − = より、 次のページで使います 1 = Ew 0

2 成分モデル 式変形 E2 w1 =0 の証明 2/2 8 T 2 2 1 2 1 2 1 2 1 = + = + = 0 t p w E w 0 0 E w E w 0 ( ) ( ) ( ) 0 2 T 2 1 1 T 2 2 T 2 1 T 1 1 1 T 2 2 T 2 1 T 1 1 T 2 1 T 2 = − = − = − = t t t t t t t w p t Xw t t t w p t X t w p よって、 ・・・あとで使います

2 成分モデル 式変形 9 T 2 1 0 = p w より、 T T 2 2 1 2 1 T 2 2 0 = = t X w p w t t よって、 T 2 2 1 0 = t X w T の各成分は互いに無相関なので、どの成分 ta も X2 w1 と直交する T 2 1 0 a = t X w よって、 ・・・あとで使います

2 成分モデル 式変形 E2 w2 =0 の証明 10 T 2 2 2 2 T 2 2 2 2 2 2 2 2 2 2 2 2 2 = + = + = + = X t p E X w t p w E w t t E w E w 0 両辺に右から w2 をかけると、 1 2 T 2 = w p 2 2 2 = t X w より、 ・・・あとで使います

2 成分モデル 回帰係数 11 両辺に右から W (=[w1 w2 ]) をかけると、 ( ) T 2 T 2 T 1 T − = + = + = = X TP E XW TP W E W XW TP W XW P W T 2 f Tq y + = よって、 ( ) 2 1 T − = = y Tq XW P W q ( ) q W P W b 1 T − = 2 1 = E w 0 2 2 = E w 0 より、 両辺に右から PTW の逆⾏列を かけると、 より、y の計算値 (誤差以外) を y2 とすると、

3 成分モデル 基本式と証明したいこと 12 T T T 1 1 2 2 3 3 3 = + + + X t p t p t p E 1 1 2 2 3 3 3 q q q = + + + y t t t f 基本式 を証明します 3 1 = E w 0 3 2 = E w 0 3 3 = E w 0

3 成分モデル 式変形 E3 w1 =0 の証明 1/2 13 両辺に右から w1 をかけると、 T 2 3 3 3 T 2 1 3 3 1 3 1 T 3 3 1 3 1 = + = + = + E t p E E w t p w E w 0 t p w E w 2 1 = E w 0 より、 次のページで使います ( ) T 3 3 3 T 3 3 T T 2 2 2 3 3 T 3 3 = − = X t p t t X t p t p t t T 3 2 2 2 = − X X t p より、

3 成分モデル 式変形 E3 w1 =0 の証明 2/2 14 T 3 3 1 3 1 3 1 3 1 = + = + = 0 t p w E w 0 0 E w E w 0 ( ) ( ) T T T T T 3 2 2 2 1 3 2 1 2 2 1 T 3 2 1 3 1 T T T 3 3 3 3 3 3 0 − − = = = = t X t p w t X w t p w t X w p w t t t t t t よって、 (2 成分モデルの結果 ta TX2 w1 = 0 より) ・・・あとで使います

3 成分モデル 式変形 15 T 3 1 0 = p w よって、 T 3 3 1 0 = t X w T の各成分は互いに無相関なので、どの成分 ta も X3 w1 と直交する T 3 1 0 a = t X w よって、 ・・・あとで使います より、 T T 3 3 1 3 1 T 3 3 0 = = t X w p w t t

3 成分モデル 式変形 E3 w2 =0 の証明 1/2 16 両辺に右から w2 をかけると、 T 2 3 3 3 T 2 2 3 3 2 3 2 T 3 3 2 3 2 = + = + = + E t p E E w t p w E w 0 t p w E w 2 2 = E w 0 より、 次のページで使います ( ) T 3 3 3 T 3 3 T T 2 2 2 3 3 T 3 3 = − = X t p t t X t p t p t t T 3 2 2 2 = − X X t p より、

3 成分モデル 式変形 E3 w2 =0 の証明 2/2 17 T 3 3 2 3 2 3 2 3 2 = + = + = 0 t p w E w 0 0 E w E w 0 ( ) ( ) ( ) T T T T 3 2 2 2 2 3 2 2 2 2 2 2 2 T 3 2 T T T 3 3 3 3 3 3 0 − − − = = = = t X t p w t X w t p w t t p w t t t t t t よって、 (1 成分モデルの結果 pa Twa =1 より) ・・・あとで使います

3 成分モデル 式変形 18 T 3 2 0 = p w よって、 T 3 3 2 0 = t X w T の各成分は互いに無相関なので、どの成分 ta も X3 w2 と直交する T 3 2 0 a = t X w よって、 ・・・あとで使います より、 T T 3 3 2 3 2 T 3 3 0 = = t X w p w t t

3 成分モデル 式変形 E3 w3 =0 の証明 19 T 3 3 3 3 T 3 3 3 3 3 3 3 3 3 3 3 3 3 = + = + = + = X t p E X w t p w E w t t E w E w 0 両辺に右から w3 をかけると、 T 3 3 1 = p w 3 3 3 = t X w より、 ・・・あとで使います

3 成分モデル 回帰係数 20 両辺に右から W (=[w1 w2 w3 ]) をかけると、 ( ) T 3 T 3 T 1 T − = + = + = = X TP E XW TP W E W XW TP W XW P W T 3 = + y Tq f よって、 ( ) 3 1 T − = = y Tq XW P W q ( ) q W P W b 1 T − = 3 1 3 2 3 3 = = = E w E w E w 0 より、 両辺に右から PTW の逆⾏列を かけると、 より、y の計算値 (誤差以外) を y3 とすると、

a 成分モデル 基本式と証明したいこと 21 基本式 を証明します 1 2 a a a a = = = E w 0 E w 0 E w 0 ⋮ T T T 1 1 2 2 a a a = + + + + X t p t p t p E ⋯ 1 1 2 2 a a a q q q = + + + + y t t t f ⋯

a 成分モデル 式変形 Ea wi =0 の証明 1/4 22 両辺に右から wi (1 ≤ i ≤ a) をかけると、 T 1 T 1 a a a a a i a a i a i − − = + = + E t p E E w t p w E w ( ) T T T T 1 1 1 T a a a a a a a a a a a a − − − = − = X t p t t X t p t p t t T 1 1 1 a a a a − − − = − X X t p より、 ( ) T T 1 1 1 T T a a a a i a i a a − − − − = t X t p w p w t t 両辺に右から wi (1 ≤ i ≤ a) をかけると、 後で使います

a 成分モデル 式変形 Ea wi =0 の証明 2/4 23 T T T T 1 1 1 T T 1 T a a i a a a i a i a a a a i a a − − − − − = = t X w t t p w p w t t t X w t t ta と ta-1 は無相関より、

a 成分モデル 式変形 Ea wi =0 の証明 3/4 24 T 1 0 a a p − = t X w T 1 T T 0 a a p a i a a − = = t X w p w t t つまり、 a = 3 のときはすでに証明したので、数学的帰納法より、 j =1, 2, ..., a – 1 で、 T 0 j i = p w と仮定すると、 T T T 0 j j i j i j j = = t X w p w t t より T 0 j j i = t X w T の各成分は互いに無相関なので、どの成分 tj も Xj wi と直交する よって、 T 0 a i = p w

a 成分モデル 式変形 Ea wi =0 の証明 4/4 25 T 1 1 a i a a i a i a i a i − − = + = E w t p w E w E w E w p. 22 より、 T 0 a i = p w より、 1 2 1 i i a i a i − = = = = = 0 E w E w E w E w ⋯ よって、

a 成分モデル 回帰係数 26 両辺に右から W (=[w1 w2 … wa ]) をかけると、 ( ) T T T 1 T a a − = + = + = = X TP E XW TP W E W XW TP W XW P W T 3 = + y Tq f よって、 ( ) 1 T a − = = y Tq XW P W q ( ) q W P W b 1 T − = 1 2 a a a a = = = = E w E w E w 0 ⋯ より、 両辺に右から PTW の逆⾏列を かけると、 より、y の計算値 (誤差以外) を ya とすると、