PLS における回帰係数

PLS における回帰係数
0
明治大学理⼯学部応用化学科
データ化学⼯学研究室⾦⼦弘昌

View Slide

前提
部分的最小二乗回帰 (Partial Least Squares Regression,
PLS) の以下の記事を読んでいることが前提です
https://datachemeng.com/partialleastsquares/
1

View Slide

PLS の基本式 (yは１変数) 2
 A : PLS の成分数
 ta
: a 番目の主成分
 pa
: a 番目のローディング
 E : X の残差
T T
1
A
a a
a=
= + = +

X t p E TP E
1
A
a a
a
q
=
= + = +

y t f Tq f
 qa
: a 番目の係数
 f : y の残差
X、y はオートスケーリング後 (平均 0、標準偏差 1)
オートスケーリングについてはこちら
⾏列の表し⽅やローディングについてはこちら

View Slide

PLS における回帰係数 3
PLS でも最小二乗法による線形重回帰分析
https://datachemeng.com/ordinaryleastsquares/
と同様にして、以下のように表すことができる
f
Xb
y +
=
( ) q
W
P
W
b 1
T −
=
回帰係数 b は、以下のように計算される
なぜこのように表されるのか、証明します
 W : ウェイトベクトル w1
, w2
, … を横に
並べた⾏列

View Slide

1 成分モデル基本式と証明したいこと 4
E
p
t
X +
= T
1
1
f
t
y +
=
1
1
q
基本式
1
=
Ew 0 を証明します

View Slide

1 成分モデル式変形 Ew1
=0 の証明 5
1
1
T
1
1
1
1
1
T
1
1
1
T
1
1
Ew
w
p
t
t
Ew
w
p
t
Xw
E
p
t
X
+
=
+
=
+
=
両辺に右から w1
をかけると、
1
T
T
1
1
T
1
T
1
1
T
1 Xw
X
w
Xw
X
t
t
t
X
p =
=
1
1
T
T
1
1
T
T
1
1
T
1
=
=
Xw
X
w
Xw
X
w
w
p
ここで、
(同様にして、任意の
a 成分において pa
Twa
=1)
0
Ew
Ew
t
t
=
+
=
1
1
1
1
よって、
・・・あとで使います
1
1
Xw
t = より、

View Slide

2
T
2
2
T
1
1
E
p
t
p
t
X +
+
=
2
2
2
1
1
f
t
t
y +
+
= q
q
基本式
を証明します
2 1
=
E w 0
2 2
=
E w 0

View Slide

2 成分モデル式変形 E2
w1
=0 の証明 1/2 7
2
T
2
2
T
1
1
E
p
t
p
t
X +
+
=
1 成分モデルの基本式より、
1
2
1
T
2
2
1
2
1
T
2
2
1
2
T
2
2
w
E
w
p
t
0
w
E
w
p
t
Ew
E
p
t
E
+
=
+
=
+
=
をかけると、
より、
( )
T
2 2
2 T
2 2
T
T
1 1 2
2 T
2 2
=
−
=
X t
p
t t
X t p t
p
t t
T
1
1
2
p
t
X
X −
= より、
次のページで使います
1
=
Ew 0

View Slide

w1
=0 の証明 2/2 8
T
2 2 1 2 1
2 1
2 1
= +
= +
=
0 t p w E w
0 0 E w
E w 0
( ) ( ) ( )
0
2
T
2
1
1
T
2
2
T
2
1
T
1
1
1
T
2
2
T
2
1
T
1
1
T
2
1
T
2
=
−
=
−
=
−
=
t
t
t
t
t
t
t
w
p
t
Xw
t
t
t
w
p
t
X
t
w
p
よって、

View Slide

2 成分モデル式変形 9
T
2 1
0
=
p w より、
T
T 2 2 1
2 1 T
2 2
0
= =
t X w
p w
t t
よって、 T
2 2 1
0
=
t X w
T の各成分は互いに無相関なので、どの成分 ta
も X2
w1
と直交する
T
2 1
0
a
=
t X w
よって、・・・あとで使います

View Slide

w2
=0 の証明 10
T
2 2 2 2
T
2 2 2 2 2 2 2
2 2 2 2
2 2
= +
= +
= +
=
X t p E
X w t p w E w
t t E w
E w 0
をかけると、
1
2
T
2
=
w
p
2 2 2
=
t X w より、

View Slide

2 成分モデル回帰係数 11
両辺に右から W (=[w1
w2
]) をかけると、
( )
T
2
T
2
T
1
T
−
= +
= +
=
=
X TP E
XW TP W E W
XW TP W
XW P W T
2
f
Tq
y +
=
よって、
( )
2
1
T
−
=
=
y Tq
XW P W q
( ) q
W
P
W
b 1
T −
=
2 1
=
E w 0
2 2
=
E w 0 より、
両辺に右から PTW の逆⾏列を
かけると、
より、y の計算値 (誤差以外) を y2
とすると、

View Slide

T T T
1 1 2 2 3 3 3
= + + +
X t p t p t p E
1 1 2 2 3 3 3
q q q
= + + +
y t t t f
基本式
を証明します
3 1
=
E w 0
3 2
=
E w 0
3 3
=
E w 0

View Slide

w1
=0 の証明 1/2 13
をかけると、
T
2 3 3 3
T
2 1 3 3 1 3 1
T
3 3 1 3 1
= +
= +
= +
E t p E
E w t p w E w
0 t p w E w
2 1
=
E w 0 より、
( )
T
3 3
3 T
3 3
T
T
2 2 2 3
3 T
3 3
=
−
=
X t
p
t t
X t p t
p
t t
T
3 2 2 2
= −
X X t p より、

View Slide

w1
=0 の証明 2/2 14
T
3 3 1 3 1
3 1
3 1
= +
= +
=
0 t p w E w
0 0 E w
E w 0
( ) ( )
T T T T T
3 2 2 2 1 3 2 1 2 2 1
T 3 2 1
3 1 T T T
3 3 3 3 3 3
0
− −
= = =
=
t X t p w t X w t p w t X w
p w
t t t t t t
よって、
(2 成分モデルの結果 ta
TX2
w1
= 0 より)

View Slide

T
3 1
0
=
p w
よって、 T
3 3 1
0
=
t X w
も X3
w1
と直交する
T
3 1
0
a
=
t X w
より、
T
T 3 3 1
3 1 T
3 3
0
= =
t X w
p w
t t

View Slide

w2
=0 の証明 1/2 16
をかけると、
T
2 3 3 3
T
2 2 3 3 2 3 2
T
3 3 2 3 2
= +
= +
= +
E t p E
E w t p w E w
0 t p w E w
2 2
=
E w 0 より、
( )
T
3 3
3 T
3 3
T
T
2 2 2 3
3 T
3 3
=
−
=
X t
p
t t
X t p t
p
t t
T
3 2 2 2
= −
X X t p より、

View Slide

w2
=0 の証明 2/2 17
T
3 3 2 3 2
3 2
3 2
= +
= +
=
0 t p w E w
0 0 E w
E w 0
( ) ( ) ( )
T T T T
3 2 2 2 2 3 2 2 2 2 2 2 2
T
3 2 T T T
3 3 3 3 3 3
0
− − −
= = =
=
t X t p w t X w t p w t t
p w
t t t t t t
よって、
(1 成分モデルの結果 pa
Twa
=1 より)

View Slide

T
3 2
0
=
p w
よって、 T
3 3 2
0
=
t X w
も X3
w2
と直交する
T
3 2
0
a
=
t X w
より、
T
T 3 3 2
3 2 T
3 3
0
= =
t X w
p w
t t

View Slide

w3
=0 の証明 19
T
3 3 3 3
T
3 3 3 3 3 3 3
3 3 3 3
3 3
= +
= +
= +
=
X t p E
X w t p w E w
t t E w
E w 0
をかけると、
T
3 3
1
=
p w
3 3 3
=
t X w より、

View Slide

3 成分モデル回帰係数 20
w2
w3
( )
T
3
T
3
T
1
T
−
= +
= +
=
=
X TP E
XW TP W E W
XW TP W
XW P W T
3
= +
y Tq f
よって、
( )
3
1
T
−
=
=
y Tq
XW P W q
( ) q
W
P
W
b 1
T −
=
3 1 3 2 3 3
= = =
E w E w E w 0 より、
かけると、
より、y の計算値 (誤差以外) を y3
とすると、

View Slide

a 成分モデル基本式と証明したいこと 21
基本式
を証明します
1
2
a
a
a a
=
=
=
E w 0
E w 0
E w 0
⋮
T T T
1 1 2 2 a a a
= + + + +
X t p t p t p E
⋯
1 1 2 2 a a a
q q q
= + + + +
y t t t f
⋯

View Slide

a 成分モデル式変形 Ea
wi
=0 の証明 1/4 22
両辺に右から wi
(1 ≤ i ≤ a) をかけると、
T
1
T
1
a a a a
a i a a i a i
−
−
= +
= +
E t p E
E w t p w E w
( )
T
T
T
T
1 1 1
T
a a
a
a a
a a a a
a
a a
− − −
=
−
=
X t
p
t t
X t p t
p
t t
T
1 1 1
a a a a
− − −
= −
X X t p より、
( )
T T
1 1 1
T
T
a a a a i
a i
a a
− − −
−
=
t X t p w
p w
t t
両辺に右から wi
(1 ≤ i ≤ a) をかけると、
後で使います

View Slide

wi
=0 の証明 2/4 23
T T T
T 1 1 1
T
T
1
T
a a i a a a i
a i
a a
a a i
a a
− − −
−
−
=
=
t X w t t p w
p w
t t
t X w
t t
ta
と ta-1
は無相関より、

View Slide

wi
=0 の証明 3/4 24
T
1
0
a a p
−
=
t X w
T
1
T
T
0
a a p
a i
a a
−
= =
t X w
p w
t t
つまり、
a = 3 のときはすでに証明したので、数学的帰納法より、
j =1, 2, ..., a – 1 で、 T 0
j i
=
p w と仮定すると、
T
T
T
0
j j i
j i
j j
= =
t X w
p w
t t
より T 0
j j i
=
t X w
T の各成分は互いに無相関なので、どの成分 tj
も Xj
wi
と直交する
よって、
T 0
a i
=
p w

View Slide

wi
=0 の証明 4/4 25
T
1
1
a i a a i a i
a i a i
−
−
= +
=
E w t p w E w
E w E w
p. 22 より、
T 0
a i
=
p w より、
1 2 1
i i a i a i
−
= = = = =
0 E w E w E w E w
⋯
よって、

View Slide

a 成分モデル回帰係数 26
w2
… wa
( )
T
T
T
1
T
a
a
−
= +
= +
=
=
X TP E
XW TP W E W
XW TP W
XW P W T
3
= +
y Tq f
よって、
( ) 1
T
a
−
=
=
y Tq
XW P W q
( ) q
W
P
W
b 1
T −
=
1 2
a a a a
= = = =
E w E w E w 0
⋯ より、
かけると、
より、y の計算値 (誤差以外) を ya
とすると、

View Slide

PLS における回帰係数

PLS における回帰係数

Hiromasa Kaneko

More Decks by Hiromasa Kaneko

Other Decks in Technology

Featured

Transcript