$30 off During Our Annual Pro Sale. View Details »

PLS における回帰係数

PLS における回帰係数

前提
PLS の基本式 (yは1変数)
PLS における回帰係数
1 成分モデル 基本式と証明したいこと
1 成分モデル 式変形 Ew1=0 の証明
2 成分モデル 基本式と証明したいこと
2 成分モデル 式変形 E2w1=0 の証明 1/2
2 成分モデル 式変形 E2w1=0 の証明 2/2
2 成分モデル 式変形
2 成分モデル 式変形 E2w2=0 の証明
2 成分モデル 回帰係数
3 成分モデル 基本式と証明したいこと
3 成分モデル 式変形 E3w1=0 の証明 1/2
3 成分モデル 式変形 E3w1=0 の証明 2/2
3 成分モデル 式変形
3 成分モデル 式変形 E3w2=0 の証明 1/2
3 成分モデル 式変形 E3w2=0 の証明 2/2
3 成分モデル 式変形
3 成分モデル 式変形 E3w3=0 の証明
3 成分モデル 回帰係数
a 成分モデル 基本式と証明したいこと
a 成分モデル 式変形 Eawi=0 の証明 1/4
a 成分モデル 式変形 Eawi=0 の証明 2/4
a 成分モデル 式変形 Eawi=0 の証明 3/4
a 成分モデル 式変形 Eawi=0 の証明 4/4
a 成分モデル 回帰係数

Hiromasa Kaneko

June 02, 2019
Tweet

More Decks by Hiromasa Kaneko

Other Decks in Technology

Transcript

  1. PLS における回帰係数
    0
    明治大学 理⼯学部 応用化学科
    データ化学⼯学研究室 ⾦⼦ 弘昌

    View Slide

  2. 前提
    部分的最小二乗回帰 (Partial Least Squares Regression,
    PLS) の以下の記事を読んでいることが前提です
    https://datachemeng.com/partialleastsquares/
    1

    View Slide

  3. PLS の基本式 (yは1変数) 2
     A : PLS の成分数
     ta
    : a 番目の主成分
     pa
    : a 番目のローディング
     E : X の残差
    T T
    1
    A
    a a
    a=
    = + = +

    X t p E TP E
    1
    A
    a a
    a
    q
    =
    = + = +

    y t f Tq f
     qa
    : a 番目の係数
     f : y の残差
    X、y はオートスケーリング後 (平均 0、標準偏差 1)
    オートスケーリングについては こちら
    ⾏列の表し⽅やローディングについては こちら

    View Slide

  4. PLS における回帰係数 3
    PLS でも最小二乗法による線形重回帰分析
    https://datachemeng.com/ordinaryleastsquares/
    と同様にして、以下のように表すことができる
    f
    Xb
    y +
    =
    ( ) q
    W
    P
    W
    b 1
    T −
    =
    回帰係数 b は、以下のように計算される
    なぜこのように表されるのか、証明します
     W : ウェイトベクトル w1
    , w2
    , … を横に
    並べた⾏列

    View Slide

  5. 1 成分モデル 基本式と証明したいこと 4
    E
    p
    t
    X +
    = T
    1
    1
    f
    t
    y +
    =
    1
    1
    q
    基本式
    1
    =
    Ew 0 を証明します

    View Slide

  6. 1 成分モデル 式変形 Ew1
    =0 の証明 5
    1
    1
    T
    1
    1
    1
    1
    1
    T
    1
    1
    1
    T
    1
    1
    Ew
    w
    p
    t
    t
    Ew
    w
    p
    t
    Xw
    E
    p
    t
    X
    +
    =
    +
    =
    +
    =
    両辺に右から w1
    をかけると、
    1
    T
    T
    1
    1
    T
    1
    T
    1
    1
    T
    1 Xw
    X
    w
    Xw
    X
    t
    t
    t
    X
    p =
    =
    1
    1
    T
    T
    1
    1
    T
    T
    1
    1
    T
    1
    =
    =
    Xw
    X
    w
    Xw
    X
    w
    w
    p
    ここで、
    (同様にして、任意の
    a 成分において pa
    Twa
    =1)
    0
    Ew
    Ew
    t
    t
    =
    +
    =
    1
    1
    1
    1
    よって、
    ・・・あとで使います
    1
    1
    Xw
    t = より、
    ・・・あとで使います

    View Slide

  7. 2 成分モデル 基本式と証明したいこと 6
    2
    T
    2
    2
    T
    1
    1
    E
    p
    t
    p
    t
    X +
    +
    =
    2
    2
    2
    1
    1
    f
    t
    t
    y +
    +
    = q
    q
    基本式
    を証明します
    2 1
    =
    E w 0
    2 2
    =
    E w 0

    View Slide

  8. 2 成分モデル 式変形 E2
    w1
    =0 の証明 1/2 7
    2
    T
    2
    2
    T
    1
    1
    E
    p
    t
    p
    t
    X +
    +
    =
    1 成分モデルの基本式より、
    1
    2
    1
    T
    2
    2
    1
    2
    1
    T
    2
    2
    1
    2
    T
    2
    2
    w
    E
    w
    p
    t
    0
    w
    E
    w
    p
    t
    Ew
    E
    p
    t
    E
    +
    =
    +
    =
    +
    =
    両辺に右から w1
    をかけると、
    より、
    ( )
    T
    2 2
    2 T
    2 2
    T
    T
    1 1 2
    2 T
    2 2
    =

    =
    X t
    p
    t t
    X t p t
    p
    t t
    T
    1
    1
    2
    p
    t
    X
    X −
    = より、
    次のページで使います
    1
    =
    Ew 0

    View Slide

  9. 2 成分モデル 式変形 E2
    w1
    =0 の証明 2/2 8
    T
    2 2 1 2 1
    2 1
    2 1
    = +
    = +
    =
    0 t p w E w
    0 0 E w
    E w 0
    ( ) ( ) ( )
    0
    2
    T
    2
    1
    1
    T
    2
    2
    T
    2
    1
    T
    1
    1
    1
    T
    2
    2
    T
    2
    1
    T
    1
    1
    T
    2
    1
    T
    2
    =

    =

    =

    =
    t
    t
    t
    t
    t
    t
    t
    w
    p
    t
    Xw
    t
    t
    t
    w
    p
    t
    X
    t
    w
    p
    よって、
    ・・・あとで使います

    View Slide

  10. 2 成分モデル 式変形 9
    T
    2 1
    0
    =
    p w より、
    T
    T 2 2 1
    2 1 T
    2 2
    0
    = =
    t X w
    p w
    t t
    よって、 T
    2 2 1
    0
    =
    t X w
    T の各成分は互いに無相関なので、どの成分 ta
    も X2
    w1
    と直交する
    T
    2 1
    0
    a
    =
    t X w
    よって、 ・・・あとで使います

    View Slide

  11. 2 成分モデル 式変形 E2
    w2
    =0 の証明 10
    T
    2 2 2 2
    T
    2 2 2 2 2 2 2
    2 2 2 2
    2 2
    = +
    = +
    = +
    =
    X t p E
    X w t p w E w
    t t E w
    E w 0
    両辺に右から w2
    をかけると、
    1
    2
    T
    2
    =
    w
    p
    2 2 2
    =
    t X w より、
    ・・・あとで使います

    View Slide

  12. 2 成分モデル 回帰係数 11
    両辺に右から W (=[w1
    w2
    ]) をかけると、
    ( )
    T
    2
    T
    2
    T
    1
    T

    = +
    = +
    =
    =
    X TP E
    XW TP W E W
    XW TP W
    XW P W T
    2
    f
    Tq
    y +
    =
    よって、
    ( )
    2
    1
    T

    =
    =
    y Tq
    XW P W q
    ( ) q
    W
    P
    W
    b 1
    T −
    =
    2 1
    =
    E w 0
    2 2
    =
    E w 0 より、
    両辺に右から PTW の逆⾏列を
    かけると、
    より、y の計算値 (誤差以外) を y2
    とすると、

    View Slide

  13. 3 成分モデル 基本式と証明したいこと 12
    T T T
    1 1 2 2 3 3 3
    = + + +
    X t p t p t p E
    1 1 2 2 3 3 3
    q q q
    = + + +
    y t t t f
    基本式
    を証明します
    3 1
    =
    E w 0
    3 2
    =
    E w 0
    3 3
    =
    E w 0

    View Slide

  14. 3 成分モデル 式変形 E3
    w1
    =0 の証明 1/2 13
    両辺に右から w1
    をかけると、
    T
    2 3 3 3
    T
    2 1 3 3 1 3 1
    T
    3 3 1 3 1
    = +
    = +
    = +
    E t p E
    E w t p w E w
    0 t p w E w
    2 1
    =
    E w 0 より、
    次のページで使います
    ( )
    T
    3 3
    3 T
    3 3
    T
    T
    2 2 2 3
    3 T
    3 3
    =

    =
    X t
    p
    t t
    X t p t
    p
    t t
    T
    3 2 2 2
    = −
    X X t p より、

    View Slide

  15. 3 成分モデル 式変形 E3
    w1
    =0 の証明 2/2 14
    T
    3 3 1 3 1
    3 1
    3 1
    = +
    = +
    =
    0 t p w E w
    0 0 E w
    E w 0
    ( ) ( )
    T T T T T
    3 2 2 2 1 3 2 1 2 2 1
    T 3 2 1
    3 1 T T T
    3 3 3 3 3 3
    0
    − −
    = = =
    =
    t X t p w t X w t p w t X w
    p w
    t t t t t t
    よって、
    (2 成分モデルの結果 ta
    TX2
    w1
    = 0 より)
    ・・・あとで使います

    View Slide

  16. 3 成分モデル 式変形 15
    T
    3 1
    0
    =
    p w
    よって、 T
    3 3 1
    0
    =
    t X w
    T の各成分は互いに無相関なので、どの成分 ta
    も X3
    w1
    と直交する
    T
    3 1
    0
    a
    =
    t X w
    よって、 ・・・あとで使います
    より、
    T
    T 3 3 1
    3 1 T
    3 3
    0
    = =
    t X w
    p w
    t t

    View Slide

  17. 3 成分モデル 式変形 E3
    w2
    =0 の証明 1/2 16
    両辺に右から w2
    をかけると、
    T
    2 3 3 3
    T
    2 2 3 3 2 3 2
    T
    3 3 2 3 2
    = +
    = +
    = +
    E t p E
    E w t p w E w
    0 t p w E w
    2 2
    =
    E w 0 より、
    次のページで使います
    ( )
    T
    3 3
    3 T
    3 3
    T
    T
    2 2 2 3
    3 T
    3 3
    =

    =
    X t
    p
    t t
    X t p t
    p
    t t
    T
    3 2 2 2
    = −
    X X t p より、

    View Slide

  18. 3 成分モデル 式変形 E3
    w2
    =0 の証明 2/2 17
    T
    3 3 2 3 2
    3 2
    3 2
    = +
    = +
    =
    0 t p w E w
    0 0 E w
    E w 0
    ( ) ( ) ( )
    T T T T
    3 2 2 2 2 3 2 2 2 2 2 2 2
    T
    3 2 T T T
    3 3 3 3 3 3
    0
    − − −
    = = =
    =
    t X t p w t X w t p w t t
    p w
    t t t t t t
    よって、
    (1 成分モデルの結果 pa
    Twa
    =1 より)
    ・・・あとで使います

    View Slide

  19. 3 成分モデル 式変形 18
    T
    3 2
    0
    =
    p w
    よって、 T
    3 3 2
    0
    =
    t X w
    T の各成分は互いに無相関なので、どの成分 ta
    も X3
    w2
    と直交する
    T
    3 2
    0
    a
    =
    t X w
    よって、 ・・・あとで使います
    より、
    T
    T 3 3 2
    3 2 T
    3 3
    0
    = =
    t X w
    p w
    t t

    View Slide

  20. 3 成分モデル 式変形 E3
    w3
    =0 の証明 19
    T
    3 3 3 3
    T
    3 3 3 3 3 3 3
    3 3 3 3
    3 3
    = +
    = +
    = +
    =
    X t p E
    X w t p w E w
    t t E w
    E w 0
    両辺に右から w3
    をかけると、
    T
    3 3
    1
    =
    p w
    3 3 3
    =
    t X w より、
    ・・・あとで使います

    View Slide

  21. 3 成分モデル 回帰係数 20
    両辺に右から W (=[w1
    w2
    w3
    ]) をかけると、
    ( )
    T
    3
    T
    3
    T
    1
    T

    = +
    = +
    =
    =
    X TP E
    XW TP W E W
    XW TP W
    XW P W T
    3
    = +
    y Tq f
    よって、
    ( )
    3
    1
    T

    =
    =
    y Tq
    XW P W q
    ( ) q
    W
    P
    W
    b 1
    T −
    =
    3 1 3 2 3 3
    = = =
    E w E w E w 0 より、
    両辺に右から PTW の逆⾏列を
    かけると、
    より、y の計算値 (誤差以外) を y3
    とすると、

    View Slide

  22. a 成分モデル 基本式と証明したいこと 21
    基本式
    を証明します
    1
    2
    a
    a
    a a
    =
    =
    =
    E w 0
    E w 0
    E w 0

    T T T
    1 1 2 2 a a a
    = + + + +
    X t p t p t p E

    1 1 2 2 a a a
    q q q
    = + + + +
    y t t t f

    View Slide

  23. a 成分モデル 式変形 Ea
    wi
    =0 の証明 1/4 22
    両辺に右から wi
    (1 ≤ i ≤ a) をかけると、
    T
    1
    T
    1
    a a a a
    a i a a i a i


    = +
    = +
    E t p E
    E w t p w E w
    ( )
    T
    T
    T
    T
    1 1 1
    T
    a a
    a
    a a
    a a a a
    a
    a a
    − − −
    =

    =
    X t
    p
    t t
    X t p t
    p
    t t
    T
    1 1 1
    a a a a
    − − −
    = −
    X X t p より、
    ( )
    T T
    1 1 1
    T
    T
    a a a a i
    a i
    a a
    − − −

    =
    t X t p w
    p w
    t t
    両辺に右から wi
    (1 ≤ i ≤ a) をかけると、
    後で使います

    View Slide

  24. a 成分モデル 式変形 Ea
    wi
    =0 の証明 2/4 23
    T T T
    T 1 1 1
    T
    T
    1
    T
    a a i a a a i
    a i
    a a
    a a i
    a a
    − − −


    =
    =
    t X w t t p w
    p w
    t t
    t X w
    t t
    ta
    と ta-1
    は無相関より、

    View Slide

  25. a 成分モデル 式変形 Ea
    wi
    =0 の証明 3/4 24
    T
    1
    0
    a a p

    =
    t X w
    T
    1
    T
    T
    0
    a a p
    a i
    a a

    = =
    t X w
    p w
    t t
    つまり、
    a = 3 のときはすでに証明したので、数学的帰納法より、
    j =1, 2, ..., a – 1 で、 T 0
    j i
    =
    p w と仮定すると、
    T
    T
    T
    0
    j j i
    j i
    j j
    = =
    t X w
    p w
    t t
    より T 0
    j j i
    =
    t X w
    T の各成分は互いに無相関なので、どの成分 tj
    も Xj
    wi
    と直交する
    よって、
    T 0
    a i
    =
    p w

    View Slide

  26. a 成分モデル 式変形 Ea
    wi
    =0 の証明 4/4 25
    T
    1
    1
    a i a a i a i
    a i a i


    = +
    =
    E w t p w E w
    E w E w
    p. 22 より、
    T 0
    a i
    =
    p w より、
    1 2 1
    i i a i a i

    = = = = =
    0 E w E w E w E w

    よって、

    View Slide

  27. a 成分モデル 回帰係数 26
    両辺に右から W (=[w1
    w2
    … wa
    ]) をかけると、
    ( )
    T
    T
    T
    1
    T
    a
    a

    = +
    = +
    =
    =
    X TP E
    XW TP W E W
    XW TP W
    XW P W T
    3
    = +
    y Tq f
    よって、
    ( ) 1
    T
    a

    =
    =
    y Tq
    XW P W q
    ( ) q
    W
    P
    W
    b 1
    T −
    =
    1 2
    a a a a
    = = = =
    E w E w E w 0
    ⋯ より、
    両辺に右から PTW の逆⾏列を
    かけると、
    より、y の計算値 (誤差以外) を ya
    とすると、

    View Slide