Lasso.pdf

スパーシティ大事。以下の本の理解を残したくて。著者の方には感謝しかないです。

https://www.sbcr.jp/products/4797393965.html

Transcript

1. -BTTP
2. ֓ཁ ↟-ϓϰϥΤᩆ᳀ặḄͺͩ͸൰͚ͱᤎ᷀΀ᙚΤᱠᖀặͫΝ φ = 1 2 y − ˜ Xω + λ ω1 ω1 = d ∑ i=1 ωi
3. ղ๏֓ཁ ↟᫉ᶝ෦᷀᎚ď$PPSEJOBUF
   %FTDFOUĐ
   ↟ؔ਺ȃ Y ΤᱠᖀặͫΝͱΓfᤎ᷀ΤຬͱͫḑΤᄌͱ͖
   ↟ͩͩ͝ჯᙉͽ᧶͸΀ḑΤᄌΝͥͺ΁ီ͖ͩ΀͹f᧱౰ͼᰮ࿴Ჩ͝Λξ τ⑲ύͩ͸ᓓᙚΤ๞᙮ͩ͸͖͡
   ↟᧱౰ͼᰮ࿴Ჩ ∂φ ∂xi = 0, (j = 1,…, d) X(0) = (x(0) 1 , x(0) 2 , …, x(0) d )
4. ղ๏֓ཁ ↟ᤎ᷀ΤຬͱͫΚ͘ͼYΤཏΓfͯΞΤY? L  ͺͫΝ
   ↟ჯ༷ͽ
   ↟ᓓᙚ᤼Ͷ኷΁fᵟዸᐠፖᩔᙚΤYͲͣხͩ͝͸ḑͥ͘ͺͩ͸͖Ν
   ↟᤼Ͷ΀ม਺Ͳͣხͩ͝͸ͽͼΞ΂ᱠ᧱ḑ΀࿄ᑾͽͼΝͺ͖͘ວ͚ ∂φ ∂x1 (x1 , x(k) 2 , …, x(k) d ) = 0 ∂φ ∂x2 (x(k+1) 1 , x2 , …, x(k) d ) = 0
5. ղ๏ ↟ͩͩ͝fϮψς΀ȃ΁ዸᐠᏵ൱ၙďθϮϥࢀ᪑Đ
   ↟ͯ΀ΐΐ͹΁$%͞ᑿ͚ͼ͖
   ↟ᠻf᫈ͽᐠᷡͩ͸ᵟዸᐠΤḝ͘
6. ίϥϜ ↟Z
   
   ]Y]΁ዸᐠ͹͟ͼ͖Ħ
   ↟ᤎ᷀΀ᙚΚΜᅻଓᕥ΁ຬͱͧΞΝ
   ↟ͩͩ͝ᤎ᷀ΚΜྵᲩ᪰͞᦬ͩͼ͖ͱΓͯ΀ΐΐ͹΁ዸᐠ͹͟ͼ͖ lim n→0 f(h) = f(0) = 0 lim h→+0 |x + h| − |x| h = lim h→+0 (x + h) − x h = 1 lim h→−0 |x + h| − |x| h = lim h→+0 −(x + h) − (−x) h = − 1
7. ղ๏ৄࡉ ↟ᥦᅪ͹ḑ͟͟Ξ͸ͼ͖΀͹჏ᬊᙚΤᷡᛔhhh
   ↟ᱠ᪾᧣ͽX@L?
   X@L?΁ዸᐠፖᩔᙚ΀ḑX@L΀๞᙮἟Ꮞͺͩ͸ᑿ ΡΞΝ
   ↟X@L? ΁X@L
   X@L?΁X@LΤ᧸ᩮͺͫΝ
   ↟X@L? ͺX@L?Τຬͱͧͼ͖ᦉᷯ X@L
   
    ΁๞᙮ͩͼ͖
   ↟๞᙮ἦ΀X@L΀Ჩ΁ᤎ᷀ͺͼΝ ˜ ωk = S (∑n i=1 (yi − ω0 − ∑ j≠k xi ωj )xik , λ) ∑n i=1 x2 ik ωk
8. ղ๏ৄࡉ ↟X@L?
   
   ͺͼΝͽ΁
   ↟X@L?
   
   ͺͼΝͽ΁
   ↟ͯͩ͸ᤎ᷀΀ᙉ΁X@L?
   ͝ͶX@L?
   
   ͹͔Ν ωk > λ ωk < − λ −λ < ωk < λ
9. ιϑτᮢ஋ؔ਺
   4 ↟THO΁ᐊ߸ؔ਺ͺṺ΂ΞΝ
   ↟THO
   
    Y
    Y
    Y S(p, q) = sgn(p) max{0, ∥p∥ − q}
10. ιϑτᮢ஋ؔ਺ͷಛ௃ ↟X@L΀๞᙮΁͝Λξτ⑲ύ
    ↟Ϯψς΀ḑ΀ၞ͡͞ͺͼΝ΀΁ᔬ΍ͻ΀ǹ
    X@L
    
    ǹ΀৚ฒ᷀ͽͯΞΛ ͔͞ΝͱΓďਤ΀੨ᔻ಺Đ
11. ϋΠύʔύϥϝʔλͷޮՌ