機械学習勉強会02 多項式近似と最小二乗法による推定/MLStudy02

機械学習勉強会02 多項式近似と最小二乗法による推定

Transcript

1. ଟ߲ࣜۙࣅͱ࠷খ ೋ৐๏ʹΑΔਪఆ ػձֶशͷୈೋา @hachiilcane
2. લճ͸ ճؼ෼ੳʢڭࢣ͋Γʣͷ΋ͬͱ΋؆୯ ʢͱࢥΘΕΔʣྫͷɺ1࣍ؔ਺ͷۙࣅΛ ֶΜͩ y = ax + b
3. ࠓճ͸ ΑΓҰൠతʹɺଟ߲ࣜۙࣅΛ૝ఆ͢Δ ͜Μͳ΍ͭ ࠷খೋ৐๏Λ༻͍ͯΑΓਖ਼֬ͳύϥϝʔλ ʢ͜͜Ͱ͸ଟ߲ࣜͷ܎਺ʣΛਪఆ͢Δ f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm
4. ͜Ε͔Β࿩͢಺༰͸ʢ੔ ཧ͢Δͱʣ ػցֶशͷΞϧΰϦζϜʮ෼ྨʯʮճؼ෼ ੳʯʮΫϥελϦϯάʯͷ͏ͪͷʮճؼ෼ ੳʯ ʮճؼ෼ੳʯ͸਺஋Λ༧ଌ͢ΔʢҰൠతʹ ͸ڭࢣ͋ΓͷʣΞϧΰϦζϜ ϞσϧΛଟ߲ࣜͱͯ͠ߟ͑ɺ࠷খೋ৐๏ʹ ΑΔղ๏ΛֶͿ
5. Ͱ͸ɺ͜Μͳ໰୊Λߟ͑ Δ ʮ͏ͪͷ͍͵͞Μ͸എதΛͳͰͯ͋͛Δͱتͼ·͢ɻ͋Δ ೔ɺഎதͷͳͰΔҐஔʹΑ͍ͬͯ͵͞Μͷتͼ౓͕ҧ͏͜ͱ ʹؾ͕͖ͭ·ͨ͠ɻͲ͜ͷҐஔ͕ͲΕ͘Β͍تͿͷ͔ɺنଇ ੑΛ஌Γͨ͘ͳΓ·ͨ͠ʯ ʮ·ͣ͸σʔλΛूΊ·͢ɻ؆୯ͷͨΊʹɺഎதͷҐஔ͸௚ ઢ্͚ͩΛߟ͑·͢ɻ಄ଆ͕0ɺ৲ඌଆ͕1ɺਅΜத͕0.5ͱ ͍͏ײ͡Ͱ͢ɻ0͔Β1ͷؒͷ৔ॴΛ෡Ͱͯ͋͛ͯɺͲΕ͘Β ͍تΜ͔ͩΛ͍͵͞Μتͼ౓ηϯαʔΛ࢖ͬͯܭଌ͠·͢ɻ ͍͵͞Μتͼ౓ηϯαʔͷ஋͸ɺϓϥεͰͰ͋Δ΄ͲΑΓت ΜͰ͍ΔɺϚΠφεͷ৔߹͸ౖ͍ͬͯΔ͜ͱΛࣔ͠·͢ʯ
6. ࣮ଌͯ͠Έͨ 10ݸͷ஋ͷϖΞΛศ্ٓ͜͏هड़͢Δˠ ͜ͷΑ͏ͳػցֶशͷʮݩωλʯͱͯ͠࢖༻͢Δσʔλͷ͜ ͱΛʮτϨʔχϯάηοτʯͱ͍͏ x ʢഎதͷҐஔʣ t ʢتͼ౓ʣ 0 0.000000 0.659981 1 0.111111 0.849493 2 0.222222 1.853337 3 0.333333 1.500273 4 0.444444 0.297486 5 0.555556 0.101940 6 0.666667 -0.215201 7 0.777778 -0.665270 8 0.888889 0.107402 9 1.000000 0.098598 {(xn, tn)}10 n=1
7. ࠓ΍Γ͍ͨ͜ͱ͸Կ͔ എதͷͲ͜ʢҐஔxʣΛ෡ͰͨΒɺͲΕ͘Β͍͍ ͵͞Μ͕تͿ͔ʢتͼ౓tʣΛ஌Γ͍ͨ ͭ·Γɺ͍͔ͭ͋͘Δ؍ଌ఺xʹରͯ͠ɺͦΕͧ Εʹ؍ଌ஋t͕༩͑ΒΕΔ࣌ɺ͜ͷσʔλ͔Βxͱt ͷؔ܎Λ஌Γ͍ͨ ͦΕ͕Ͱ͖Ε͹ɺx͕༩͑ΒΕͨͱ͖ͷରԠ͢ ΔtΛਪଌͰ͖Δ
8. xͱtͷݺͼํ ౷ܭֶͷੈքͰ͸ɺxΛʮઆ໌ม਺ʯɺt Λʮ໨తม਺ʯͱݺͿ ػցֶशͷੈքͰ͸ɺxΛʮಛ௃ม ਺ʯɺΑΓҰൠతʹ͸ෳ਺ͷಛ௃ม਺ Λ·ͱΊͯʮಛ௃ϕΫτϧʯͱݺͿ
9. xͱtͷؒʹ͋Δؔ܎Λ૝ఆ ͢ΔʢϞσϧΛઃఆ͢Δʣ ·ͣ͸࣍ͷΑ͏ͳxͷଟ߲ࣜΛ૝ఆ͢Δ f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm M͸ଟ߲ࣜͷ࣍਺ʢ࠷େͰԿ৐ͷ߲·Ͱ༻͍Δ͔ʣ ࣮ࡍʹܭࢉ͢Δͱ͖͸Mͷ஋ΛԿ͔ʹܾΊΔͱͯ͠ɺMʴ1ݸͷ ܎਺͕ະ஌ͷύϥϝʔλͱͳΔˠ ͜ΕΒͷύϥϝʔλΛ͏·ܾ͘ΊΔ͜ͱ͕Ͱ͖Ε͹ɺτϨʔχϯ άηοτΛͰ͖Δ͚ͩਖ਼֬ʹ࠶ݱ͢Δଟ߲ࣜΛखʹೖΕΒΕΔ {wm }M m=0
10. ԿΛ࣋ͬͯʮਖ਼֬ʯͱ͢Δ͔ʢύ ϥϝʔλΛධՁ͢Δج४ΛఆΊ Δʣ ଟ߲ࣜͰܭࢉ͞ΕΔtͷ஋ͱɺ࣮ࡍʹܭଌ͞Εͨtn Λൺֱ͠ɺͦΕͧΕͷࠩͷ2৐Λ߹ܭͨ͠΋ͷΛ ʮޡࠩʯͱఆٛ͢Δ ্هͷ஋͕ͳΔ΂͘খ͘͞ͳΔΑ͏ͳf(x)͕ಘΒ ΕΔΑ͏ʹύϥϝʔλΛܾఆ͢Ε͹ྑ͍ {f(x1) t1 }2 + {f(x2) t2 }2 + ... + {f(x10) t10 }2 {wm }M m=0
11. ઌ΄Ͳͷ஋Λ 1/2ഒͨ͠΋ͷΛEDͱͯ͠ ఆٛ͢Δɻ͜Ε͕ʮೋ৐ޡࠩʯ 1/2ഒ͍ͯ͠Δͷ͸ޙʑܭࢉ͠΍͍͢ ͔Βͱ͍͏ཧ༝͚ͩ ೋ৐ޡࠩͷܗʹͪΐͬͱ ม͑Δ ED = 1 2 N X n=1 {f(xn) tn }2
12. w͸·ͩΘ͔Βͳ͍͚Ͳɺx ͱt͸τϨʔχϯάηοτͷ ஋ͩ͠ɺN΋M΋Θ͔͍ͬͯ Δ஋ͩΑ ೋ৐ޡࠩͷࣜʹଟ߲ࣜͷ ࣜΛ୅ೖ͢Δ ʮೋ৐ޡࠩΛ࠷খʹ͢Δʯͱ͍͏৚݅Ͱ౴͑ΛٻΊ Α͏ͱ͍ͯ͠ΔͷͰʮ࠷খೋ৐๏ʯ ্ͷࣜ͸ɺʮޡࠩؔ਺ʯͱ΋ݺͿ ED = 1 2 N X n=1 ( M X m=0 wmxm n tn)2 f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm ED = 1 2 N X n=1 {f(xn) tn }2
13. ޡࠩؔ਺Λ࠷খʹ͢Δ৚ ݅ ޡࠩؔ਺Λ࠷খʹ͢Δʮ࠷খ஋໰୊ʯ Λղ͚͹ྑ͍ Ұൠతʹ͸਺஋ܭࢉͰۙࣅతʹղΛٻ Ί͍ͯ͘
14. Ͱ΋ࠓճͷ໰୊Ͱ͸ ࣮͸ࣜมܗ͢Δ͚ͩͰ౴͑ΛٻΊΔ͜ ͱ͕Մೳʂ ౴͑͸ҎԼͷࣜʢࣜͷূ໌͸লུʣ W = ( T ) 1 T t
15. ύϥϝʔλwΛٻΊΔࣜ ͷղઆ w͸ٻΊΔ΂͖܎਺Λฒ΂ͨϕ Ϋτϧ t͸τϨʔχϯάηοτʹؚ· ΕΔ໨తม਺Λฒ΂ͨϕΫτϧ Φ͸Nݸͷ؍ଌ఺ʹ͍ͭͯɺͦ ΕͧΕΛ0ʙM৐ͨ͠஋Λฒ΂ ͨߦྻ ߦྻʹ͓͚ΔT͸సஔߦྻΛද ͢ʢର֯ઢͰ੒෼ΛંΓฦͨ͠ ߦྻʣ W = ( T ) 1 T t W = (w0, ..., wM )T t = (t1, ..., tN )T = 0 B B B @ x0 1 x1 1 · · · xM 1 x0 2 x1 2 · · · xM 2 . . . . . . ... . . . x0 N x1 N · · · xM N 1 C C C A T = 0 B B B @ x0 1 x0 2 · · · x0 N x1 1 x1 2 · · · x1 N . . . . . . ... . . . xM 1 xM 2 · · · xM N 1 C C C A
16. ࣜ͸ෳࡶʹݟ͑Δ͚Ͳఘ Ίͳ͍Ͱʂ Α͘Α͘ݟΔͱɺwҎ֎͸શ෦஌͍ͬͯΔ஋ɻ͔ͩ ΒҰͭͣͭ஋Λ౰ͯ͸Ί͍͚ͯ͹ϓϩάϥϜʹམͱ ͢͜ͱ͸೉͘͠ͳ͍Α ͜ͷࣜ͸͍ΘΏΔղͷެࣜͷΑ͏ͳ΋ͷɻ͜ΕΛ֮ ͑Δඞཁ͸ͳ͍ ͜ͷղͷެࣜ͸ɺࠓճ૝ఆͨ͠Ϟσϧʢಛ௃ม ਺(x)͕Ұछྨ͚ͩͷଟ߲ࣜʣʹ͔͠࢖͑ͳ͍͔ Β
17. αϯϓϧίʔυΛಈ͔͠ ͯΈΑ͏ 02-square_error.ipynb ్͕த·ͰΘ͔Δ Α͏ʹͳͬͨ͸ͣɻJupyter notebookͰ ࣮ߦͯ͠ΈΑ͏
18. ࣮ߦ݁Ռ
19. ࠷খೋ৐๏Ͱܭࢉ͞Εͨ ܎਺ͷ஋ Table of the coefficients M=0 M=1 M=3 M=9 0 0.39466 0.960706 0.109101 0.219798 1 NaN -1.132092 11.916871 -96.853538 2 NaN NaN -33.286735 2312.552194 3 NaN NaN 21.740843 -20029.415671 4 NaN NaN NaN 89134.138600 5 NaN NaN NaN -227927.456238 6 NaN NaN NaN 347467.085391 7 NaN NaN NaN -311769.354346 8 NaN NaN NaN 151936.364081 9 NaN NaN NaN -31026.909452 f(x) = 0.109101 + 11.916871x + 33.286735x2 + 21.740843x3 ͭ·ΓM=3ͷ৔߹ɺҎԼͷΑ͏ͳ͕ࣜಘΒΕͨ͜ͱʹͳ Δɻ͜ͷࣜͷxʹɺ͍͵͞ΜͷഎதͷҐஔΛ୅ೖ͢Ε͹Ͳ Ε͘Β͍تΜͰ͘ΕΔ͔Θ͔ΔΑʂ
20. E(RMS)ͷղઆ ೋ৐ޡࠩEDΛগ͠खΛՃ͑ͨ࣍ͷ஋Λฏํ ࠜฏۉೋ৐ޡࠩʢRoot Mean Square Errorʣ ͱݺͼɺʮଟ߲͔ࣜΒ༧ଌ͞ΕΔ஋ͱτ Ϩʔχϯάηοτͷ஋͕ɺฏۉతʹͲͷఔ ౓ҟͳ͍ͬͯΔ͔ʯΛࣔ͢ ERMS = r 2ED N ED = 1 2 N X n=1 ( M X m=0 wmxm n tn)2
21. ݴ༿͸௕͍͚Ͳγϯϓϧ ੨͍఺ͱ੺͍ઢͱͷڑ ཭ʢޡࠩʣΛฏۉͨ͠ Β0.73ʹͳΔΑɺͱ͍ ͏͜ͱΛE(RMS)͸ ͍ࣔͯ͠Δ͚ͩ
22. ͲͷM͕͍͍ͩΖ͏͔ʁ งғؾతʹ͸͜Ε ͚ͩͲ…
23. ݟͨ໨Ͱ൑அ͢Δͷ͸ݶ ք͕͋Δ ࠓ͸ಛ௃ม਺͕Ұ͚ͭͩͳͷͰάϥϑ Λ͔͚Δ͕ɺ2ͭҎ্ʹͳͬͨΒάϥϑ Λඳ͘ͷ͸େม ͦ΋ͦ΋ਖ਼ղͷઢʢάϥϑ্ͷ྘ͷഁ ઢʣ͸Θ͔ͬͯͳ͍͜ͱʹ஫ҙ
24. ςετ༻ͷσʔλΛ༻ҙ ͯͦ͠ΕͰݕূ͢Δ ະདྷͷ஋Λ༧ଌ͢Δ͜ͱ͕໨తͳͷͰɺ࣮ࡍ ʹ༧ଌͯ͠Ͳ͜·Ͱਖ਼͘͠༧ଌͰ͖Δ͔Λݕ ূ͢Δ ͢΂ͯͷσʔλ τϨʔχϯάηοτ ςετηοτ ֶश݁Ռ ػցֶशΛ࣮ࢪ ֶश݁ՌΛධՁ ෼͚Δ ෼͚Δ
25. ςετηοτΛ༻ҙ x ʢഎதͷҐஔʣ t ʢتͼ౓ʣ 0 0.000000 0.575962 1 0.111111 0.699933 2 0.222222 1.301221 3 0.333333 1.269027 4 0.444444 1.386038 5 0.555556 0.851104 6 0.666667 -0.249711 7 0.777778 -0.318560 8 0.888889 0.116516 9 1.000000 0.496955 x ʢഎதͷҐஔʣ t ʢتͼ౓ʣ 0 0.000000 0.659981 1 0.111111 0.849493 2 0.222222 1.853337 3 0.333333 1.500273 4 0.444444 0.297486 5 0.555556 0.101940 6 0.666667 -0.215201 7 0.777778 -0.665270 8 0.888889 0.107402 9 1.000000 0.098598 τϨʔχϯάηοτ ςετηοτ ͬͪ͜Ͱ ଟ߲ࣜͷ܎ ਺Λܾఆ͢ Δ ͬͪ͜͸ ݕূʹ͔͠ ࢖Θͳ͍ ͦΕͧΕʹର͢Δฏํࠜฏۉೋ৐ޡࠩΛܭࢉ͢Δ
26. τϨʔχϯάηοτͱςετ ηοτʹର͢ΔޡࠩͷมԽ M=4Λ௒͑Δͱɺςετηοτʹର͢Δޡࠩ͸ݮগ͠ͳ͍ˠϞσϧ ͷ൚Խೳྗ͸ͦΕҎ্ߴ·Βͳ͍ M=4Λ௒͑Δͱɺςετηοτʹର͢Δޡࠩ͸ݮগͤͣτϨʔχϯ άηοτʹର͢Δޡ͚͕ࠩͩݮগ͍ͯ͠ΔˠΦʔόʔϑΟοςΟϯ άʢաֶशʣ͕ൃੜ͍ͯ͠Δ ԣ࣠ɿଟ߲ࣜͷ࣍਺M
27. Ͱ͸M=3͕͍͍ͱߟ͑ͯ Α͍͔ʁ σʔλ͕10ݸ͚ͩͱ͍͏ͷ͸͋·Γʹ΋৺΋ͱ ͳ͍ ࣮ࡍɺͪΐͬͱҧ͏τϨʔχϯάηοτͱςετ ηοτΛ࢖͏ͱɺҧ͏M΋ྑͦ͞͏ͳײ͡ʹͳΔ ͜ΕͩͱM=5͘Β ͍Ͱ΋͍͍͔΋ʁ
28. σʔλ਺Λ100ݸʹͯ͠ ΈΔ 9࣍ͷࣜͰ ΋͋·Γա ֶश͕ى͖ ͍ͯͳ͍
29. σʔλ100ݸͰͷฏํࠜ ฏۉೋ৐ޡࠩͷมԽ σʔλ਺͕গͳ͍৔߹ɺ෼ੳର৅ͷࣄ৅ͷຊ࣭తͳಛ௃ ΑΓ΋ɺऔಘͨ͠σʔλ͕ۮવʹ͍࣋ͬͯΔಛ௃ͷํ͕ ໨ཱͪ΍͘͢ɺͦͷσʔλ͚ͩʹಛԽͨ݁͠Ռ͕ಘΒΕ ΍͘͢ͳͬͯ͠·͏ ͲͪΒͷઢ΋໿0.3͔ΒมԽ ͠ͳ͘ͳ͍ͬͯΔ͜ͱ͔Βɺ͜ ͷσʔλ͸ຊ࣭తʹ0.3ఔ౓ͷ ޡࠩΛؚΜͰ͍Δɻͭ·ΓM=3 ΑΓ࣍਺Λ͋͛ͯ΋൚Խೳྗ͸ ޲্͠ͳ͍ͱ͍͏͜ͱ͕ಡΈऔ ΕΔ
30. աֶशΛ๷͙Ұൠతͳํ ๏ʢࢀߟʣ ֶशσʔλΛ૿΍͢ ϞσϧΛ؆୯ͳ΋ͷʹมߋ͢Δ ਖ਼ଇԽ
31. σʔλ͸େࣄɻޮ཰Α͘ ࢖͏ʹ͸ʁ ऩूͨ͠σʔλΛτϨʔχϯάηοτ ͱςετηοτʹ෼͚Δͱ͍͏͜ͱ͸ɺ ͦͷ෼τϨʔχϯάηοτ͕ݮΔ͜ͱ ʹͳΔ ͔ͩΒͱݴͬͯɺػցֶशʹ࢖༻ͨ͠ τϨʔχϯάηοτʹؚ·ΕΔσʔλ ΛςετηοτʹࠞͥͨΒઈରʹμϝ
32. ΫϩεόϦσʔγϣϯʢަ ࠩݕূʣΛ༻͍Δͱྑ͍ ར༻ՄೳͳσʔλΛnݸͷάϧʔϓʹ෼ׂ͠ɺͲΕ͔1 ͭΛςετηοτͱͯ͠༻͍Δ ͲΕΛςετηοτͱ͢Δ͔Ͱnछྨͷݕূ͕ߦ͑Δ ύʔτ2 ύʔτ3 ύʔτ1 ֶश݁Ռ1 ݕূ݁Ռ1 ύʔτ1 ύʔτ3 ύʔτ2 ֶश݁Ռ2 ݕূ݁Ռ2 ύʔτ1 ύʔτ2 ύʔτ3 ֶश݁Ռ3 ݕূ݁Ռ3 ݕূ݁ՌΛ૯߹͠ ͯɺ࠷దͳ࣍਺MΛܾ
33. ·ͱΊ ʮճؼ෼ੳʯͷҰͭɺଟ߲ࣜۙࣅΛ࠷খೋ৐ ๏Λ༻͍ͯਪఆ͢Δํ๏ΛֶΜͩ ԿΛ࣋ͬͯʮਖ਼֬ʯͱ͢Δ͔ͷࢦඪͱͯ͠ޡ ࠩؔ਺ʢೋ৐ޡࠩʣΛ࢖ͬͨͷ͕ϙΠϯτ ΫϩεόϦσʔγϣϯʢަࠩݕূʣΛ͏·͘ ࢖ͬͯΦʔόʔϑΟοςΟϯάʢաֶशʣʹ ؾΛ͚ͭΔ
34. ࠓճͷΞϧΰϦζϜ͔Β ͷൃల ղͷެࣜͰ͸ͳ͘ɺ࠷ٸ߱Լ๏ʢޯ഑߱Լ๏ʣ΍֬཰తޯ഑߱Լ ๏Ͱ࠷ྑͷύϥϝʔλΛٻΊΔ ඍ෼Λ࢖͏΍Γํɻͬͪ͜ͷ΄͏͕൚༻త ֬཰ϞσϧΛऔΓೖΕɺ࠷໬ਪఆ๏Ͱ࠷ྑͷύϥϝʔλΛٻΊΔ ಛ௃ม਺Λ1ͭͰ͸ͳ͘ෳ਺ʢx1 ,x2 ,...ʣʹ͠ɺॏճؼ෼ੳΛ͢Δ ඍ෼Λ࢖͏΍Γํ͕Θ͔Ε͹ͦΕ΄Ͳ೉͘͠ͳ͍ ಛ௃ม਺Λෳ਺ɺग़ྗ΋ෳ਺ʹ͍ͨ͠ͳΒɺχϡʔϥϧωοτ ϫʔΫͱ͍͏ख΋͋Δ
35. 02-square_error.ipynbΛϕʔεʹ ͯ͠՝୊ʹνϟϨϯδͯ͠ΈΑ͏ɹɹ M=0, 1, 3, 9ͷͱ͖ͷֶशͨ͠ύϥϝʔλΛग़ྗͯ͠ΈΔ ΫϩεόϦσʔγϣϯΛ࣮૷ͯ͠ΈΔ Boston house-prices (Ϙετϯࢢͷॅ୐Ձ֨)σʔληοτΛ࢖ͬͯճ ؼ෼ੳͯ͠ΈΔ https://pythondatascience.plavox.info/scikit-learn/scikit- learn%E3%81%AB%E4%BB%98%E5%B1%9E%E3%81%97%E3 %81%A6%E3%81%84%E3%82%8B%E3%83%87%E3%83%BC %E3%82%BF%E3%82%BB%E3%83%83%E3%83%88 ࠷ٸ߱Լ๏ʢޯ഑߱Լ๏ʣΛ༻͍ͯ࠷ྑͷύϥϝʔλΛٻΊͯΈΔ ʢޙड़ʣ {wm }M m=0
36. ʢ͓·͚ʣ࠷ٸ߱Լ๏ʢޯ഑߱Լ ๏ʣΛ༻͍ͯύϥϝʔλΛٻΊΔ ্هͷϞσϧͰEDΛΑΓখ͘͢͞Δʹ͸ɺֶश཰ΛБͱͯ͠ ύϥϝʔλΛҎԼͷΑ͏ʹߋ৽͢Δ ED = 1 2 N X n=1 {f(xn) tn }2 wm := wm ⌘ @ED @wm f(x) = w0 + w1x + w2x2 + ... + wM xM = M X m=0 wmxm ۩ମతʹ͸ҎԼͷΑ͏ʹͳΔɻͱΓ͋͑ͣM=1ɺБ͸0.001 ͘Β͍ͰԿඦճ͔ߋ৽ͯ͠ΈΑ͏ wm := wm ⌘ N X n=1 (f(xn) tn)xm n
37. ࢀߟจݙ தҪ ӻ࢘ʮITΤϯδχΞͷͨΊͷػցֶश ཧ࿦ೖ໳ʯٕज़ධ࿦ࣾ, 2015 ཱੴݡޗʮ΍ֶ͘͞͠Ϳ ػցֶशΛཧղ͢ ΔͨΊͷ਺ֶͷ͖΄Μ ʯϚΠφϏग़൛, 2017 ҏ౻ ਅʮPythonͰಈֶ͔ͯ͠Ϳʂ͋ͨΒ͠ ͍ػցֶशͷڭՊॻʯᠳӭࣾ, 2018