機械学習勉強会09 2層フィードフォワードニューラルネット/MLStudy09

機械学習勉強会09 2層フィードフォワードニューラルネット

Transcript

1. 2૚ϑΟʔυϑΥϫʔ υχϡʔϥϧωοτ χϡʔϥϧωοτϫʔΫͷجૅ @hachiilcane
2. χϡʔϩϯϞσϧ֮͑ͯ ·͢ʁ ࣠ࡧ γφϓε ిؾύϧε f = { 0 (w0 + w1 x + w2 y ≤ 0) 1 (w0 + w1 x + w2 y > 0) x y ॏΈw1 ॏΈw2 f ग़ྗ ೖྗ ೖྗ 1 ͍ͭ΋1ͷ μϛʔೖྗ ॏΈw0 ೖྗۭؒΛઢͰ෼ ͚Δͱ͍͏ػೳ
3. χϡʔϩϯϞσϧΛ֦ு ͢Δ χϡʔϩϯϞσϧ͸ɺD࣍ݩͷೖྗۭؒΛD-1 ࣍ݩͷฏ໘ʢͷΑ͏ͳۭؒʣͰ2ͭʹ෼͚Δಇ ͖͕͋ͬͨ 2ͭʁ Ͱ͸χϡʔϩϯϞσϧΛͭͳ͛ͨΒͲ͏ ͳΔʁ ΋ͬͱෳࡶʹ෼͚ΒΕΔͷͰ͸ʁ χϡʔϩϯϞσϧΛͭͳ͛ͯதؒ૚Λ࡞ͬͨͷ ͕χϡʔϥϧωοτϫʔΫ
4. ࠓճֶͿ಺༰͸ χϡʔϥϧωοτϫʔΫͷҰ൪؆୯ͳܗɺ2૚ͷ ϑΟʔυϑΥϫʔυχϡʔϥϧωοτΛֶͿ લճͱಉ͘͡ɺ΍Δ͜ͱ͸2ೖྗ3Ϋϥε෼ྨͰ ͕͢Ϟσϧͷ࡞Γํ͕ҧ͏͚ͩ ૚Λ଍͢͜ͱͰɺΑΓෳࡶͳܗͰ෼͚Δ͜ͱ͕Ͱ͖ Δͱ͍͏ΞΠσΟΞΛ஌Δ ਺஋ඍ෼ͱ͍͏ݴ༿Λ஌͓ͬͯ͜͏
5. લճͷ෮शɿϩδεςΟο Ϋճؼͷ2ೖྗ3Ϋϥε෼ྨ x1 x2 a0 ग़ྗ ೖྗ ೖྗ x0 ͍ͭ΋1ͷ μϛʔೖྗ w00 ೖྗ૯࿨ a1 a2 w01 w02 w20 w21 w22 y0 = exp(a0 ) ∑K−1 k=0 exp(ak ) → P(t = 0|x) y1 = exp(a1 ) ∑K−1 k=0 exp(ak ) → P(t = 1|x) y2 = exp(a2 ) ∑K−1 k=0 exp(ak ) → P(t = 2|x) a0 = ∑2 i=0 w0i xi
6. 2૚ϑΟʔυϑΥϫʔυχϡʔϥ ϧωοτͷ2ೖྗ3Ϋϥε෼ྨ͸ தؒ૚͕௥Ճ͞Ε͚ͨͩʂ 3૚ʹݟ͑Δ͚ͲɺॏΈύϥϝʔλ͕͋Δ૚͚ͩΛ਺͑ͯ2૚ͱ͍͏৔߹͕ଟ͍ x1 x2 a0 ग़ྗ૚ʢ2૚໨ʣ x0 όΠΞε߲ w00 தؒ૚ʢ1૚໨ʣ w01 w02 v20 v21 v22 P(t = 0|x) y0 b1 z1 b2 z2 z0 a1 y1 a2 y2 ೖྗ૚ v00 v01 v02 = 1 = 1 όΠΞε߲ t0 t1 t2 P(t = 1|x) P(t = 2|x) D + 1 M + 1 K ؙͷࠨ͕ೖྗ૯࿨ɺӈ͕ͦΕ Λ׆ੑԽؔ਺ʹ௨ͨ͠஋ ؙͷࠨ͕ೖྗ૯࿨ɺӈ͕ͦΕΛ ιϑτϚοΫεؔ਺ʹ௨ͨ͠஋
7. ׆ੑԽؔ਺ தؒ૚ͷೖྗ૯࿨b͸γάϞΠυؔ਺Λ ௨ͯ͠ग़ྗzΛ࡞Δ͕ɺҰൠతʹ͸γά ϞΠυؔ਺Ҏ֎ͷؔ਺Λ࢖͏͜ͱ΋͋Δ ೖྗ૯࿨͔Βग़ྗΛܾఆ͢ΔͳΜΒ͔ͷ ؔ਺Λ׆ੑԽؔ਺ͱݺͿɻ͜͜Ͱ͸h()Ͱ දݱ͢Δ
8. Ϟσϧͷ਺ࣜͷ֬ೝ h()͸ͱΓ͋͑ͣγάϞΠυؔ਺ͱ͢Δ தؒ૚ͷೖྗ૯࿨ɿbj = ∑D i=0 wji xi தؒ૚ͷग़ྗɿzj = h(bj ) ग़ྗ૚ͷೖྗ૯࿨ɿak = ∑M j=0 vkj zj ग़ྗ૚ͷग़ྗɿyk = exp(ak ) ∑K−1 l=0 exp(al ) = exp(ak ) u ೖྗ࣍ݩ:Dɺதؒ૚ͷχϡʔϩϯͷ਺:Mɺग़ྗ࣍ݩ:K b = wx b0 b1 b2 = w00 w01 w02 w10 w11 w12 w20 w21 w22 x0 x1 x2 ϕΫτϧදه͢ΔͳΒ͜Μͳ͔Μ͡ʢҰ෦͚ͩʣ
9. ਤͱ਺ࣜΛηοτͰ֬ೝ x1 x2 a0 ग़ྗ૚ʢ2૚໨ʣ x0 όΠΞε߲ w00 தؒ૚ʢ1૚໨ʣ w01 w02 v20 v21 v22 P(t = 0|x) y0 b1 z1 b2 z2 z0 a1 y1 a2 y2 ೖྗ૚ v00 v01 v02 = 1 = 1 όΠΞε߲ t0 t1 t2 P(t = 1|x) P(t = 2|x) D + 1 M + 1 K ೖྗ࣍ݩ:Dɺதؒ૚ͷχϡʔϩϯͷ਺:Mɺग़ྗ࣍ݩ:K bj = ∑D i=0 wji xi zj = h(bj ) ak = ∑M j=0 vkj zj yk = exp(ak ) ∑K−1 l=0 exp(al )
10. ޡࠩؔ਺͸ʁ ͜ͷ2૚ϑΟʔυϑΥϫʔυχϡʔϥϧωοτʹ3Ϋϥε෼ྨ ໰୊Λղ͔ͤΔ͜ͱΛߟ͑Δ ෼ྨͳͷͰɺޡࠩؔ਺͸લճͱಉ͘͡ฏۉަࠩϔϯτϩϐʔ ޡࠩΛ࢖͏ yͷͱ͜Ζ͕݁ہલճͱಉ͡ͳͷͰɺࣜ΋ݟͨ໨ಉ͡ɻͨ ͩɺύϥϝʔλ͸w͚ͩͰͳ͘v΋͋Δͱ͜Ζ͕ҧ͏ E(w, v) = − 1 N N−1 ∑ n=0 K−1 ∑ k=0 tnk log ynk wͱv͸yͷࣜͷͳ͔ʹؚ·Ε ͍ͯΔ
11. ͋ͱ͸ภඍ෼Ͱ͖Ε͹ޯ ഑๏ͰֶशͰ͖Δʁ ·͞ʹͦͷͱ͓Γɻޯ഑ϕΫτϧͷٯํ ޲ʢ୩ఈํ޲ʣʹύϥϝʔλΛগͣͭ͠ ม͍͚͑ͯ͹OKʂ χϡʔϥϧωοτͱݴͬͯ΋݁ہجૅ͸ ͓Μͳ͡ͳͷͩ
12. Ͱ΋Ͳ͏΍ͬͯภඍ෼͢ Δͷʁ େม͚ͩͲɺஸೡʹ΍͍͚ͬͯ͹ภඍ ෼Ͱ͖Δ ภඍ෼Λಋग़ͯ͠ޯ഑๏Λద༻͍ͯ͘͠ ͱɺࣗવʹޡࠩٯ఻೻๏ʢόοΫϓϩ ύήʔγϣϯʣͱ͍͏χϡʔϥϧωοτ ϫʔΫʹ͓͚Δ༗໊ͳֶशํ๏͕ಋग़ ͞ΕΔ
13. ภඍ෼ͳΜ͔ͨ͘͠ͳ ͍ʂͱ͍͏৔߹͸ ਺஋ඍ෼๏Λ࢖͏ͱ͍͏ख΋͋Δɻ ඍ෼ͱ͸܏͖ͷ͜ͱͰɺ͋Δ஍఺w*ͷ܏͖ΛಘΔʹ͸ɺ͜ͷਤͰ͍͏hΛͲΜͲΜখ ͍͚ͯ͘͞͠͹ۙࣅతʹٻΊΒΕΔɻ ภඍ෼ͩͬͨΒɺண໨͢Δม਺Ҏ֎͸ݻఆʹ͢Δͱ͍͏ͷ͸਺஋ඍ෼๏Ͱ΋͓ͳ͡ɻ ͜ΕͰภඍ෼ಋؔ਺Λ௚઀ಋग़͠ͳͯ͘΋͋Δ஍఺ͷޯ഑ϕΫτϧΛ΋ͱΊΒΕΔɻ ඍ෼ͷఆٛɿ d dx f(x) = lim h→0 f(x + h) − f(x) h E(w) w w* w* + h w* − h 2h ͲΜͲΜhΛখ͍͚ͯ͘͞͠͹ɺ΍͕ͯw*Ͱ ͷ઀ઢʹۙ͘ɻͦΕ͢ͳΘͪ܏͖Ͱ͋Γɺͦ ͷॠؒͷมԽ཰Ͱ͋Γɺඍ෼Ͱ͋Δɻඍ෼ͷ ఆٛࣜͱ͍͍ͩͨಉ͜͡ͱΛݴ͍ͬͯΔɻ ∂E ∂w | w=w* ≃ E(w* + h) − E(w* − h) 2h
14. ָ͔ͩΒ͍ͭ΋਺஋ඍ෼ ๏Ͱ͍͍Μ͡ΌͶʁ ܭࢉεϐʔυ͕஗͍ͱ͍͏ܽ఺͕͋ΔɻͳͥͳΒɺ ઌ΄ͲͷࣜΛݟΕ͹Θ͔Δ௨Γɺ܏͖ΛٻΊΔͷʹ E(w,v)ͷ஋Λ2ճܭࢉ͠ͳ͍ͱ͍͚ͳ͍͔Βɻ ಋؔ਺͕͋Ε͹ɺ1ճͷܭࢉͰٻΊΒΕΔɻ ϓϩάϥϚͳΒΘ͔Δͱࢥ͏͚Ͳɺ෼฼ͱ෼ࢠͷ ஋͕΋ͷ͍͢͝খ͞ͳ஋ʹͳΔͷͰɺͪΌΜͱ͍Ζ ͍Ζߟ͑ͳ͍ͱؙΊޡ͕͍ࠩ͢͜͝ͱʹͳΔɻ
15. ͡Ό͍͋ͭ਺஋ඍ෼๏Λ ࢖͏ͷʁ ·ͩϞσϧͷ͕ࣜݻ·ͬͯͳͯ͘ɺภඍ෼ಋؔ਺Λಋग़ ͢Δલʹͬ͟ͱֶशͰ͖Δ͔ײ͡Λ௫Έ͍ͨ࣌ɻ ภඍ෼ಋؔ਺ͷಋग़͕͍͋ͬͯΔ͔ͷݕূʹ΋࢖͑Δɻ ·͋ɺֶशͷϥΠϒϥϦ࢖͑͹ͦ΋ͦ΋ภඍ෼͠ͳͯ͘ ΋͍͍͜ͱ͕ଟ͍͚Ͳ……ɻ൚༻తͳߟ͑ํͳͷͰͳʹ ͔ͷ໾ʹ͔ͨͭ΋͠Εͳ͍ɻ ϥΠϒϥϦͷͳ͔Ͱ਺஋ඍ෼๏Λ࢖͍ͬͯΔέʔε ͸͋Δ͔΋͠Εͳ͍ʢ͠ͳ͍͔΋͠Εͳ͍ʣɻ
16. ޡࠩٯ఻೻๏֓ཁ ೖྗΛೖΕͯग़ྗΛಘΔ ֤χϡʔϩϯͰͷޡࠩΛಘΔ ॏΈΛߋ৽͢Δ δ(2) k = yk − tk ←ୈ2૚ͷޡࠩ δ(1) j = h′ (bj ) K−1 ∑ k=0 vkj δ(2) k ←ୈ1૚ͷޡࠩ vkj := vkj − αδ(2) k zj /N wji := wji − αδ(1) j xi /N bj = ∑D i=0 wji xi zj = h(bj ) ak = ∑M j=0 vkj zj yk = exp(ak ) ∑K−1 l=0 exp(al ) x1 x2 a0 ग़ྗ૚ʢ2૚໨ʣ x0 w00 தؒ૚ʢ1૚໨ʣ w01 w02 v20 v21 v22 y0 b1 z1 b2 z2 z0 a1 y1 a2 y2 ೖྗ૚ v00 v01 v02 = 1 = 1 t0 t1 t2 D + 1 M + 1 K δ(1) j δ(2) k
17. ՝୊ 2૚ϑΟʔυϑΥϫʔυχϡʔϥϧωοτΛ࣮૷ͯ͠ΈΑ͏ TensorFlow·ͨ͸Kerasϕʔεָ͕ɻ͕࣌ؒ͋ΔͳΒ scipy.optimizeͷminimize()Ͱ࣮૷ͯ͠ΈΑ͏ɻ ޡࠩؔ਺ͱॏΈύϥϝʔλw, vͷֶशաఔͰͷมԽΛάϥ ϑԽͯ͠ΈΑ͏ɻ ӡ͕ྑ͚Ε͹ʢѱ͚Ε͹ʁʣҌ఺ʹ৐Γ্͛Δ༷ࢠ͕ ݟΒΕΔ͔΋ɻ
18. ࢀߟจݙ தҪ ӻ࢘ʮITΤϯδχΞͷͨΊͷػցֶशཧ࿦ೖ ໳ʯٕज़ධ࿦ࣾ, 2015 ҏ౻ ਅʮPythonͰಈֶ͔ͯ͠Ϳʂ͋ͨΒ͍͠ػց ֶशͷڭՊॻʯᠳӭࣾ, 2018 ૥᝷༔ีʮৄղ σΟʔϓϥʔχϯά TensorFlowɾ KerasʹΑΔ࣌ܥྻσʔλॲཧʯϚΠφϏग़൛, 2017