ゼロから作るディープラーニング MNIST(手書き数字)の認識を試してみる

Transcript

1. θϩ͔Β࡞ΔσΟʔϓϥʔχϯά MNIST(खॻ͖਺ࣈ)ͷೝࣝΛࢼͯ͠ΈΔ @shohu33
2. ΰʔϧ͸ खॻ͖ͷ਺ࣈΛPGʹ൑ผͤ͞Δ͜ͱ
3. ͔͞ͳຊ ࠓ೔͸̏ষʙ̐ষΛ΍Δ
4. ύʔηϓτϩϯ
5. x1 x2 y w1 w2 x1, x2 ͸ೖྗ৴߸ y ͸ग़ྗ৴߸ w1, w2͸ॏΈ y 0 (w1x1 + w2x2 <= θ) 1 (w1x1 + w2x2 > θ) θ͸ᮢ஋ɻᮢ஋Λ௒͑ΔͱൃՐ͢Δʂ ෳ਺ͷ৴߸Λೖྗͱͯ͠ड͚औΓ ͻͱͭͷ৴߸Λग़ྗ͢Δ
6. x1 x2 y ୈ0૚ s1 s2 ୈ1૚ ୈ2૚ ύʔηϓτϩϯΛ૊Έ߹ΘͤΔͱ ίϯϐϡʔλʔ΋Ͱ͖Δͱ͍͏࿩Λલճ͠·ͨ͠
7. Ͱɺࠓճ͸͍Α͍Α χϡʔϥϧωοτϫʔΫ
8. χϡʔϥϧωοτϫʔΫͱ͸
9. ਓؒͷ೴ͷਆܦճ࿏ͷ࢓૊ΈΛ໛ͨ͠Ϟσϧɻ ίϯϐϡʔλʹֶशೳྗΛ ࣋ͨͤΔ͜ͱʹΑΓɺ༷ʑͳ໰୊Λղܾ͢ΔͨΊͷΞϓϩʔν
10. χϡʔϥϧωοτϫʔΫ ͱ ύʔηϓτϩϯ ͷओͳҧ͍͸
11. ׆ੑԽؔ਺ ͷҧ͍͚ͩ
12. ׆ੑԽؔ਺ͱ͸ʁ
13. ೖྗ৴߸ͷ ૯࿨Λग़ྗ৴߸ʹ ม׵͢Δؔ਺ ৴߸2 ଛࣦؔ਺ ৴߸1 ৴߸3 ग़ྗ
14. ׆ੑԽؔ਺͸ χϡʔϥϧωοτϫʔΫͷͲ͜Ͱ࢖͏͔ʁ
15. x1 x2 ૯࿨ ग़ྗ ׆ੑԽؔ਺ b όΠΞε χϡʔϩϯͷൃՐ͠΍͢͞Λίϯτϩʔϧ y1 y2 લ૚(΋͘͠͸ೖྗ)͔Β ஋Λड͚औΓ࣍ͷ૚΁ͷग़ྗΛߦ͏ ग़ྗ = ׆ੑԽؔ਺(ೖྗ৴߸ͷ૯࿨)
16. ͨͩɺύʔηϓτϩϯͷ࣌΋׆ੑԽؔ਺͸࢖ͬͯ Δɻεςοϓؔ਺ͬͯ΍ͭɻ
17. ݁ہ ύʔηϓτϩϯ ͱ χϡʔϥϧωοτϫʔΫ ͷ׆ੑԽؔ਺ ͷ ҧ͍͸ʁ
18. ύʔηϓτϩϯ = εςοϓؔ਺ χϡʔϥϧωοτϫʔΫ = γάϞΠυؔ਺ or LeRUؔ਺ ֊ஈঢ় ᮢ஋ʹୡ͢Δͱग़ྗ͞ ΕΔ άϥϑ͕গ͠ͷಈ͖ Ͱ൓Ԡ͢Δ
19. άϥϑ͕׈Β͔ͩͬͨΓɺগ͠ͷ஋ͷมԽ Ͱग़ྗ͕มԽ͠ͳ͍ͱ͏·ֶ͘शͰ͖ͳ͍ɻ ֶश͢Δࡍʹɺখ͘͞ೖྗ஋Λߋ৽ͯ͠ɺ֤χϡʔϩϯઢͷॏΈΛ ࡉ͔͘ௐ੔͠ͳ͚Ε͹ͳΒͳ͍͕ εςοϓؔ਺ͩͱେࡶ೺͗ͯ͢ௐ੔ͣ͠Β͍ɻ ͜ͷͨΊχϡʔϥϧωοτϫʔΫͰ͸ γάϞΠυؔ਺΍LeRUؔ਺ͷΑ͏ʹҾ਺ͷ஋Λ গ͠ Ͱ΋ม͑Δͱ൓Ԡ͢Δؔ਺͕࢖ΘΕΔ
20. ·ͨɺ࠷ޙͷग़ྗ૚ʹ࢖͏׆ੑԽؔ਺͸ ͜Ε·Ͱ࢖͏ؔ਺ͱ͸ผͰ͢
21. x1 x2 b y1 y2 b ग़ྗ૚ ग़ྗ૚ͷ׆ੑԽ ؔ਺͸ɺલ૚ͱ͸छ ྨ͕ҧ͏ ׆ੑԽؔ਺
22. ग़ྗ૚ͷ׆ੑԽؔ਺͸ҎԼ̎छྨͳͲ͕͋Δ ɾ߃౳ؔ਺ ɹɹճؼ໰୊ͰΑ͘࢖ΘΕΔ ɾιϑτϚοΫεؔ਺ ɹɹ෼ྨ໰୊ͰΑ͘࢖ΘΕΔ
23. x1 x2 b y1 y2 ߃౳ؔ਺͸஋Λͦͷ··ग़ྗ͢Δ͚ͩ b ߃౳ؔ਺ͷ৔߹ ೖྗΛͦͷ··ग़ྗ ճؼ໰୊໰୊ͰΑ͘࢖ΘΕΔ ͋Δೖྗσʔλ͔Β(࿈ଓతͳ)਺஋ͷ༧ଌΛߦ͏໰୊ɻ ਓͷࣸͬͨը૾͔ΒͦͷਓͷମॏΛ༧ଌ͢ΔΑ͏ͳ໰୊ ߃౳ؔ਺ ͦͷ··ग़ྗ
24. x1 x2 b y1 y2 Softmax ؔ਺ Softmaxؔ਺͸ग़ྗͷ֤χϡʔϩϯ͕શͯͷೖྗ৴߸͔ΒӨڹΛड͚Δ b Softmaxؔ਺ͷ৔߹ y3 ෼ྨ໰୊ͰΑ͘࢖ΘΕΔ σʔλ͕ͲͷΫϥεʹଐ͢Δ͔ͱ͍͏໰୊ɻ ਓͷࣸͬͨը૾͕ɺঁͳͷ͔ɺஉͳͷ͔ʁ உͷ֬཰70% ঁͷ֬཰20% ੑผෆ໌ 10%
25. ׆ੑԽؔ਺ͷಛ௃͕௫Ίͨͱ͜ΖͰ
26. ͔͜͜Βֶश͢ΔͨΊͷ֓೦ΛֶΜͰ͍͘
27. ֶशΛߦ͑ΔΑ͏ʹ͢ΔͨΊʹ ଛࣦؔ਺Λಋೖ͢Δඞཁ͕͋Δ
28. ଛࣦؔ਺ͱ͸ʁ
29. χϡʔϥϧωοτϫʔΫͷ ѱ͞Λࣔ͢͜ͱ͕Ͱ͖Δɻ (ଛࣦؔ਺ͷࣔ͢஋͕ߴ͚Ε͹ѱ͍ɺ௿͚Ε͹ྑ͍) ͜ͷͨΊɺ͜ͷ ଛࣦؔ਺ͷ ग़ྗ͢Δ஋Λ௿͘͢Ε͹ χϡʔϥϧωοτϫʔΫ͕ ྑ͘ͳΔ͜ͱΛҙຯ͢Δ
30. ଛࣦؔ਺ΛͲ͏΍ͬͯ࢖͏͔ʁ
31. ଛࣦؔ਺ͱ͸ χϡʔϥϧωοτϫʔΫͷग़ྗͨ͠஋ͱ ਖ਼ղσʔλΛൺֱͯ͠ɺͲΕ͘Β͍஋͕ҟͳ͍ͬͯΔ͔਺஋Ͱग़͢ ଛࣦؔ਺ ڭࢣσʔλ χϡʔϥϧωοτ ϫʔΫͷѱ͞ ग़ྗ஋͕ߴ͍΄Ͳɺѱ͍ωοτϫʔΫ ௿͍΄Ͳɺྑ͍ωοτϫʔΫ ൺֱͯࠩ͠෼ͷ஋ग़ྗ ͕ࠩ͋Ε͹͋Δ΄Ͳਖ਼ղͱҟͳΔɻ ͜ͷͨΊग़ྗ͕ଟ͍΄Ͳɺѱ͍ωοτϫʔΫͱ͍͏͜ͱʹͳΔ
32. ɾ̎৐࿨ޡࠩ ɾަࠩΤϯτϩϐʔޡࠩ ଛࣦؔ਺ͷछྨ
33. ͜͜Ͱߴߍͷ࣌ʹͳΒͬͨ ਺஋ඍ෼ ͕ొ৔ɻ ඍ෼ͱଛࣦؔ਺Λ࢖ֶͬͯश͍͖ͯ͠·͢
34. χϡʔϥϧωοτϫʔΫͷඍ෼ͷ໾ׂ ଛࣦؔ਺͕ग़ྗ͢Δ஋Λখ͘͢͞Δ ͨΊʹඍ෼Λ࢖͏
35. Ͳ͏࢖͏͔ʁ
36. ଛࣦؔ਺ΛԾʹ Y = X**2 ͱఆٛ͢Δɻ ͜ͷଛࣦؔ਺͕Ұ൪஋͕খ͘͞ͳΔͷ͸x=0ͷͱ͖
37. ͜ͷ࣌ඍ෼ͷ܏͖Ͱ ࠷খ஋͕ٻΊΕΔ
38. Ծʹx=2ͩͱ͢Δͱ܏͖͕4 x=0ͩͱ͢Δͱ܏͖͸0 ͳͷͰɺ͜ͷؔ਺ͷ࠷খ஋ 0Λग़ྗ͢Δͷ͸ x=0ͷ࣌ͱ͍͑Δ ඍ෼͢Δͱ Y’ = 2X
39. ͜ͷ͜ͱ͔Β ඍ෼Λ࢖͍ଛࣦؔ਺ͷ ग़ྗͷ஋͕Ұ൪খ͘͞ͳΔ χϡʔϥϧωοτϫʔΫͷ஋ΛٻΊΕ͹ྑ͍͜ͱʹͳΔ ग़ྗ = ଛࣦؔ਺(χϡʔϥϧωοτϫʔΫ஋, ڭࢣσʔλ)
40. ͨͩɺχϡʔϥϧωοτϫʔΫͰ͸ɺ͝ଘ஌ͷ௨Γม਺͕̍ͭͰ͸ͳͯ͘ େྔʹ͋Δɻ ม਺1 ม਺2 ม਺3 上記のa1を求める場合 a1 = x1*w11 + x2*w21+x3*w31 のように 変数が⼤量にでてくる。 (wは重み)
41. ͦ͜Ͱɺฤඍ෼
42. ฤඍ෼ͱ͸ʁ ଟม਺ؔ਺(ཁ͸ؔ਺ͷதʹزͭ΋ม਺Λ͍࣋ͬͯΔؔ਺) ʹରͯ͠Ұͭͷม਺ͷΈʹ ʢͦΕҎ֎ͷม਺͸ఆ਺ͱͯ͠ݻఆ͢Δʣ ඍ෼͢Δ͜ͱ by wikipedia
43. Λภඍ෼͢Δͱɾɾɾ ຊࣜͷάϥϑ x0Λภඍ෼͢Δͱ 2 * x0 x1 Λภඍ෼͢Δͱ 2 * x1 6 x0 = 3, x1 = 2 ͷͱ͖ͷ܏͖͸ 4 x0ͷํ޲ʹ6ͷ܏͖ x1ͷํ޲ʹ4ͷ܏͖
44. ͜ͷάϥϑͷ܏͖( ޯ഑)Λ໼ҹͰද͢ͱ
45. ͷ܏͖ͷਤ ֤఺ͷ໼ҹͷࣔ͢ํ޲͸ɺؔ਺ͷ஋Λ࠷΋ݮΒ͢ํ޲ ͪͳΈʹɺ͢΂ͯͷม਺ͷภඍ෼ΛϕΫτϧͱͯ͠·ͱΊ ͨ΋ͷΛޯ഑(gradient)ͱ͍͏
46. Ͱ͸ʮม਺͕ෳ਺ʯ͋Δଛࣦؔ਺͸ɺͲ͏͍ͬͨ஋ΛҾ਺ͱͯ͠ ೖΕͨΒɺ஋͕࠷খʹͳΔ͔ΛٻΊ͍͚ͯΕ͹Αͯ͘ ͦͷํ๏ͱͯ͠ɾɾɾ
47. ޯ഑๏Λ࢖͏
48. ޯ഑๏ͱ͸ʁ
49. ݱࡏͷ৔ॴ͔Βޯ഑ํ޲ʹҰఆͷڑ཭͚ͩਐΊΔ Ҡಈͨ͠ઌͰ΋ޯ഑ΛٻΊɺ·ͨޯ഑ํ޲ʹਐΉ ͜ͷΑ͏ʹޯ഑ํ޲ʹਐΉࣄΛ܁Γฦ͢͜ͱͰ ؔ਺ͷ஋ΛঃʑʹݮΒ͢ͷ͕ޯ഑๏
50. ͷ܏͖ͷਤ த৺(Α͏͸஋͕௿͍৔ॴ)ʹ X0, X1Λ༠ಋͰ͖Δํ๏
51. ͸ߋ৽ྔΛද͠ χϡʔϥϧωοτϫʔΫͷֶश཰Λࣔ͢ x0܏͖ ֶश཰ ֶश཰ x1܏͖
52. lr=0.1 ͷ৔߹ͷΠϝʔδ ͡ΐ͡ΐʹਅΜதͷ ΋ͬͱ΋஋͕௿͘ͳΔ఺ʹ ͍͍ۙͮͯ͘ ֶश཰͕ஸ౓ྑ͍஋ͩͱऩଋ͢Δ
53. lr=1.0 ͷ৔߹ͷΠϝʔδ ߋ৽ྔ͕େ͖͗͢Δ ৔߹͍ͬͨΓ͖ͨΓ େ͖͗͢Δͱऩଋ͠ͳ͍
54. lr=1e-10 ͷ৔߹ͷΠϝʔδ ߋ৽ྔ͕খ͗͢͞Δ ৔߹ɺಈ͔ͳ͍ খ͗͢͞Δͱ ΄ͱΜͲߋ৽͠ͳ͍
55. ͜͜Ͱ͍Α͍Α χϡʔϥϧωοτϫʔΫͷޯ഑
56. ̍ݸ̍ݸͷઢͷॏΈͷ܏͖Λௐ΂͍͖ͯɺద੾ͳ஋ʹௐ੔͍ͯ͘͠ɻ
57. ҎԼ֤૚(w1ʙw3)ͷ֤ม਺(ઢ)͝ͱʹଛࣦؔ਺Λภඍ෼Λͯ͠ޯ഑ٻΊΔɻ ͦͯ͠ɺͦͷޯ഑ΛݩʹҰ൪ଛࣦؔ਺ͷ஋͕࠷খʹͳΔ ύϥϝʔλ(ॏΈ܎਺)Λݟ͚͍ͭͯ͘ w1 ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ ภඍ෼ w2 w3
58. ܗঢ়͕ 2 x 3 ͷॏΈ W ͚ͩΛ ଛࣦؔ਺ΛLͰද͢৔߹ɺޯ഑͸ҎԼͷΑ͏ʹදͤΔ ্هͷଛࣦؔ਺ͷ͢΂ͯͷ૿ݮ͕0ʹۙͮ͘஋Λ ٻΊ͍ͯ͘ࣄΑΓɺ֤ύϥϝʔλͷॏΈΛ ద੾ͳ஋ʹௐ੔͍ͯ͘͠ ͨͱ͑͹ɺ̍ߦ̍ྻ໨ͷཁૉͰ͋Δ ͸ɺw11Λগ͠มԽͤ͞Δͱଛࣦؔ਺L ͕ͲΕ͚ͩมԽ͢Δ͔ʁͱ͍͏͜ͱΛࣔ͢ɻ ਺ࣜͰ΋ҰԠද͓ͯ͘͠ͱ
59. ٻΊͨޯ഑ͷ஋Λɺೖྗͨ͠஋ʹֶश཰Λݩʹߋ৽ͯ͠ χϡʔϥϧωοτϫʔΫΛֶश͍ͤͯ͘͞
60. MNISTͰχϡʔϥϧωοτϫʔΫΛࢼ͢
61. Ͱ͸͜ΕΒͷཧ࿦Λ࢖ͬͯ ࣮ࡍʹखॻ͖ͷจࣈΛ෼ྨͯ͠ΈΔͨΊ MNISTσʔλΛ࢖͍ खॻ͖ͷจࣈ͕෼ྨͰ͖Δ͔ࢼ͢
63. 3 5 7 χϡʔϥϧωοτϫʔΫΛ௨ͯ͠ɺखॻ͖ͷจࣈը૾ ͷ਺ࣈΛೝࣝͤ͞Δ
64. ೖྗ = ը૾ 28*28 ͷϐΫηϧσʔλ ग़ྗ = 0 ʙ 9ͷ਺஋
65. ࢀߟจݙ θϩ͔Β࡞ΔDEEP LEARNING ―PYTHONͰֶͿσΟʔϓϥʔχϯ άͷཧ࿦ͱ࣮૷ ୯ߦຊʢιϑτΧόʔʣ – 2016/9/24 ࡈ౻ ߁ؽ (ஶ)
66. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂ