敷居の低いAI勉強会#3

第３回G検定合格講座
1. 活性化関数
2. 学習率の最適化
3. 更なるテクニック
4. CNN:畳み込みニューラルネットワーク

Transcript

1. Έ΍͜Ͱ*5 ෑډͷ௿͍"*ษڧձ ϓϨθϯλʔɹTomohiro Iida ࢀߟॻ੶ɹʮσΟʔϓϥʔχϯάɹGݕఆެࣜςΩετʯɹ؂मɿJDLA
2. ΞδΣϯμ  ࣗݾ঺հ
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
    ࢀՃऀͦΕͧΕͷࣗݾ঺հ
   
   
   ʢ෼ʣ
    (ݕఆ߹֨ߨ࠲
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ෼
    ./*45
   ϋϯζΦϯ
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
3.  ࣗݾ঺հ
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
    ࢀՃऀͦΕͧΕͷࣗݾ঺հ
   
   
   ʢ෼ʣ
    (ݕఆ߹֨ߨ࠲
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ෼
    ./*45
   ϋϯζΦϯ
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
4. ܦྺ
5.  ࣗݾ঺հ
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
    ࢀՃऀͦΕͧΕͷࣗݾ঺հ
   
   
   ʢ෼ʣ
    (ݕఆ߹֨ߨ࠲
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ෼
    ./*45
   ϋϯζΦϯ
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
6. ࢯ໊ʢϋϯυϧωʔϜՄʣ
   झຯ
   ࠓ೔ͷே͝͸Μ͸ԿΛ৯΂·͔ͨ͠ʁ ࢀՃऀࣗݾ঺հ
7.  ࣗݾ঺հ
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
    ࢀՃऀͦΕͧΕͷࣗݾ঺հ
   
   
   ʢ෼ʣ
    (ݕఆ߹֨ߨ࠲
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   ෼
    ./*45
   ϋϯζΦϯ
   
   
   
   
   
   
   
   
   
   
   
   ʢ෼ʣ
8. (ݕఆ߹֨ߨ࠲  θωϥϦετʹ͍ͭͯ
    (ݕఆ֓ཁઆ໌ʢఆٛɾࢼݧ಺༰ʣ
    ୈ̒ষʢσΟʔϓϥʔχϯάͷख๏ʣ
9. ࠓޙधཁ͕ߴ·Δ"*ਓࡐͷখ࿩ ʮ"*ΤϯδχΞʹݶΒͣͰ͕͢ɺ
 
 ࠓɺݱ৔ʹ଍Γͳ͍ͷ͸ θωϥϦετͱͯ͠׆༂Ͱ͖Δਓ
 
 ͩͱ͍͏͜ͱ͕Α͘ݴΘΕ͍ͯ·͢ɻΞϧΰϦζϜɺΤϯδχΞϦϯάɺϏδ ωεɺͦͷ͢΂ͯͷ෼໺ͰೳྗΛൃشͰ͖Δਓ͕ٻΊΒΕ͍ͯΔΑ͏Ͱ͢ɻʯ
   CZגࣜձࣾϝϧΧϦɹ"*ΤϯδχΞɹদԬྰԻ͞Μ
   IUUQTUZQFKQFUGFBUVSF
10. IUUQTUZQFKQFUGFBUVSF (ݕఆͷ֓ཁઆ໌ఆٛ (ݕఆͱ͸ʁ
    ɹ"*δΣωϥϦετΛഉग़͢ΔͨΊͷݕఆͷ͜ͱ ɹ"*δΣωϥϦετͱ͸ʁ
    ɹʰσΟʔϓϥʔχϯάͷجૅ஌ࣝΛ༗͠ɺద੾ͳ׆༻ํ਑Λܾఆ͠
    
    
    
    
    
    
    ͯࣄۀԠ༻͢ΔೳྗΛ࣋ͭਓࡐʱʢ+%-"ެࣜ)1ʣ
11. (ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁ JDLAެࣜHP ެࣜHPΛࢀর͠·͠ΐ͏ʂ
12. (ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁ ࣌ؒ͸ΊͬͪΌݫ͍͠
    ݸͷ໰୊Λ෼Ͱղ౴͢Δʹ໰ʹ͔͚ΒΕΔฏۉ࣌ؒ͸໿ඵ
    ὎҉ه໰୊͸ଈ౴Ͱ͖ΔϨϕϧʹ͠Α͏ʂ ˑ5*14
    ɹ͢΂ͯͷ໰୊ʹ͸νΣοΫϘοΫε͕ଘࡏ͠·͢ɻ
    ɹগ͠Ͱ΋೰Μͩ໰୊͸νΣοΫͯ͠ޙճ͠ʹͯ͠͠·͓͏ʂ
13. (ݕఆͷ֓ཁઆ໌ࢼݧ֓ཁ ໰୊΋ݫ͠Ί
    ؙ҉هͰ͸͢΂ͯʹ౴͑ΒΕͳ͍ɻ
    σΟʔϓϥʔχϯάʹؔͯ͠͸ಛʹཧղΛਂΊ͍ͨͱ͜Ζɻ ˑ5*14
    ɹେ·͔ͳ໰୊ߏ੒͸ͪ͜Βɻ
    ɹਓ޻஌ೳͷجૅ஌ࣝʢୈষʙୈষʣɹɹׂ
    ɹσΟʔϓϥʔχϯάʢୈষʙୈষʣɹɹׂ
    ɹ࢈ۀ΁ͷԠ༻ɾ࣌ࣄ໰୊ʢୈষʙୈষʣׂ
14.  ࣗݾ঺հ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ʢ෼ʣ
     ࢀՃऀͦΕͧΕͷࣗݾ঺հ
    
    
    ʢ෼ʣ
     (ݕఆ߹֨ߨ࠲
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ෼
     ./*45
    ϋϯζΦϯ
    
    
    
    
    
    
    
    
    
    
    
    ʢ෼ʣ
15.  ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
     3//ϦΧϨϯτχϡʔϥϧωοτϫʔΫ
     ਂ૚ڧԽֶश
     ਂ૚ੜ੒Ϟσϧ (ݕఆ߹֨ߨ࠲ ୈ6ষ:σΟʔϓϥʔχϯάͷख๏  ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
16.  ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
17. ׆ੑԽؔ਺ ύʔηϓτϩϯʹΑΔܭࢉ ೖྗ૚ தؒ૚ ग़ྗ૚ IUUQTUPLFJOFUOFVSBMOFUXPSLBDUJWBUJPO@GVODUJPO ׆ੑԽؔ਺ʹΑΔܭࢉ ׆ੑԽؔ਺
18. ׆ੑԽؔ਺ͷ໾ׂ ϞσϧͷදݱྗΛ૿΍͢ ͜Μͳͷ΋ࣅ߹͏ Μ͡Όͳ͍͔͠Β
19. εςοϓؔ਺ IUUQTUPLFJOFUOFVSBMOFUXPSLBDUJWBUJPO@GVODUJPO ৘ใͷϩε͕ܹ͘͠
    දݱྗʹ๡͍͠ͷ͕ܽ఺
20. IUUQTOFXUFDIOPMPHZMJGFTUZMFOFU&&"&#&"&&'&&#&&""&&###&"&$&"&#&"&"' γάϞΠυؔ਺ ೖྗͨ͠஋͕େ͖͚Ε͹େ͖͍΄Ͳʹ͖ۙͮɺ
    ೖྗͨ͠஋͕খ͚͞Ε͹খ͍͞΄Ͳʹۙͮؔ͘਺ɻ
    ݩͷೖྗͷ஋Λࡴ͗͢͠ͳ͍ͱݴ͑Δɻ IUUQTUPLFJOFUOFVSBMOFUXPSLBDUJWBUJPO@GVODUJPO
21. γάϞΠυؔ਺ χϡʔϥϧωοτϫʔΫͰ༻͍ΒΕΔ׆ੑԽؔ਺͕ͩݱࡏ͸͋· Γ࢖ΘΕ͍ͯͳ͍ɻ
    γάϞΠυؔ਺Λ׆ੑԽؔ਺ͱͯ͠༻͍Δͱޯ഑ফࣦͱ͍͏ݱ৅ ͕ى͜Γɺֶश͕ఀ଺ͯ͠͠·͏͜ͱ͕͋ΔͨΊɻ IUUQTJNBHJOHTPMVUJPOOFUEFFQMFBSOJOHNBUIFNBUJDTEFSJWBUJWFPGTJHNPJEGVODUJPO
22. IUUQTUPLFJOFUOFVSBMOFUXPSLBDUJWBUJPO@GVODUJPO ιϑτϚοΫεؔ਺ ग़ྗ૚Ͱ࢖ΘΕΔؔ਺ɻ
    Ұൠతʹ෼ྨ໰୊Ͱ࢖ΘΕΔɻ
23. IUUQTTPOFPIBUFOBCMPHDPNFOUSZ UBOIؔ਺ γάϞΠυؔ਺ΑΓ΋ਫ਼౓͕ग़΍͍͢΋ͷͷɺ͋͘·Ͱ΋ඍ෼ͷz࠷େ஋z ͕ʮ̍ʯͰ͋Γɺ̍ΑΓখ͍͞਺ʹͳͬͯ͠·͏έʔε͕΄΅શͯɻ
 ਂ͍ωοτϫʔΫͰ͸ɺޯ഑ফࣦ໰୊Λ๷͙͜ͱ͕೉͍͠ɻ
24. ೖྗ͕ҎԼͳΒɺҎ্ͳΒͦͷ··ग़ྗ͢Δؔ਺ͷ͜ͱɻ
    ҎԼͷ਺ࣜͰදͤΔɻ
    Z
    
    NBY 
    Y IUUQTUFDICMPHHNPBQKQ&"'&"#&"%"&#'&&"&#$&&"&#$&#&#&#&"&#%#'&'&$&#&'#"&$"$&"&"" 3F-6ؔ਺ 3F-6ؔ਺͸࠷΋Ұൠʹ༻͍ΒΕΔ׆ੑԽؔ਺ɻ
 ͭͷେ͖ͳಛ௃ɿ
 ޯ഑ফࣦ͕ى͜Γʹ͍͘
 ܭࢉ͠΍͍͢ͱ͍͏
 3F-6ؔ਺͸࠷΋׆ੑԽؔ਺ͱͯ͠࢖͍উख͕͍͍ͱ͞ΕΔɻ
25. IUUQTTPOFPIBUFOBCMPHDPNFOUSZ 3F-6ؔ਺ Y͕ΑΓେ͖͍৔߹ɺඍ෼஋͸ৗʹ࠷େ஋Ͱ͋Δ͕ಘΒΕΔɻ
    ὎ޡࠩٯ఻೻ͷࡍʹޯ഑͕খ͘͞ͳΓʹ͍͘
 ʢޯ഑ফࣦ͠ʹ͍͘ʣ
26.  ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
27. ޯ഑߱Լ๏ ඍ෼Λ׆༻͢Δ͜ͱʹΑͬͯɺ
    Ϟσϧͷ༧ଌ஋ͱ
 ࣮ࡍͷ஋ʢຊ౰ͷਖ਼ղʣ
    ͱͷޡࠩΛͳ͍ͯ͘͘͠ɻ ͦͷΞϓϩʔνΛ࣮ݱ͢Δख๏ʹ
 ޯ഑߱Լ๏
28. ޯ഑߱Լ๏ IUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEG ֶश཰Λ͏·ʙ͘ௐ੔͢Δ͜ͱ͕େ੾⭐ ޯ഑߱Լ๏ͷߟ͑ํ
    ˰্͔ΒϘʔϧΛམͱ͠Ұ൪௿͍ͱ͜Ζ΁୧Γண͘·Ͱ଴ͭ େҬ࠷దղʹຊ౰ͷ࠷దղ ہॴ࠷దղʹݟ͔͚ͤͷ࠷దղ
29. ޯ഑߱Լ๏ ࣌ࠁ𝑡Ͱ𝝎 𝑡 ʹ͋ͬͨϘʔϧΛޯ഑ͷٯํ޲΁ಈ͔͢ࡍͷϧʔϧ
    
    𝝎(𝑡+1) = 𝝎(𝑡) + ∆𝝎(𝑡) , ∆𝝎(𝑡) = −𝜂𝛻𝐸 𝝎 𝑡 (4.9) 𝑡
    
      
    lͱॱ࣍܁Γฦ͢͜ͱͰɼޡࠩؔ਺άϥϑͷఈ΁߱Γ͍ͯ͘
    
    ˎ̍εςοϓͷҠಈڑ཭∆𝝎 𝑡 ͸lֶश཰z𝜂Ͱܾఆ͞ΕΔ
    IUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEG
30. ޯ഑߱Լ๏ ˎ̍εςοϓͷҠಈڑ཭
    
 ʮޯ഑ʹԊͬͯҰ౓ʹͲΕ͚ͩ߱Γ͍͔ͯ͘ʯ
 lֶश཰zʢϋΠύʔύϥϝʔλʣ
31. ޯ഑߱Լ๏ ֶश཰ͷऔΓํ͸τϥΠΞϯυΤϥʔʹجͮ͘
    
    w ֶश཰͕େ͖͍
    
 ˰ࠁΈ͕ߥ͗ͯ͢ޡࠩؔ਺ͷܗঢ়Λଊ͑ΒΕͣɼऩଋ͠ͳ͍
 w ֶश཰͕খ͍͞

    ˰ֶश͕Ұ޲ʹਐߦ͠ͳ͍ IUUQXXXQMBODWUJUFDIBDKQGVLVEBMBCCBDCEEBCDCBGDDGDQEG
32. ࣗݾ঺հ IUUQTRJJUBDPN)JSPLJYJUFNTBBCEE
33. ϋΠύʔύϥϝʔλ ʁʁʁϋΠύʔύϥϝʔλʁʁʁ IUUQTYOUKBBORKNKUGQDKEDPN&&##"&#&"&"#&$"$&#&"&"&&&&'#$&&"#&#"&'&$&&"&"&&'
34.  ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
35. υϩοϓΞ΢τ Θͨ͠ͷλʔϯʂ
 ຐ๏Χʔυɹ
    lΦʔόʔϑΟοςΟϯάz IUUQTCPLFUFKQCPLF ͋͞ɺ࢝ΊΔΘΑɻ
    ҋͷήʔϜΛɾɾɾ
36. υϩοϓΞ΢τ ͦ͜·Ͱͩ;&ͬˑ Θͨ͠͸
 ਓ޻஌ೳքͷࢧ഑ऀʹͳΔͷΑ
 
 ୭ʹ΋अຐͤ͞ͳ͍Θɾɾɾ
37. υϩοϓΞ΢τ τϥοϓΧʔυൃಈʂ
    lυϩοϓΞ΢τ
    IUUQTNBUPNFOBWFSKQPEBJ
38. χϡʔϩϯΛϥϯμϜʹυϩοϓΞ΢τ͠ɺ
 ΦʔόʔϑΟοςΟϯάΛ๷͙ IUUQTRJJUBDPNNJOFJUFNTECBCCFGD υϩοϓΞ΢τ
39. ςετσʔλʹର͢Δޡࠩؔ਺ͷ্͕Γ࢝Ί
    ʹଧͪ੾Γʹ࠷దͳλΠϛϯάͱݟͳ͢ FBSMZ
    TUPQQJOH ֶशΛૣΊʹଧͪ੾Δख๏ ./*45ϋϯζΦϯͰ֬ೝ͠·͢ʂ
40. σʔλͷਖ਼نԽ ֤ಛ௃ྔΛdͷൣғʹม׵͢Δॲཧ ./*45ϋϯζΦϯͰ֬ೝ͠·͢ʂ
41. σʔλͷඪ४Խ ඪ४Խ͢ΔͱԿ͕ྑ͍ͷ͔ʁ
42. 
      ׆ੑԽؔ਺
     ֶश཰ͷ࠷దԽ
     ߋͳΔςΫχοΫ
     $//৞ΈࠐΈχϡʔϥϧωοτϫʔΫ
43. $//ͱ͸ ը૾σʔλʹదͨ͠ܗͷ
 χϡʔϥϧωοτϫʔΫ ը૾Λͦͷ··ͷܗʹ̎࣍ݩͰ
 ѻ͏͜ͱ͕Ͱ͖Δ $POWPMVUJPOBM
    /FVSBM
    /FUXPSL
44. $//ʢશମ૾ʣ $//͸ɺ৞ΈࠐΈ΍ϓʔϦϯάʹΑͬͯಘΒΕͨಛ௃Ϛοϓͷ֤ϐΫηϧσʔλΛɺ
 χϡʔϥϧωοτϫʔΫͷೖྗ஋ͱͯ͠ར༻͢Δɻ IUUQTXXXBUNBSLJUDPKQBJUBSUJDMFTOFXTIUNM
45. $// ৞ΈࠐΈ IUUQTULFOHPHJUIVCJPCMPHVOEFSTUBOEJOHDPOWPMVUJPOBMOFVSBMOFUXPSLTGPSOMQ          Χʔωϧ
 ʢϑΟϧλʔʣ
46. $// ϓʔϦϯά IUUQTULFOHPHJUIVCJPCMPHVOEFSTUBOEJOHDPOWPMVUJPOBMOFVSBMOFUXPSLTGPSOMQ ಛ௃Ϛοϓͷ࠷େ஋Λநग़͠ɺ
 ը૾αΠζΛܾΊΒΕͨϧʔϧʹैͬͯ
 খ͘͢͞Δ NBYϓʔϦϯά
47. $// શ݁߹૚ ग़ྗͷܗΛ̍࣍ݩʹมܗ͢Δ ௨ৗͷχϡʔϥϧωοτϫʔΫͱಉ͡
 ʮӅΕ૚ʯʮग़ྗ૚ʯʹ઀ଓ͠ɺ
48.  ࣗݾ঺հ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ʢ෼ʣ
     ࢀՃऀͦΕͧΕͷࣗݾ঺հ
    
    
    ʢ෼ʣ
     (ݕఆ߹֨ߨ࠲
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    ෼
     ./*45
    ϋϯζΦϯ
    
    
    
    
    
    
    
    
    
    
    
    ʢ෼ʣ
49. ./*45ͱ͸ ./*45ͱ͸ɺը૾σʔληοτͷ͜ͱɻ
 ʢखॻ͖਺ࣈը૾ ຕͱɺςετը૾ ຕΛूΊͨ΋ͷʣ
 ҎԼ͕ϖΞʹͳ͍ͬͯΔɻ
     खॻ͖ͷ
    
    ʙ
    
    ͷ਺ࣈ͕ॻ͔Εͨը૾σʔλ
    ͱɺ
     ͦͷը૾ʹॻ͔Ε࣮ͨࡍͷ਺ࣈσʔλ
    
50. ./*45ͱ͸ IUUQTXFCMBCPPTDBTJFSSBOFUQZUIPOLFSBTNOJTUTBNQMFIUNM σʔλͷ༷ࢠ
51. ./*45ͱ͸ IUUQTXFCMBCPPTDBTJFSSBOFUQZUIPOLFSBTNOJTUTBNQMFIUNM ग़ྗ͸͜Μͳײ͡ ਺ࣈ ֬཰ 0 0.014 1 0.001 2 0.013 3 0.719 4 0.034 5 0.016 6 0.023 7 0.065 8 0.086 9 0.029
52. Ͱ͸ɺ΍ͬͯΈ·͠ΐ͏ ࣮૷
53. 4FRVFOUJBMϞσϧ IUUQNBSVQFLFDPN*,%"%7@%-@/P@,FSBTIUNM
54. ͓͠·͍ pO