Kerasを使って画像分類をやってみる / pyml-niigata-20190119

Python機械学習勉強会in新潟の資料です。

Transcript

1. ,FSBTΛ࢖ͬͯ
   ը૾෼ྨΛ΍ͬͯΈΔ 1ZUIPOػցֶशษڧձJO৽ׁ
   3FTUBSU
   !௕Ԭ
   
   ּݪ
   ޺
   !LBTBDDIJGVM
2. ࣗݾ঺հ w ּݪ
   ޺
   !LBTBDDIJGVM
   w ৽ׁࢢࡏॅ
   w 3VCZ͕͓ؾʹೖΓ
   ࠓճ͸1ZUIPOͰ͢
   w +"846(৽ׁ
   ୅ද
   w +B445৽ׁ࣮ߦҕһ
3. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ
    σΟʔϓϥʔχϯάͷ࢓૊Έ
    ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏
    ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏
4. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ
    σΟʔϓϥʔχϯάͷ࢓૊Έ
    ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏
    ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏
5. σϞ֓ཁ w ը૾෼ྨΛߦ͍·͢ɻ
   w ʮڭࢣ͋Γֶशʯͷʮ෼ྨʯ
   w ը૾ͷ෼ྨΫϥε͸छྨʢʮϥʔϝϯʯͱʮ͏ͲΜʯʣ
   w +VQZUFS
   /PUFCPPL ΋͘͠͸(PPHMF
   $PMBC Ͱɺ,FSBT Λ࢖ͬͯը૾෼ྨϞσϧΛ࡞੒͠ɺ࣮ࡍʹֶशɾਪ࿦Λߦ ͍·͢ɻ
   
6. ϥʔϝϯ
7. ͏ͲΜ
8. ڭࢣ͋Γֶश wֶशσʔλʹʮਖ਼ղʯͱͳΔڭࢣσʔλ͕͍͍ͭͯΔ
   w෼ྨ
   wະ஌ͷσʔλΛɺ͍͔ͭ͘ͷΫϥεʢΧςΰϦʣʹ෼ྨ͢Δ
   w໨తม਺͕ʮ࣭తม਺ʯʢΧςΰϦม਺ʣͰ͋Δ΋ͷ
   wྫɿਓͷإͷը૾͔ΒʮੑผʯΛ൑ఆ͢Δ
   wճؼ
   wະ஌ͷσʔλ͔Βɺ਺஋Λ༧ଌ͢Δ
   w໨తม਺͕ʮྔతม਺ʯʢ਺஋ʣͰ͋Δ΋ͷ
   wྫɿਓͷإͷը૾͔Βʮ೥ྸʯΛ൑ఆ͢Δ
9. ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ ֶशσʔλ ֶशɹ
10. ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ Ͳͷ෼ྨʹ౰ͯ͸·Δ͔ʁ ਪ࿦ɹ ະ஌ͷը૾σʔλ
11. ϋϯζΦϯͷશମਤ ਖ਼ղϥϕϧ෇
    ֶशը૾σʔλ ֶश ਪ࿦ ֶशࡁ
    Ϟσϧ ະ஌ͷ
    ը૾σʔλ ࣗ࡞ͷ
    Ϟσϧ ൑ఆ
12. (PPHMF
    $PMBCPSBUPSZ w IUUQTDPMBCSFTFBSDIHPPHMFDPN
    w +VQZUFS
    OPUFCPPLͬΆ͘࢖͑ΔαʔϏε
    wແྉͰ(16͕࢖͑Δ
    /7*%*"
    5FTMB
    ,
    w࡞੒ͨ͠ϊʔτϒοΫ͸(PPHMF
    %SJWFʹอଘ͞ΕΔ
    w෼ϧʔϧͱ࣌ؒϧʔϧʹ஫ҙ
13. ,FSBT w σΟʔϓϥʔχϯάͰΑ͘࢖͏ػೳΛ࢖͍΍ͨ͘͢͠ɺ 1ZUIPOͷϥούʔϥΠϒϥϦ
    w 5FOTPS'MPX
    ʗ
    $/5,
    ʗ
    5IFBOP
    ͳͲ
    w σϑΥϧτ͸5FOTPS'MPXΛόοΫΤϯυʹ࢖͏
    w ,FSBTͰ࡞੒ֶͨ͠शࡁϞσϧΛɺ5FOTPS'MPXͷֶशࡁ Ϟσϧʹม׵͢Δπʔϧ΍ɺ$PSF.-Ϟσϧʹม׵͢Δͨ Ίͷπʔϧ͕͋Δ
14. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ
     σΟʔϓϥʔχϯάͷ࢓૊Έ
     ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏
     ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏
15. w χϡʔϥϧωοτϫʔΫͷ૚͕ଟ͍΋ͷʢ૚Ҏ্ʣ σΟʔϓϥʔχϯά ೖྗ૚ ग़ྗ૚ தؒ૚ʢӅΕ૚ʣ
16. χϡʔϥϧωοτϫʔΫ w γφϓεͷ݁߹ʹΑͬͯωοτϫʔΫΛܗ੒ͨ͠ਓ޻χϡʔ ϩϯʢϊʔυʣ͕ɺֶशʹΑͬͯ݁߹ڧ౓ʢॏΈʣΛม Խͤͯ͞໰୊ղܾΛߦ͏ػցֶशϞσϧ x1 x2 1 b w1 w2 h y y = h( n ∑ i=1 wi xi + b) ୯७ύʔηϓτϩϯ ׆ੑԽؔ਺
    
    
    
    ͸ɺ
    εςοϓؔ਺΍γάϞΠυؔ਺౳͕౰ॳ࢖ΘΕ͍͕ͯͨɺ
    σΟʔϓϥʔχϯάͰ͸3F-6͕ओʹ࢖ΘΕΔɻ h h(x) = { 1 (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = max(x,0) 3F-6
17. ׆ੑԽؔ਺ w ύʔηϓτϩϯͷग़ྗ࣌ʹ࣮ߦ͢Δؔ਺
    w σΟʔϓϥʔχϯάͰ͸ɺ3F-6͕Α͘࢖༻͞ΕΔɻ·ͨ ग़ྗ૚Ͱͷ׆ੑԽؔ਺ͱͯ͠TPGUNBY΋ h(x) = { 1 (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = 1 1 + e−x γάϞΠυؔ਺ h(x) = tanh x ૒ۂઢਖ਼઀ؔ਺ h(x) = max(x,0) 3F-6
18. w ೖྗσʔλɿը૾ͷϐΫηϧσʔλ ºº
    w ग़ྗσʔλɿ<ϥʔϝϯͰ͋Δ֬཰
    ͏ͲΜͰ͋Δ֬཰> ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <
    >
19. w ྫ͑͹ɺҎԼͷΑ͏ͳ݁Ռ͕ग़ͨͱ͠·͢ɻ
    w ֶशϞσϧͷ΢ΣΠτͱόΠΞεͷ஋ͷॳظ஋͸ϥϯμϜ Ͱ͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <
    >
20. w ڭࢣσʔλ͸
    <
    >ͷΑ͏ͳɺਖ਼ղ஋͕Ͱଞશͯ ͱͳΔϕΫτϧ 0OF
    )PU
    7FDUPS Λ༩͑ͯɺग़ྗ݁Ռͱ ͷࠩΛൺ΂·͢ɻ͜ͷ৔߹͸͕ࠩখ͍͞Ͱ͢Ͷɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <
    > ڭࢣσʔλ <
    > ൺֱ
21. w ྫ͑͹ɺ<
    >ͷΑ͏ͳग़ྗ݁ՌͰ͋Ε͹ɺڭࢣσʔ λͱͷࠩ͸େ͖͘ͳΓ·͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <
    > ڭࢣσʔλ <
    > ൺֱ
22. w ग़ྗ݁Ռͱڭࢣσʔλͷࠩ ଛࣦ
    -PTT ΛධՁ͢Δؔ਺ ଛ ࣦؔ਺ ͱΦϓςΟϚΠβΛ࢖ͬͯɺଛࣦ͕খ͘͞ͳΔΑ ͏ʹ΢ΣΠτͱόΠΞεΛֶशʹΑͬͯগͣͭ͠มԽͤ͞ ͍͖ͯ·͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <
    > ڭࢣσʔλ <
    > ଛࣦؔ਺ ΦϓςΟϚΠβ ΢ΣΠτͱόΠΞεΛมߋ
23. w ΢ΣΠτ΍όΠΞεͷௐ੔͸ɺग़ྗ૚ଆ͔Βೖྗ૚ଆʹ͔ ͚ͯॱ൪ʹߦ͍·͢ɻʢޡࠩٯ఻೻๏
    #BDL
    1SPQBHBUJPOʣ ֶशͷྲྀΕ
24. ଛࣦؔ਺ w Α͘࢖͏ଛࣦؔ਺
    w ճؼ
    ฏۉೋ৐ޡࠩ
    .FBO
    4RVFSFE
    &SSPS
    w ෼ྨ
    ަࠩΤϯτϩϐʔ
    $SPTT
    &OUSPQZ
    w ࠓճ͸ଟΫϥε෼ྨͳͷͰަࠩΤϯτϩϐʔ ,FSBTͰͷ໊শ͸ɺ DBUFHPSJDBM
    DSPTT
    FOUSPQZ Λ࢖༻͢Δ E = 1 N N ∑ n=1 (yn − tn) 2 E = − 1 N N ∑ n=1 K ∑ k=1 tnk log ynk
25. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏
    ࠷ٸ߱Լ๏
    (SBEJFOU
    %FTDFOU
    w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ
    w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
    
26. ΦϓςΟϚΠβ w1 E w جຊతͳΦϓςΟϚΠβɿޯ഑߱Լ๏
    ࠷ٸ߱Լ๏
    (SBEJFOU
    %FTDFOU
    w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ
    w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
    
27. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏
    ࠷ٸ߱Լ๏
    (SBEJFOU
    %FTDFOU
    w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ
    w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
    
28. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏
    ࠷ٸ߱Լ๏
    (SBEJFOU
    %FTDFOU
    w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ
    w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
    
29. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏
    ࠷ٸ߱Լ๏
    (SBEJFOU
    %FTDFOU
    w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ
    w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
    
30. ΦϓςΟϚΠβ w1 E w ࠷ऴతʹɺଛࣦؔ਺ͷ࠷খ஋ ۃখ஋ ʹऩଋ͢Δ·Ͱ܁Γฦ͢ɻ
    w ֶश཰
    গͣͭ͠΢ΣΠτΛมߋ͢Δׂ߹
    
31. w ΢ΣΠτ͕ͭͷ৔߹͸ɺ࣍ݩ্ۭؒͷޯ഑ʹج͍ͮͯ΢ΣΠ τΛগͣͭ͠มԽͤ͞Δɻ
    ΦϓςΟϚΠβ
32. w ޯ഑߱Լ๏͔ΒɺΑΓߴ౓ͳ࠷దԽख๏͕ఏҊ͞Ε͖ͯͨɻ
    w ݱࡏ͸ɺʮ"EBNʯ΍ʮ3.4QSPQʯͱݺ͹ΕΔ࠷దԽख๏Λ࢖͏͜ͱ͕ଟ ͍ɻ
    ΦϓςΟϚΠβ
33. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ
     σΟʔϓϥʔχϯάͷ࢓૊Έ
     ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏
     ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏
34. w શ݁߹૚Λ࢖ͬͯଟ૚ͷχϡʔϥϧωοτϫʔΫΛ࡞ͬͯ ΈΑ͏ ࠷ॳʹ࡞ͬͯΈΔϞσϧ ग़ྗ૚ શ݁߹૚ શ݁߹૚ ը૾σʔλ ฏ׈Խ૚
35. ϋϯζΦϯ
    ΍ͬͯΈΑ͏
36. w ϋϯζΦϯΛߦ͏ࡍͷ਽ܗͷϊʔτϒοΫ͕͋Γ·͢ͷͰɺ ͪ͜ΒΛར༻͢ΔͱศརͰ͢ɻ
    w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC
    w ಉࠝͷςΩετϒοΫ΋͝ࢀߟ͍ͩ͘͞ɻ
    w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSLFSBT@IBOETPO@UFYUCPPLJQZOC ϋϯζΦϯ
37. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ
     σΟʔϓϥʔχϯάͷ࢓૊Έ
     ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏
     ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏
38. ৞ࠐΈχϡʔϥϧωοτϫʔΫ
    $POWPMVUJPOBM
    /FVSBM
    /FUXPSL w ը૾ೝࣝɺ෺ମݕग़ͳͲΛಘҙͱ͢Δ
    w ৞ΈࠐΈ૚
    $POWPMVUJPO
    -BZFS
    ɺϓʔϦϯά૚
    1PPMJOH
    -BZFS
    Ͱಛ௃நग़͠ɺग़ྗଆͷશ݁߹૚Ͱ෼ྨ
    w ৞ΈࠐΈ૚ͷϑΟϧλͷॏΈͱશ݁߹૚ͷॏΈֶ͕शʹΑͬ ܾͯఆ͞Ε͍ͯ͘
39. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 ಛ௃Ϛοϓ͕
    ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
40. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 ಛ௃Ϛοϓ͕
    ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
41. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 ಛ௃Ϛοϓ͕
    ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
42. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 60 ಛ௃Ϛοϓ͕
    ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
43. ৞ΈࠐΈ૚ w ৞ΈࠐΈ૚͸ɺιʔϕϧϑΟϧλͷΑ͏ͳը૾ͷྠֲநग़ ͳͲɺը૾ͷಛ௃Λநग़͢Δɻ
    w طଘͷϑΟϧλɿϑΟϧλͷ܎਺ΛਓͷखͰઃఆ͢Δɻ
    w ৞ΈࠐΈ૚ͷϑΟϧλɿϑΟϧλͷ܎਺ΛֶशʹΑͬͯࣗ ಈతʹઃఆ͢Δɻ -1 0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 2 1 ιʔϕϧϑΟϧλ
44. ϓʔϦϯά૚ w ೖྗσʔλΛѻ͍΍͍͢ܗʹ͢Δ
    w ඍখͳҐஔมԽʹڧ͘ͳͬͨΓɺաֶशΛ཈͑ͨΓɺܭ ࢉίετΛ཈͑ͨΓ
    w .BY
    1PPMJOH
    ΍
    "WFSBHF
    1PPMJOH
    ͳͲ͕͋Δ 1 2 3 4 6 7 8 9 11 12 13 14 16 17 18 19 ೖྗ 7 9 17 19 .BY
    1PPMJOH
45. w ৞ΈࠐΈ૚૚ɺϓʔϦϯά૚૚Λલஈʹ ࣍ʹ࡞ͬͯΈΔϞσϧ ৞ΈࠐΈ૚ શ݁߹૚ ϓʔϦϯά૚ ฏ׈Խ૚
46. ϋϯζΦϯ
    ΍ͬͯΈΑ͏
47. w ઌ΄Ͳ࢖༻ͨ͠਽ܗͷϊʔτϒοΫΛमਖ਼ͯ͠ɺ$//Λ ߏஙͯ͠Έ·͠ΐ͏ɻ
    w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC ϋϯζΦϯ
48. ิ଍
49. 
    7(( w 7JTVBM
    (FPNFUSZ
    (SPVQ͕࡞੒ͨ͠$//
    w *-473$Ͱ࢖ΘΕͨɺΫϥεͷը૾෼ྨΛߦ͏
    w *-473$ʹͯɺ෼ྨޡΓ཰
    w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚
    w ߏ଄͕Θ͔Γ΍͍͢
50. w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚
    w ೖྗ͸ɺº
    ͷ
    νϟϯωϧ
    3(# 7((ͷߏ଄ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹૚