Kerasを使って画像分類をやってみる / pyml-niigata-20190119

Kerasを使って画像分類をやってみる / pyml-niigata-20190119

Python機械学習勉強会in新潟の資料です。

82d6167c4d14393c2e20b37a74b363c5?s=128

kasacchiful

January 19, 2019
Tweet

Transcript

  1. ,FSBTΛ࢖ͬͯ ը૾෼ྨΛ΍ͬͯΈΔ 1ZUIPOػցֶशษڧձJO৽ׁ3FTUBSU!௕Ԭ  ּݪ޺ !LBTBDDIJGVM

  2. ࣗݾ঺հ w ּݪ޺ !LBTBDDIJGVM  w ৽ׁࢢࡏॅ w 3VCZ͕͓ؾʹೖΓ ࠓճ͸1ZUIPOͰ͢

     w +"846(৽ׁ୅ද w +B445৽ׁ࣮ߦҕһ
  3. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ  σΟʔϓϥʔχϯάͷ࢓૊Έ  ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏  ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

  4. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ  σΟʔϓϥʔχϯάͷ࢓૊Έ  ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏  ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

  5. σϞ֓ཁ w ը૾෼ྨΛߦ͍·͢ɻ w ʮڭࢣ͋Γֶशʯͷʮ෼ྨʯ w ը૾ͷ෼ྨΫϥε͸छྨʢʮϥʔϝϯʯͱʮ͏ͲΜʯʣ w +VQZUFS/PUFCPPL ΋͘͠͸(PPHMF$PMBC

    Ͱɺ,FSBT Λ࢖ͬͯը૾෼ྨϞσϧΛ࡞੒͠ɺ࣮ࡍʹֶशɾਪ࿦Λߦ ͍·͢ɻ
  6. ϥʔϝϯ

  7. ͏ͲΜ

  8. ڭࢣ͋Γֶश wֶशσʔλʹʮਖ਼ղʯͱͳΔڭࢣσʔλ͕͍͍ͭͯΔ w෼ྨ wະ஌ͷσʔλΛɺ͍͔ͭ͘ͷΫϥεʢΧςΰϦʣʹ෼ྨ͢Δ w໨తม਺͕ʮ࣭తม਺ʯʢΧςΰϦม਺ʣͰ͋Δ΋ͷ wྫɿਓͷإͷը૾͔ΒʮੑผʯΛ൑ఆ͢Δ wճؼ wະ஌ͷσʔλ͔Βɺ਺஋Λ༧ଌ͢Δ w໨తม਺͕ʮྔతม਺ʯʢ਺஋ʣͰ͋Δ΋ͷ wྫɿਓͷإͷը૾͔Βʮ೥ྸʯΛ൑ఆ͢Δ

  9. ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ ֶशσʔλ ֶशɹ

  10. ڭࢣ͋Γֶश ΓΜ͝ όφφ ೣ ݘ Ͳͷ෼ྨʹ౰ͯ͸·Δ͔ʁ ਪ࿦ɹ ະ஌ͷը૾σʔλ

  11. ϋϯζΦϯͷશମਤ ਖ਼ղϥϕϧ෇ ֶशը૾σʔλ ֶश ਪ࿦ ֶशࡁ Ϟσϧ ະ஌ͷ ը૾σʔλ ࣗ࡞ͷ

    Ϟσϧ ൑ఆ
  12. (PPHMF$PMBCPSBUPSZ w IUUQTDPMBCSFTFBSDIHPPHMFDPN w +VQZUFSOPUFCPPLͬΆ͘࢖͑ΔαʔϏε wແྉͰ(16͕࢖͑Δ /7*%*"5FTMB,  w࡞੒ͨ͠ϊʔτϒοΫ͸(PPHMF%SJWFʹอଘ͞ΕΔ w෼ϧʔϧͱ࣌ؒϧʔϧʹ஫ҙ

  13. ,FSBT w σΟʔϓϥʔχϯάͰΑ͘࢖͏ػೳΛ࢖͍΍ͨ͘͢͠ɺ 1ZUIPOͷϥούʔϥΠϒϥϦ w 5FOTPS'MPXʗ$/5,ʗ5IFBOPͳͲ w σϑΥϧτ͸5FOTPS'MPXΛόοΫΤϯυʹ࢖͏ w ,FSBTͰ࡞੒ֶͨ͠शࡁϞσϧΛɺ5FOTPS'MPXͷֶशࡁ

    Ϟσϧʹม׵͢Δπʔϧ΍ɺ$PSF.-Ϟσϧʹม׵͢Δͨ Ίͷπʔϧ͕͋Δ
  14. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ  σΟʔϓϥʔχϯάͷ࢓૊Έ  ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏  ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

  15. w χϡʔϥϧωοτϫʔΫͷ૚͕ଟ͍΋ͷʢ૚Ҏ্ʣ σΟʔϓϥʔχϯά ೖྗ૚ ग़ྗ૚ தؒ૚ʢӅΕ૚ʣ

  16. χϡʔϥϧωοτϫʔΫ w γφϓεͷ݁߹ʹΑͬͯωοτϫʔΫΛܗ੒ͨ͠ਓ޻χϡʔ ϩϯʢϊʔυʣ͕ɺֶशʹΑͬͯ݁߹ڧ౓ʢॏΈʣΛม Խͤͯ͞໰୊ղܾΛߦ͏ػցֶशϞσϧ x1 x2 1 b w1

    w2 h y y = h( n ∑ i=1 wi xi + b) ୯७ύʔηϓτϩϯ ׆ੑԽؔ਺͸ɺ εςοϓؔ਺΍γάϞΠυؔ਺౳͕౰ॳ࢖ΘΕ͍͕ͯͨɺ σΟʔϓϥʔχϯάͰ͸3F-6͕ओʹ࢖ΘΕΔɻ h h(x) = { 1 (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = max(x,0) 3F-6
  17. ׆ੑԽؔ਺ w ύʔηϓτϩϯͷग़ྗ࣌ʹ࣮ߦ͢Δؔ਺ w σΟʔϓϥʔχϯάͰ͸ɺ3F-6͕Α͘࢖༻͞ΕΔɻ·ͨ ग़ྗ૚Ͱͷ׆ੑԽؔ਺ͱͯ͠TPGUNBY΋ h(x) = { 1

    (x > 0) 0 (otherwise) εςοϓؔ਺ h(x) = 1 1 + e−x γάϞΠυؔ਺ h(x) = tanh x ૒ۂઢਖ਼઀ؔ਺ h(x) = max(x,0) 3F-6
  18. w ೖྗσʔλɿը૾ͷϐΫηϧσʔλ ºº  w ग़ྗσʔλɿ<ϥʔϝϯͰ͋Δ֬཰ ͏ͲΜͰ͋Δ֬཰> ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ

    ֶशϞσϧ < >
  19. w ྫ͑͹ɺҎԼͷΑ͏ͳ݁Ռ͕ग़ͨͱ͠·͢ɻ w ֶशϞσϧͷ΢ΣΠτͱόΠΞεͷ஋ͷॳظ஋͸ϥϯμϜ Ͱ͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ <

    >
  20. w ڭࢣσʔλ͸< >ͷΑ͏ͳɺਖ਼ղ஋͕Ͱଞશͯ ͱͳΔϕΫτϧ 0OF)PU7FDUPS Λ༩͑ͯɺग़ྗ݁Ռͱ ͷࠩΛൺ΂·͢ɻ͜ͷ৔߹͸͕ࠩখ͍͞Ͱ͢Ͷɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ

    ֶशϞσϧ < > ڭࢣσʔλ < > ൺֱ
  21. w ྫ͑͹ɺ< >ͷΑ͏ͳग़ྗ݁ՌͰ͋Ε͹ɺڭࢣσʔ λͱͷࠩ͸େ͖͘ͳΓ·͢ɻ ֶशͷྲྀΕ ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < >

    ڭࢣσʔλ < > ൺֱ
  22. w ग़ྗ݁Ռͱڭࢣσʔλͷࠩ ଛࣦ-PTT ΛධՁ͢Δؔ਺ ଛ ࣦؔ਺ ͱΦϓςΟϚΠβΛ࢖ͬͯɺଛࣦ͕খ͘͞ͳΔΑ ͏ʹ΢ΣΠτͱόΠΞεΛֶशʹΑͬͯগͣͭ͠มԽͤ͞ ͍͖ͯ·͢ɻ ֶशͷྲྀΕ

    ೖྗσʔλ ग़ྗ݁Ռ ֶशϞσϧ < > ڭࢣσʔλ < > ଛࣦؔ਺ ΦϓςΟϚΠβ ΢ΣΠτͱόΠΞεΛมߋ
  23. w ΢ΣΠτ΍όΠΞεͷௐ੔͸ɺग़ྗ૚ଆ͔Βೖྗ૚ଆʹ͔ ͚ͯॱ൪ʹߦ͍·͢ɻʢޡࠩٯ఻೻๏#BDL 1SPQBHBUJPOʣ ֶशͷྲྀΕ

  24. ଛࣦؔ਺ w Α͘࢖͏ଛࣦؔ਺ w ճؼฏۉೋ৐ޡࠩ .FBO4RVFSFE&SSPS  w ෼ྨަࠩΤϯτϩϐʔ $SPTT&OUSPQZ

     w ࠓճ͸ଟΫϥε෼ྨͳͷͰަࠩΤϯτϩϐʔ ,FSBTͰͷ໊শ͸ɺ DBUFHPSJDBMDSPTTFOUSPQZ Λ࢖༻͢Δ E = 1 N N ∑ n=1 (yn − tn) 2 E = − 1 N N ∑ n=1 K ∑ k=1 tnk log ynk
  25. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU  w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε

    ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
  26. ΦϓςΟϚΠβ w1 E w جຊతͳΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU  w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε

    ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
  27. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU  w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε

    ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
  28. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU  w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε

    ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
  29. ΦϓςΟϚΠβ w1 E w Α͘࢖͏ΦϓςΟϚΠβɿޯ഑߱Լ๏ ࠷ٸ߱Լ๏(SBEJFOU%FTDFOU  w ଛࣦؔ਺ͱ΢ΣΠτ ·ͨ͸όΠΞε

    ͷؔ܎͔Βɺޯ഑ΛٻΊΔɻ w ޯ഑ʹج͍ͮͯɺଛࣦؔ਺ͷ஋͕খ͘͞ͳΔํ޲ʹগͣͭ͠΢ΣΠτΛมߋ͢Δɻ
  30. ΦϓςΟϚΠβ w1 E w ࠷ऴతʹɺଛࣦؔ਺ͷ࠷খ஋ ۃখ஋ ʹऩଋ͢Δ·Ͱ܁Γฦ͢ɻ w ֶश཰গͣͭ͠΢ΣΠτΛมߋ͢Δׂ߹

  31. w ΢ΣΠτ͕ͭͷ৔߹͸ɺ࣍ݩ্ۭؒͷޯ഑ʹج͍ͮͯ΢ΣΠ τΛগͣͭ͠มԽͤ͞Δɻ ΦϓςΟϚΠβ

  32. w ޯ഑߱Լ๏͔ΒɺΑΓߴ౓ͳ࠷దԽख๏͕ఏҊ͞Ε͖ͯͨɻ w ݱࡏ͸ɺʮ"EBNʯ΍ʮ3.4QSPQʯͱݺ͹ΕΔ࠷దԽख๏Λ࢖͏͜ͱ͕ଟ ͍ɻ ΦϓςΟϚΠβ

  33. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ  σΟʔϓϥʔχϯάͷ࢓૊Έ  ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏  ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

  34. w શ݁߹૚Λ࢖ͬͯଟ૚ͷχϡʔϥϧωοτϫʔΫΛ࡞ͬͯ ΈΑ͏ ࠷ॳʹ࡞ͬͯΈΔϞσϧ ग़ྗ૚ શ݁߹૚ શ݁߹૚ ը૾σʔλ ฏ׈Խ૚

  35. ϋϯζΦϯ ΍ͬͯΈΑ͏

  36. w ϋϯζΦϯΛߦ͏ࡍͷ਽ܗͷϊʔτϒοΫ͕͋Γ·͢ͷͰɺ ͪ͜ΒΛར༻͢ΔͱศརͰ͢ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC w ಉࠝͷςΩετϒοΫ΋͝ࢀߟ͍ͩ͘͞ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET

    POCMPCNBTUFSLFSBT@IBOETPO@UFYUCPPLJQZOC ϋϯζΦϯ
  37. ࠓճͷ಺༰  ࠓճ࡞੒͢Δը૾෼ྨϋϯζΦϯͷ֓ཁ  σΟʔϓϥʔχϯάͷ࢓૊Έ  ,FSBTͰχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ͏  ,FSBTͰ৞ࠐΈχϡʔϥϧωοτϫʔΫΛߏஙͯ͠ΈΑ ͏

  38. ৞ࠐΈχϡʔϥϧωοτϫʔΫ $POWPMVUJPOBM/FVSBM/FUXPSL w ը૾ೝࣝɺ෺ମݕग़ͳͲΛಘҙͱ͢Δ w ৞ΈࠐΈ૚ $POWPMVUJPO-BZFS ɺϓʔϦϯά૚ 1PPMJOH-BZFS Ͱಛ௃நग़͠ɺग़ྗଆͷશ݁߹૚Ͱ෼ྨ

    w ৞ΈࠐΈ૚ͷϑΟϧλͷॏΈͱશ݁߹૚ͷॏΈֶ͕शʹΑͬ ܾͯఆ͞Ε͍ͯ͘
  39. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7

    8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
  40. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7

    8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
  41. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7

    8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
  42. ৞ΈࠐΈ૚ w ݩը૾͔ΒϑΟϧλΛ௨ͯ͠ಛ௃఺Λநग़ 1 2 3 4 5 6 7

    8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 0 1 0 1 1 1 0 1 0 35 40 45 60 ಛ௃Ϛοϓ͕ ੜ੒͞ΕΔ ೖྗ ϑΟϧλ
  43. ৞ΈࠐΈ૚ w ৞ΈࠐΈ૚͸ɺιʔϕϧϑΟϧλͷΑ͏ͳը૾ͷྠֲநग़ ͳͲɺը૾ͷಛ௃Λநग़͢Δɻ w طଘͷϑΟϧλɿϑΟϧλͷ܎਺ΛਓͷखͰઃఆ͢Δɻ w ৞ΈࠐΈ૚ͷϑΟϧλɿϑΟϧλͷ܎਺ΛֶशʹΑͬͯࣗ ಈతʹઃఆ͢Δɻ -1

    0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 2 1 ιʔϕϧϑΟϧλ
  44. ϓʔϦϯά૚ w ೖྗσʔλΛѻ͍΍͍͢ܗʹ͢Δ w ඍখͳҐஔมԽʹڧ͘ͳͬͨΓɺաֶशΛ཈͑ͨΓɺܭ ࢉίετΛ཈͑ͨΓ w .BY1PPMJOH΍"WFSBHF1PPMJOHͳͲ͕͋Δ 1 2

    3 4 6 7 8 9 11 12 13 14 16 17 18 19 ೖྗ 7 9 17 19 .BY1PPMJOH
  45. w ৞ΈࠐΈ૚૚ɺϓʔϦϯά૚૚Λલஈʹ ࣍ʹ࡞ͬͯΈΔϞσϧ ৞ΈࠐΈ૚ શ݁߹૚ ϓʔϦϯά૚ ฏ׈Խ૚

  46. ϋϯζΦϯ ΍ͬͯΈΑ͏

  47. w ઌ΄Ͳ࢖༻ͨ͠਽ܗͷϊʔτϒοΫΛमਖ਼ͯ͠ɺ$//Λ ߏஙͯ͠Έ·͠ΐ͏ɻ w IUUQTHJUIVCDPNLBTBDDIJGVMLFSBTDOOIBOET POCMPCNBTUFSDOO@FYFSDJTF@UFNQMBUFJQZOC ϋϯζΦϯ

  48. ิ଍

  49. 7(( w 7JTVBM(FPNFUSZ(SPVQ͕࡞੒ͨ͠$// w *-473$Ͱ࢖ΘΕͨɺΫϥεͷը૾෼ྨΛߦ͏ w *-473$ʹͯɺ෼ྨޡΓ཰ w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚ w

    ߏ଄͕Θ͔Γ΍͍͢
  50. w ৞ΈࠐΈ૚૚ɺશ݁߹૚૚ w ೖྗ͸ɺºͷνϟϯωϧ 3(# 7((ͷߏ଄ ৞ΈࠐΈ૚ ϓʔϦϯά૚ શ݁߹૚