Deep Learning Chapter 6

Transcript

1. ਂ૚ֶश ୈⅡ෦ྠಡձ #01 ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ @mocobt

2. Agenda ։࠵֓ཁ (7min) ࣗݾ঺հ (8min) ୈ6ষղઆ (30min) ୈ7ষղઆ (60min) ୲౰ܾΊ

   (10min) ఫऩ (5min)

3. ྠಡձ ։࠵֓ཁ ಈػ • ਂ૚ֶशΛجૅ͔ΒԠ༻·Ͱ཈͑ͨ༗໊ຊͳͷͰ΍ͬͺΓಡΈ͍ͨ • ෳ਺ਓͰճ͠ಡΈͯ͠ύύͬͱऴΘΒͤͪΌ͓͏ʂʂ ໨త: ຊͷྲྀΕΛ௫ΈɼҰਓͰಡΜͩͱ͖ʹԿ͕ॻ͍ͯ͋Δ͔ཧղͰ͖ΔΑ͏ʹͳΔ ର৅

   • ػցֶशʹڵຯ͕͋Δਓɼਂ૚ֶशͷཧ࿦Λֶͼ͍ͨਓ • ॳֶऀͱަྲྀ͢Δ͜ͱͰ৽ͨͳؾ͖ͮΛಘ͍ͨਓ (׻ܴ) ࢀՃඅ༻ʹ͍ͭͯ • ৔ॴ୅͕େମ10,000ԁͳͷͰɼࢀՃਓ਺͕10ਓͷͱ͖ۉ౳ʹͳΔΑ͏ʹ͍ͯ͠·͢ (ඇӦར)

4. ྠಡձ ਐΊํ • 1ճʹ͖ͭ1ষ͔Β2ষΛਐΊ͍ͯ͘ • 1ষ͕ͦͦ͜͜ॏ͍ͷͰɼඞཁʹԠͯ͡ෳ਺ਓͰ୲౰͢Δ • ୲౰ऀ͕ॏཁͱࢥͬͨՕॴΛϐοΫΞοϓ͢Δ - ֤ϖʔδͰԿ͕ॻ͍͔ͯ͋ͬͨΛ؆୯ʹ·ͱΊΔ

   - ແཧʹશͯ௥Θͳͯ͘OK - Θ͔Βͳ͍͜ͱ͸ʮΘ͔Γ·ͤΜͰͨ͠ʯͰOK - ΋ͪΖΜ׬ᘳʹ௥͍͚ͬͯͨͩΔͱେมॿ͔Γ·͢ʂ • Α΄Ͳͷࣄ৘͕ͳ͍ݶΓɼ୲౰ऀͷυλΩϟϯ͸͓߇͍͑ͩ͘͞

5. • ୈ6ষ: ਂ૚ॱ఻೻ܕωοτϫʔΫ • ୈ7ষ: ਂ૚ֶशͷͨΊͷਖ਼ଇԽ • ୈ8ষ: ਂ૚Ϟσϧͷ܇࿅ͷͨΊͷ࠷దԽ •

   ୈ9ষ: ৞ΈࠐΈωοτϫʔΫ • ୈ10ষ: ܥྻϞσϦϯά: ճؼ݁߹ܕχϡʔϥϧωοτϫʔΫͱ࠶ؼܕωοτϫʔΫ • ୈ11ষ: ࣮༻తͳํ๏࿦ • ୈ12ষ: ΞϓϦέʔγϣϯ ୈⅡষͷུ֓

6. ࣗݾ঺հλΠϜ

7. • OpticsدΓͷCV & CGܥR&D - ۙʑത࢜՝ఔߦ͖͍ͨ# • Kaggle Expert •

   NN͸࠶࣮૷ͱएׯͷվྑ͕Ͱ͖Δఔ౓ About me @mocobt

8. ҎԼɼ୲౰෼ୈ6ষ

9. ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ • ͋Β͢͡ • 6.1 ྫ: XORͷֶश • 6.2

   ޯ഑ʹجֶͮ͘श • 6.3 ӅΕϢχοτ • 6.4 ΞʔΩςΫνϟͷઃܭ • 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ • 6.6 ྺ࢙ϊʔτ !9

10. ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ • ͋Β͢͡ • 6.1 ྫ: XORͷֶश • 6.2

    ޯ഑ʹجֶͮ͘श • 6.3 ӅΕϢχοτ • 6.4 ΞʔΩςΫνϟͷઃܭ • 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ • 6.6 ྺ࢙ϊʔτ !10 লུ ͻͨ͢Βఆٛ ͪΐͬͱ಄࢖͏ (ͱ͍͏͔௥͍͖Εͳ͍)

11. ਂ૚ॱ఻೻ܕωοτϫʔΫ (feedforward NNs) • ͋Δؔ਺ͷۙࣅ͢ΔϞσϧ - ex. ೖྗը૾Λ͋ΔΧςΰϦ΁ࣸ૾͢Δؔ਺ͷۙࣅ - ଟ૚ύʔηϓτϩϯ

    (multilayer perceptrons, MLP)ͱ΋ݺ͹ΕΔ • ॱ఻೻: ೖྗ͔Βग़ྗ΁ͱதؒతͳܭࢉΛධՁ͢Δ͜ͱ • ؔ਺ͷ૊Έ߹ΘͤΛ༗޲ඇ८ճάϥϑͰදݱͰ͖ΔͨΊɼωοτϫʔΫͱ͍͏ ͋Β͢͡ !11

12. ૚(Layer)ͱϢχοτ(Units) ͋Β͢͡ Layer Unit (≒ԋࢉࢠ) Output layer ؔ਺ࣗମΛLayerͱࢦ͢ྲྀ೿΋͋Δ໛༷ (͜͜Ͱ͸ؔ਺ͷग़ྗ) !12

    Hidden layer

13. XORΛNNͰදݱ 6.1 ྫ: XORͷֶश !13 x0 x1 y=XOR(X0, X1) 0

    0 0 0 1 1 1 0 1 1 1 0 NNͰඇઢܗͳXORΛදݱͰ͖͍ͯΔ͜ͱ͕Θ͔Δ

14. NNͷඇઢܗੑ 6.1 ྫ: XORͷֶश !14 ΞϑΟϯม׵Ͱ͸ඇઢܗੑΛදݱͰ͖ͳ͍ͷͰɼ׆ੑԽؔ਺Λಋೖ

15. ޯ഑ʹجֶͮ͘श • NN͸ඇઢܗੑΏ͑ʹଛࣦؔ਺͕ඇತʹͳΓɼ࠷దղΛղੳతʹಋग़Ͱ͖ͳ͍ - ଛࣦؔ਺: ϥϕϧ(ਅ஋)ͱग़ྗͷޡࠩΛදؔ͢਺ • ޯ഑Λ༻͍ͯ਺஋ܭࢉతʹಋग़͢Δͷ͕Ұൠత (ͨͩ͠ऩଋੑͷอূͳ͠) 6.2

    ޯ഑ʹجֶͮ͘श !15 ্ʹತ Լʹತ ඇತ

16. 6.2.1 ίετؔ਺ • NNͰ࢖͏ίετؔ਺͸ଞͷύϥϝτϦοΫϞσϧͷ΋ͷͱେମಉ͡ ࠷໬ਪఆʹΑΔ৚݅෇͖෼෍ͷֶश • ΄ͱΜͲͷNN͸࠷໬๏ϕʔε • e.g.) ܇࿅σʔλͱϞσϧͷؒͷަࠩΤϯτϩϐʔΛίετؔ਺ͱͯ͠ఆٛ

    • ɹɹ ͳΒ͹ɼฏۉೋ৐ޡࠩͷίετؔ਺͸ҎԼͷΑ͏ʹͳΔ 6.2 ޯ഑ʹجֶͮ͘श !16

17. 6.2.2 ઢܗϢχοτ • ΞϑΟϯม׵ʹجͮ͘ઢܗͳϢχοτ • ৚݅෇͖Ψ΢ε෼෍ͷฏۉΛग़ྗ͢Δ͜ͱ͕ଟ͍ 6.2 ޯ഑ʹجֶͮ͘श !17 ೖྗಛ௃ྔ

18. 6.2.2 γάϞΠυϢχοτ • 2Ϋϥε෼ྨ໰୊ʹ͓͍ͯ1Ͱ͋Δ֬཰Λग़ྗ͢ΔϢχοτ • γάϞΠυม׵ʹΑͬͯϕϧψʔΠ෼෍(ίΠϯ౤͛ͷ෼෍)͕ಘΒΕΔ • ର਺ۭؒͰͷ֬཰Λ༧ଌ͢ΔͨΊɼ࠷໬ֶशͱ૊Έ߹ΘͤΔ͜ͱ͕ଟ͍ - ίετؔ਺தͷର਺ͱsigmoidͷࢦ਺͕ޓ͍ʹଧͪফ͠߹͏ར఺͕͋Δ

    (ޯ഑ফࣦ͠ʹ͍͘) - ฏۉೋ৐ޡࠩͷΑ͏ͳଞͷଛࣦؔ਺ͱ૊Έ߹ΘͤΔͱɼֶश͕ਐΈʹ͘͘ͳͬͯ͠·͏ 6.2 ޯ഑ʹجֶͮ͘श !18 ϩδεςΟοΫγάϞΠυؔ਺ → 3.10અ

19. 6.2.2 ιϑτϚοΫεϢχοτ • nݸͷΫϥεʹର͢Δ֬཰෼෍(ΧςΰϦΧϧ෼෍)Λදݱ͢ΔϢχοτ • γάϞΠυϢχοτΛ2Ϋϥε͔ΒnΫϥε΁ҰൠԽ͍ͯ͠Δ • ͋ΔΫϥεͷग़ྗ͕େ͖͘ͳΔͱଞΫϥεͷग़ྗ͸খ͘͞ͳΔ (૯࿨͸1) •

    γάϞΠυϢχοτͱಉ༷ʹίετؔ਺ʹର਺໬౓Λ༻͍Δͱྑ͍ 6.2 ޯ഑ʹجֶͮ͘श !19

20. ӅΕϢχοτ ࠔͬͨΒ׆ੑԽؔ਺͸ReLU࢖ͬͱ͚͹OKʂ 6.3 ӅΕϢχοτ !20

21. ReLUͱͦͷҰൠԽ • ReLUͷಛ௃ • ઢܗؔ਺ͱΑ͘ࣅ͍ͯΔͨΊ࠷దԽ͠΍͍͢ • ޯ഑ফࣦ͕ੜ͡ʹ͍͘ • ReLuͷҰൠԽ •

    Absolute value rectification: → ෺ମೝࣝʹར༻ • Leaky ReLU: • Parametric ReLU (PReLU): ΛֶशՄೳͳύϥϝλͱͯ͠ѻ͏ 6.3 ӅΕϢχοτ !21

22. ϚοΫεΞ΢τϢχοτ • ReLUΛ͞ΒʹҰൠԽͨ͠Ϣχοτ • ೖྗzΛkݸͷ஋ͷάϧʔϓʹ෼ׂ͠ɼ֤ϢχοτͰάϧʔϓຖͷ࠷େ஋Λग़ྗ • k=1ͷͱ͖͸ReLUͱಉ஋ • ೚ҙͷತؔ਺ΛۙࣅՄೳͰɼաڈͷֶश಺༰Λ๨٫͢Δ͜ͱʹରͯ͠৑௕ੑ͋Γ •

    ͨͩͦͷ෼աֶश͠΍ͦ͢͏…ʁ 6.3 ӅΕϢχοτ !22 άϧʔϓi (֤άϧʔϓʹ͸kݸͷཁૉ͕ଘࡏ)

23. ϩδεςΟοΫγάϞΠυͱϋΠύϘϦοΫλϯδΣϯτ • ReLUొ৔Ҏલʹ࢖ΘΕ͍ͯͨ׆ੑԽؔ਺ • ࠷໬๏ͱ૊Έ߹ΘͤΔ౳ͷࢦ਺࡟আͷ޻෉Λ͠ͳ͍ͱޯ഑͕ফ͑ΔͨΊඇਪ঑ • ϋΠύϘϦοΫλϯδΣϯτ͸߃౳ؔ਺ʹ͍ۙͷͰ·ͩ࢖͍΍͍͢ • Ͱ΋ɼ͋Μ·Γݟͳ͍… 6.3

    ӅΕϢχοτ !23 ϩδεςΟοΫγάϞΠυ ϋΠύϘϦοΫλϯδΣϯτ 6.3.3Ͱଞʹ΋৭ʑ঺հ͞Ε͍͕ͯͨɼ͋·Γݟ͔͚ͳ͍ͷͰলུ

24. ΞʔΩςΫνϟͷઃܭ • ΞʔΩςΫνϟ: Ϣχοτͷ਺΍૊߹ͤɼωοτϫʔΫશମͷߏ଄ͷҙ • ສೳۙࣅఆཧ(universal approximation theorem): • ׆ੑԽؔ਺͕গͳ͘ͱ΋1ؚͭ·ΕΔे෼ʹਂ͍NN͸೚ҙؔ਺ΛۙࣅՄೳ

    • දݱͰ͖Δ͜ͱ͸อূ͞Ε͍ͯΔ͕ɼֶशͰ͖Δ͔Ͳ͏͔͸อূ͞Ε͍ͯͳ͍ • ͦ΋ͦ΋ͲΕ͚ͩਂ͚Ε͹ྑ͍͔΋ෆ໌ • ૚͸࿈࠯తʹͭͳ͛Δͷ͕Ұൠత͕ͩɼεΩοϓ͢ΔΞʔΩςΫνϟ΋ଟ͍ • …ͱ͍͏͔࠷ۙͷΞʔΩςΫνϟ͸جຊͦΜͳײ͡… 6.4 ΞʔΩςΫνϟͷઃܭ !24 ʮਂ͚Ε͹දݱͷ෯͸޿·Δ͕໰୊఺΋͋Δʯ͜ͱΛ৑௕ʹड़΂͍ͯΔ

25. ޡࠩٯ఻೻๏ • ॱ఻೻: ೖྗ͕࠷ॳͷ৘ใͱͳΓɼӅΕ૚ʹ఻Θͬͯ࠷ऴతʹग़ྗΛੜ੒͢Δ͜ͱ • NN͸ɼεΧϥʔ஋ͷଛࣦΛಘΔ·Ͱॱ఻೻͠ଓ͚Δ • ޡࠩٯ఻೻๏: ଛࣦ͔Βٯ޲͖ʹޯ഑Λܭࢉ͢Δ͜ͱ •

    ͋͘·Ͱޯ഑ܭࢉख๏ͰɼֶशΞϧΰϦζϜΛࢦ͢Θ͚Ͱ͸ͳ͍ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !25 ޯ഑ਖ਼ ޯ഑ෛ ޯ഑0 ޯ഑͕0ʹݶΓͳ͍ۙ͘ → ࠷దղ͕ಘΒΕΔ ਤ͸͋͘·ͰΠϝʔδͰ͢

26. ४උ: ܭࢉάϥϑ • ޡࠩٯ఻೻๏Λઆ໌͢Δʹ͸༗޲ܭࢉάϥϑ͕ศར • ล͕ԋࢉʹରԠ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !26

27. ඍੵ෼ͷ࿈࠯཯ • Ͱ Ͱ͋Δͱ͖ɼ ҎԼ͕੒ཱ • ҰൠԽ: Ͱ ͷͱ͖ҎԼ͕੒ཱ •

    Ұൠܗ͸ҎԼͷΑ͏ʹ΋ॻ͚Δ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !27

28. ޡࠩٯ఻೻ͷͨΊͷ࿈࠯཯ͷ࠶ؼతͳద༻ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !28 ஞ࣍ޯ഑ܭࢉ → Algorithm 6.1 ಉ͡ܭࢉ݁ՌΛอ࣋ͯ͠దٓ׆͔͢ →

    Algorithm 6.2

29. Algorithm 6.1 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !29 ෳࡶʹݟ͑Δ͕ɼ˘෦෼ΛҰൠԽ͍ͯ͠Δ͚ͩ

30. Algorithm 6.2 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !30 ෳࡶʹݟ͑Δ͕ɼ˘෦෼ΛҰൠԽ͍ͯ͠Δ͚ͩ

31. શ݁߹MLPͰॱ఻೻ͱଛࣦؔ਺ͷܭࢉ Algorithm 6.3 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !31 ઢܗϢχοτ & ׆ੑԽؔ਺ ଛࣦؔ਺ͷܭࢉ

32. શ݁߹MLPͰͷޡࠩٯ఻೻๏ Algorithm 6.4 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !32 ֤εςοϓͰޯ഑ܭࢉͯ͠Δ͚ͩ

33. γϯϘϧؒͷඍ෼ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !33 • γϯϘϦοΫදݱ: ୅਺΍άϥϑʹجͮ͘දݱ • NNͰ͸ɼಛఆͷ஋Λ࣋ͨͳ͍γϯϘϧ΍ม਺ʹରͯ͠ԋࢉΛ࣮ࢪ •

    ҎԼͰ͸ඍ෼ͷදݱΛ༩͑ΔϊʔυΛάϥϑʹ௥Ճ͢Δํ๏Ͱޡࠩٯ఻೻๏ΛҰൠԽ

34. Ұൠతͳޡࠩٯ఻೻๏ Algorithm 6.5 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !34 ܭࢉάϥϑʹҰൠԽ ஞ࣍తʹඍ෼ͷγϯϘϦοΫදݱΛάϥϑʹ௥Ճ

35. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !35

36. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !36 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ

37. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !37 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ ॏΈݮਰํ޲ͷW(i)ͷޯ഑΁ͷد༩ ਖ਼ଇԽ߲(ॏΈݮਰ߲)

38. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !38 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ ॏΈݮਰํ޲ͷW(i)ͷޯ഑΁ͷد༩ ަࠩΤϯτϩϐʔํ޲ͷW(i)ͷޯ഑΁ͷد༩ (cross_entropyͰఏڙ͞ΕΔޯ഑ΛGͱ͢Δ) ਖ਼ଇԽ߲(ॏΈݮਰ߲)

    ReLUͷٯ఻೻Λߟྀͨ͠ޯ഑

39. ·ͱΊ • ઢܗϢχοτ+׆ੑԽؔ਺Λ૊Έ߹ΘͤΕ͹NNͰ೚ҙͷؔ਺ΛදݱՄೳ - ઢܗϢχοτ: Ψ΢ε෼෍ʹجͮ͘ग़ྗ - γάϞΠυϢχοτ: ϕϧψʔΠ෼෍ʹجͮ͘ग़ྗ -

    ιϑτϚοΫεϢχοτ: ΧςΰϦΧϧ෼෍ʹجͮ͘ग़ྗ - ׆ੑԽؔ਺͸ࠔͬͨΒReLUΛ࢖͑͹OK • NNͰදݱ͞ΕΔؔ਺͸ඇઢܗؔ਺ͳͷͰɼղੳతʹ࠷దղΛಋग़Ͱ͖ͳ͍ • ͦ͜Ͱɼޯ഑Λ༻͍ͯ਺஋ܭࢉతʹಋग़͢Δ (ͨͩ͠ہॴ࠷దղʹؕΔՄೳੑ͋Γ) • ޯ഑ΛٻΊΔࡍʹ͸ඍ෼ͷ࿈࠯཯ʹج͍ͮͨޡࠩٯ఻೻๏Λར༻͢Δͱྑ͍ !39