Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Deep Learning Chapter 6

E2dd989b2ba0f83d8a981b9cb3197bf1?s=47 mocobt
August 06, 2019

Deep Learning Chapter 6

Japanese Explanation of Chapter 6 of Deep Learning, including the outline of book reading

E2dd989b2ba0f83d8a981b9cb3197bf1?s=128

mocobt

August 06, 2019
Tweet

Transcript

  1. ਂ૚ֶश ୈⅡ෦ྠಡձ #01 ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ @mocobt

  2. Agenda ։࠵֓ཁ (7min) ࣗݾ঺հ (8min) ୈ6ষղઆ (30min) ୈ7ষղઆ (60min) ୲౰ܾΊ

    (10min) ఫऩ (5min)
  3. ྠಡձ ։࠵֓ཁ ಈػ • ਂ૚ֶशΛجૅ͔ΒԠ༻·Ͱ཈͑ͨ༗໊ຊͳͷͰ΍ͬͺΓಡΈ͍ͨ • ෳ਺ਓͰճ͠ಡΈͯ͠ύύͬͱऴΘΒͤͪΌ͓͏ʂʂ ໨త: ຊͷྲྀΕΛ௫ΈɼҰਓͰಡΜͩͱ͖ʹԿ͕ॻ͍ͯ͋Δ͔ཧղͰ͖ΔΑ͏ʹͳΔ ର৅

    • ػցֶशʹڵຯ͕͋Δਓɼਂ૚ֶशͷཧ࿦Λֶͼ͍ͨਓ • ॳֶऀͱަྲྀ͢Δ͜ͱͰ৽ͨͳؾ͖ͮΛಘ͍ͨਓ (׻ܴ) ࢀՃඅ༻ʹ͍ͭͯ • ৔ॴ୅͕େମ10,000ԁͳͷͰɼࢀՃਓ਺͕10ਓͷͱ͖ۉ౳ʹͳΔΑ͏ʹ͍ͯ͠·͢ (ඇӦར)
  4. ྠಡձ ਐΊํ • 1ճʹ͖ͭ1ষ͔Β2ষΛਐΊ͍ͯ͘ • 1ষ͕ͦͦ͜͜ॏ͍ͷͰɼඞཁʹԠͯ͡ෳ਺ਓͰ୲౰͢Δ • ୲౰ऀ͕ॏཁͱࢥͬͨՕॴΛϐοΫΞοϓ͢Δ - ֤ϖʔδͰԿ͕ॻ͍͔ͯ͋ͬͨΛ؆୯ʹ·ͱΊΔ

    - ແཧʹશͯ௥Θͳͯ͘OK - Θ͔Βͳ͍͜ͱ͸ʮΘ͔Γ·ͤΜͰͨ͠ʯͰOK - ΋ͪΖΜ׬ᘳʹ௥͍͚ͬͯͨͩΔͱେมॿ͔Γ·͢ʂ • Α΄Ͳͷࣄ৘͕ͳ͍ݶΓɼ୲౰ऀͷυλΩϟϯ͸͓߇͍͑ͩ͘͞
  5. • ୈ6ষ: ਂ૚ॱ఻೻ܕωοτϫʔΫ • ୈ7ষ: ਂ૚ֶशͷͨΊͷਖ਼ଇԽ • ୈ8ষ: ਂ૚Ϟσϧͷ܇࿅ͷͨΊͷ࠷దԽ •

    ୈ9ষ: ৞ΈࠐΈωοτϫʔΫ • ୈ10ষ: ܥྻϞσϦϯά: ճؼ݁߹ܕχϡʔϥϧωοτϫʔΫͱ࠶ؼܕωοτϫʔΫ • ୈ11ষ: ࣮༻తͳํ๏࿦ • ୈ12ষ: ΞϓϦέʔγϣϯ ୈⅡষͷུ֓
  6. ࣗݾ঺հλΠϜ

  7. • OpticsدΓͷCV & CGܥR&D - ۙʑത࢜՝ఔߦ͖͍ͨ# • Kaggle Expert •

    NN͸࠶࣮૷ͱएׯͷվྑ͕Ͱ͖Δఔ౓ About me @mocobt
  8. ҎԼɼ୲౰෼ୈ6ষ

  9. ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ • ͋Β͢͡ • 6.1 ྫ: XORͷֶश • 6.2

    ޯ഑ʹجֶͮ͘श • 6.3 ӅΕϢχοτ • 6.4 ΞʔΩςΫνϟͷઃܭ • 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ • 6.6 ྺ࢙ϊʔτ !9
  10. ୈ6ষ ਂ૚ॱ఻೻ܕωοτϫʔΫ • ͋Β͢͡ • 6.1 ྫ: XORͷֶश • 6.2

    ޯ഑ʹجֶͮ͘श • 6.3 ӅΕϢχοτ • 6.4 ΞʔΩςΫνϟͷઃܭ • 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ • 6.6 ྺ࢙ϊʔτ !10 লུ ͻͨ͢Βఆٛ ͪΐͬͱ಄࢖͏ (ͱ͍͏͔௥͍͖Εͳ͍)
  11. ਂ૚ॱ఻೻ܕωοτϫʔΫ (feedforward NNs) • ͋Δؔ਺ͷۙࣅ͢ΔϞσϧ - ex. ೖྗը૾Λ͋ΔΧςΰϦ΁ࣸ૾͢Δؔ਺ͷۙࣅ - ଟ૚ύʔηϓτϩϯ

    (multilayer perceptrons, MLP)ͱ΋ݺ͹ΕΔ • ॱ఻೻: ೖྗ͔Βग़ྗ΁ͱதؒతͳܭࢉΛධՁ͢Δ͜ͱ • ؔ਺ͷ૊Έ߹ΘͤΛ༗޲ඇ८ճάϥϑͰදݱͰ͖ΔͨΊɼωοτϫʔΫͱ͍͏ ͋Β͢͡ !11
  12. ૚(Layer)ͱϢχοτ(Units) ͋Β͢͡ Layer Unit (≒ԋࢉࢠ) Output layer ؔ਺ࣗମΛLayerͱࢦ͢ྲྀ೿΋͋Δ໛༷ (͜͜Ͱ͸ؔ਺ͷग़ྗ) !12

    Hidden layer
  13. XORΛNNͰදݱ 6.1 ྫ: XORͷֶश !13 x0 x1 y=XOR(X0, X1) 0

    0 0 0 1 1 1 0 1 1 1 0 NNͰඇઢܗͳXORΛදݱͰ͖͍ͯΔ͜ͱ͕Θ͔Δ
  14. NNͷඇઢܗੑ 6.1 ྫ: XORͷֶश !14 ΞϑΟϯม׵Ͱ͸ඇઢܗੑΛදݱͰ͖ͳ͍ͷͰɼ׆ੑԽؔ਺Λಋೖ

  15. ޯ഑ʹجֶͮ͘श • NN͸ඇઢܗੑΏ͑ʹଛࣦؔ਺͕ඇತʹͳΓɼ࠷దղΛղੳతʹಋग़Ͱ͖ͳ͍ - ଛࣦؔ਺: ϥϕϧ(ਅ஋)ͱग़ྗͷޡࠩΛදؔ͢਺ • ޯ഑Λ༻͍ͯ਺஋ܭࢉతʹಋग़͢Δͷ͕Ұൠత (ͨͩ͠ऩଋੑͷอূͳ͠) 6.2

    ޯ഑ʹجֶͮ͘श !15 ্ʹತ Լʹತ ඇತ
  16. 6.2.1 ίετؔ਺ • NNͰ࢖͏ίετؔ਺͸ଞͷύϥϝτϦοΫϞσϧͷ΋ͷͱେମಉ͡ ࠷໬ਪఆʹΑΔ৚݅෇͖෼෍ͷֶश • ΄ͱΜͲͷNN͸࠷໬๏ϕʔε • e.g.) ܇࿅σʔλͱϞσϧͷؒͷަࠩΤϯτϩϐʔΛίετؔ਺ͱͯ͠ఆٛ

    • ɹɹ ͳΒ͹ɼฏۉೋ৐ޡࠩͷίετؔ਺͸ҎԼͷΑ͏ʹͳΔ 6.2 ޯ഑ʹجֶͮ͘श !16
  17. 6.2.2 ઢܗϢχοτ • ΞϑΟϯม׵ʹجͮ͘ઢܗͳϢχοτ • ৚݅෇͖Ψ΢ε෼෍ͷฏۉΛग़ྗ͢Δ͜ͱ͕ଟ͍ 6.2 ޯ഑ʹجֶͮ͘श !17 ೖྗಛ௃ྔ

  18. 6.2.2 γάϞΠυϢχοτ • 2Ϋϥε෼ྨ໰୊ʹ͓͍ͯ1Ͱ͋Δ֬཰Λग़ྗ͢ΔϢχοτ • γάϞΠυม׵ʹΑͬͯϕϧψʔΠ෼෍(ίΠϯ౤͛ͷ෼෍)͕ಘΒΕΔ • ର਺ۭؒͰͷ֬཰Λ༧ଌ͢ΔͨΊɼ࠷໬ֶशͱ૊Έ߹ΘͤΔ͜ͱ͕ଟ͍ - ίετؔ਺தͷର਺ͱsigmoidͷࢦ਺͕ޓ͍ʹଧͪফ͠߹͏ར఺͕͋Δ

    (ޯ഑ফࣦ͠ʹ͍͘) - ฏۉೋ৐ޡࠩͷΑ͏ͳଞͷଛࣦؔ਺ͱ૊Έ߹ΘͤΔͱɼֶश͕ਐΈʹ͘͘ͳͬͯ͠·͏ 6.2 ޯ഑ʹجֶͮ͘श !18 ϩδεςΟοΫγάϞΠυؔ਺ → 3.10અ
  19. 6.2.2 ιϑτϚοΫεϢχοτ • nݸͷΫϥεʹର͢Δ֬཰෼෍(ΧςΰϦΧϧ෼෍)Λදݱ͢ΔϢχοτ • γάϞΠυϢχοτΛ2Ϋϥε͔ΒnΫϥε΁ҰൠԽ͍ͯ͠Δ • ͋ΔΫϥεͷग़ྗ͕େ͖͘ͳΔͱଞΫϥεͷग़ྗ͸খ͘͞ͳΔ (૯࿨͸1) •

    γάϞΠυϢχοτͱಉ༷ʹίετؔ਺ʹର਺໬౓Λ༻͍Δͱྑ͍ 6.2 ޯ഑ʹجֶͮ͘श !19
  20. ӅΕϢχοτ ࠔͬͨΒ׆ੑԽؔ਺͸ReLU࢖ͬͱ͚͹OKʂ 6.3 ӅΕϢχοτ !20

  21. ReLUͱͦͷҰൠԽ • ReLUͷಛ௃ • ઢܗؔ਺ͱΑ͘ࣅ͍ͯΔͨΊ࠷దԽ͠΍͍͢ • ޯ഑ফࣦ͕ੜ͡ʹ͍͘ • ReLuͷҰൠԽ •

    Absolute value rectification: → ෺ମೝࣝʹར༻ • Leaky ReLU: • Parametric ReLU (PReLU): ΛֶशՄೳͳύϥϝλͱͯ͠ѻ͏ 6.3 ӅΕϢχοτ !21
  22. ϚοΫεΞ΢τϢχοτ • ReLUΛ͞ΒʹҰൠԽͨ͠Ϣχοτ • ೖྗzΛkݸͷ஋ͷάϧʔϓʹ෼ׂ͠ɼ֤ϢχοτͰάϧʔϓຖͷ࠷େ஋Λग़ྗ • k=1ͷͱ͖͸ReLUͱಉ஋ • ೚ҙͷತؔ਺ΛۙࣅՄೳͰɼաڈͷֶश಺༰Λ๨٫͢Δ͜ͱʹରͯ͠৑௕ੑ͋Γ •

    ͨͩͦͷ෼աֶश͠΍ͦ͢͏…ʁ 6.3 ӅΕϢχοτ !22 άϧʔϓi (֤άϧʔϓʹ͸kݸͷཁૉ͕ଘࡏ)
  23. ϩδεςΟοΫγάϞΠυͱϋΠύϘϦοΫλϯδΣϯτ • ReLUొ৔Ҏલʹ࢖ΘΕ͍ͯͨ׆ੑԽؔ਺ • ࠷໬๏ͱ૊Έ߹ΘͤΔ౳ͷࢦ਺࡟আͷ޻෉Λ͠ͳ͍ͱޯ഑͕ফ͑ΔͨΊඇਪ঑ • ϋΠύϘϦοΫλϯδΣϯτ͸߃౳ؔ਺ʹ͍ۙͷͰ·ͩ࢖͍΍͍͢ • Ͱ΋ɼ͋Μ·Γݟͳ͍… 6.3

    ӅΕϢχοτ !23 ϩδεςΟοΫγάϞΠυ ϋΠύϘϦοΫλϯδΣϯτ 6.3.3Ͱଞʹ΋৭ʑ঺հ͞Ε͍͕ͯͨɼ͋·Γݟ͔͚ͳ͍ͷͰলུ
  24. ΞʔΩςΫνϟͷઃܭ • ΞʔΩςΫνϟ: Ϣχοτͷ਺΍૊߹ͤɼωοτϫʔΫશମͷߏ଄ͷҙ • ສೳۙࣅఆཧ(universal approximation theorem): • ׆ੑԽؔ਺͕গͳ͘ͱ΋1ؚͭ·ΕΔे෼ʹਂ͍NN͸೚ҙؔ਺ΛۙࣅՄೳ

    • දݱͰ͖Δ͜ͱ͸อূ͞Ε͍ͯΔ͕ɼֶशͰ͖Δ͔Ͳ͏͔͸อূ͞Ε͍ͯͳ͍ • ͦ΋ͦ΋ͲΕ͚ͩਂ͚Ε͹ྑ͍͔΋ෆ໌ • ૚͸࿈࠯తʹͭͳ͛Δͷ͕Ұൠత͕ͩɼεΩοϓ͢ΔΞʔΩςΫνϟ΋ଟ͍ • …ͱ͍͏͔࠷ۙͷΞʔΩςΫνϟ͸جຊͦΜͳײ͡… 6.4 ΞʔΩςΫνϟͷઃܭ !24 ʮਂ͚Ε͹දݱͷ෯͸޿·Δ͕໰୊఺΋͋Δʯ͜ͱΛ৑௕ʹड़΂͍ͯΔ
  25. ޡࠩٯ఻೻๏ • ॱ఻೻: ೖྗ͕࠷ॳͷ৘ใͱͳΓɼӅΕ૚ʹ఻Θͬͯ࠷ऴతʹग़ྗΛੜ੒͢Δ͜ͱ • NN͸ɼεΧϥʔ஋ͷଛࣦΛಘΔ·Ͱॱ఻೻͠ଓ͚Δ • ޡࠩٯ఻೻๏: ଛࣦ͔Βٯ޲͖ʹޯ഑Λܭࢉ͢Δ͜ͱ •

    ͋͘·Ͱޯ഑ܭࢉख๏ͰɼֶशΞϧΰϦζϜΛࢦ͢Θ͚Ͱ͸ͳ͍ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !25 ޯ഑ਖ਼ ޯ഑ෛ ޯ഑0 ޯ഑͕0ʹݶΓͳ͍ۙ͘ → ࠷దղ͕ಘΒΕΔ ਤ͸͋͘·ͰΠϝʔδͰ͢
  26. ४උ: ܭࢉάϥϑ • ޡࠩٯ఻೻๏Λઆ໌͢Δʹ͸༗޲ܭࢉάϥϑ͕ศར • ล͕ԋࢉʹରԠ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !26

  27. ඍੵ෼ͷ࿈࠯཯ • Ͱ Ͱ͋Δͱ͖ɼ ҎԼ͕੒ཱ • ҰൠԽ: Ͱ ͷͱ͖ҎԼ͕੒ཱ •

    Ұൠܗ͸ҎԼͷΑ͏ʹ΋ॻ͚Δ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !27
  28. ޡࠩٯ఻೻ͷͨΊͷ࿈࠯཯ͷ࠶ؼతͳద༻ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !28 ஞ࣍ޯ഑ܭࢉ → Algorithm 6.1 ಉ͡ܭࢉ݁ՌΛอ࣋ͯ͠దٓ׆͔͢ →

    Algorithm 6.2
  29. Algorithm 6.1 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !29 ෳࡶʹݟ͑Δ͕ɼ˘෦෼ΛҰൠԽ͍ͯ͠Δ͚ͩ

  30. Algorithm 6.2 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !30 ෳࡶʹݟ͑Δ͕ɼ˘෦෼ΛҰൠԽ͍ͯ͠Δ͚ͩ

  31. શ݁߹MLPͰॱ఻೻ͱଛࣦؔ਺ͷܭࢉ Algorithm 6.3 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !31 ઢܗϢχοτ & ׆ੑԽؔ਺ ଛࣦؔ਺ͷܭࢉ

  32. શ݁߹MLPͰͷޡࠩٯ఻೻๏ Algorithm 6.4 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !32 ֤εςοϓͰޯ഑ܭࢉͯ͠Δ͚ͩ

  33. γϯϘϧؒͷඍ෼ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !33 • γϯϘϦοΫදݱ: ୅਺΍άϥϑʹجͮ͘දݱ • NNͰ͸ɼಛఆͷ஋Λ࣋ͨͳ͍γϯϘϧ΍ม਺ʹରͯ͠ԋࢉΛ࣮ࢪ •

    ҎԼͰ͸ඍ෼ͷදݱΛ༩͑ΔϊʔυΛάϥϑʹ௥Ճ͢Δํ๏Ͱޡࠩٯ఻೻๏ΛҰൠԽ
  34. Ұൠతͳޡࠩٯ఻೻๏ Algorithm 6.5 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !34 ܭࢉάϥϑʹҰൠԽ ஞ࣍తʹඍ෼ͷγϯϘϦοΫදݱΛάϥϑʹ௥Ճ

  35. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !35

  36. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !36 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ

  37. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !37 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ ॏΈݮਰํ޲ͷW(i)ͷޯ഑΁ͷد༩ ਖ਼ଇԽ߲(ॏΈݮਰ߲)

  38. ྫ: ޡࠩٯ఻೻๏ʹΑΔMLPͷ܇࿅ 6.5 ޡࠩٯ఻೻๏͓Αͼͦͷଞͷඍ෼ΞϧΰϦζϜ !38 ܇࿅ͷͨΊʹWͷޯ഑Λಘ͍ͨ ॏΈݮਰํ޲ͷW(i)ͷޯ഑΁ͷد༩ ަࠩΤϯτϩϐʔํ޲ͷW(i)ͷޯ഑΁ͷد༩ (cross_entropyͰఏڙ͞ΕΔޯ഑ΛGͱ͢Δ) ਖ਼ଇԽ߲(ॏΈݮਰ߲)

    ReLUͷٯ఻೻Λߟྀͨ͠ޯ഑
  39. ·ͱΊ • ઢܗϢχοτ+׆ੑԽؔ਺Λ૊Έ߹ΘͤΕ͹NNͰ೚ҙͷؔ਺ΛදݱՄೳ - ઢܗϢχοτ: Ψ΢ε෼෍ʹجͮ͘ग़ྗ - γάϞΠυϢχοτ: ϕϧψʔΠ෼෍ʹجͮ͘ग़ྗ -

    ιϑτϚοΫεϢχοτ: ΧςΰϦΧϧ෼෍ʹجͮ͘ग़ྗ - ׆ੑԽؔ਺͸ࠔͬͨΒReLUΛ࢖͑͹OK • NNͰදݱ͞ΕΔؔ਺͸ඇઢܗؔ਺ͳͷͰɼղੳతʹ࠷దղΛಋग़Ͱ͖ͳ͍ • ͦ͜Ͱɼޯ഑Λ༻͍ͯ਺஋ܭࢉతʹಋग़͢Δ (ͨͩ͠ہॴ࠷దղʹؕΔՄೳੑ͋Γ) • ޯ഑ΛٻΊΔࡍʹ͸ඍ෼ͷ࿈࠯཯ʹج͍ͮͨޡࠩٯ఻೻๏Λར༻͢Δͱྑ͍ !39