Deep Learning輪読会#4

書籍「Deep Learning」の輪読会4/5回目の資料 (7章後半)です。

1. Deep Learningྠಡձ#4 ୈ̓ষޙ൒ લా ོ೭
2. 7.9 ύϥϝʔλ߆ଋͱύϥϝʔλڞ༗
3. • ͜Ε·Ͱɺݻఆͨ͠ྖҬ΍఺ʹؔͯ͠ύϥϝʔλʹ ੍໿΍ϖφϧςΟΛՃ͑Δ͜ͱΛઆ໌ • L2ਖ਼ଇԽɿݻఆ஋0͔Βͷڑ཭ʹϖφϧςΟΛ՝ ͢ • ৔߹ʹΑͬͯ͸ɺϞσϧύϥϝʔλͷద੾ͳ஋ʹؔ ͢Δࣄલ஌ࣝΛදݱ͢Δผͷํ๏͕ඞཁ • ྫ͑͹ɺϞσϧύϥϝʔλؒͷґଘੑΛར༻
4. • ͋Δύϥϝʔλ͕ଞͷύϥϝʔλͱޓ͍ʹ͍ۙͱ͍ ͏ґଘੑΛදݱ͍ͨ͠৔߹ɺҎԼͷΑ͏ͳύϥϝʔ λϊϧϜϖφϧςΟΛར༻Մೳ • ڭࢣͳֶ͠शͰ܇࿅͞ΕͨϞσϧύϥϝʔλʹۙͮ ͚ΔͨΊʹɺڭࢣ͋ΓֶशͰ܇࿅͞ΕΔ෼ྨثͷϞ σϧύϥϝʔλΛਖ਼ଇԽ͢ΔΑ͏ͳ৔߹ʹར༻ ϞσϧA: ύϥϝʔλ , ࣸ૾
 ϞσϧB: ύϥϝʔλ , ࣸ૾ ύϥϝʔλ߆ଋ ⌦(w(A), w(B)) = kw(A) w(B)k2 2 w(A) w(B) ˆ y(A) = f(w(A), x) ˆ y(B) = g(w(B), x)
5. ύϥϝʔλڞ༗ • ෳ਺ͷύϥϝʔλू߹͕౳͘͠ͳΔΑ͏ͳ੍໿Λ՝͢ਖ਼ଇԽ • ༷ʑͳϞσϧ΍Ϟσϧཁૉ͕ύϥϝʔλͷݻ༗ͷू߹Λڞ༗ • ύϥϝʔλͷ෦෼ू߹ʢݻ༗ͷू߹ʣ͚ͩΛϝϞϦʹอଘ͢ Ε͹͍͍ͨΊɺϝϞϦ࢖༻ྔͷେ෯࡟ݮʹܨ͕Δ΋ͷ΋͋Δ • ύϥϝʔλڞ༗ͷྫ: • ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ (CNN) • ϚϧνλεΫֶश • υϩοϓΞ΢τ
6. ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ • ࣗવͷը૾͸ม׵ͷલޙͰෆมͳ౷ܭతੑ࣭Λอ༗ • CNN͸ը૾಺ͷෳ਺ͷҐஔͰύϥϝʔλڞ༗͢Δ ͜ͱͰ͜ͷੑ࣭ΛऔΓࠐΉ • ύϥϝʔλڞ༗ʹΑΓҎԼΛ࣮ݱ • ύϥϝʔλͷܶతͳ࡟ݮ • ܇࿅σʔλΛ૿΍ͣ͞ʹωοτ
 ϫʔΫαΠζΛ֦େՄೳ ষΑΓ
7. 7.10 εύʔεදݱ
8. • ॏΈݮਰ͸ɺϞσϧύϥϝʔλʹ௚઀ϖφϧςΟΛ ՝ͯ͠ಈ࡞͢Δ • ผͳख๏͸ɺχϡʔϥϧωοτϫʔΫͷϢχοτͷ ׆ੑԽʹϖφϧςΟΛ՝ͯ͠ɺ׆ੑԽ͕εύʔεʹ ͳΔΑ͏ʹ͢Δ • ؒ઀తʹϞσϧύϥϝʔλʹෳࡶͳϖφϧςΟΛ ՝͢͜ͱʹ૬౰
9. ઢܗճؼͰͷεύʔεදݱ εύʔεͳύϥϝʔλɿ εύʔεͳදݱɿ جຊతʹӅΕϢχοτΛ࣋ͭϞσϧΛεύʔεʹͰ͖Δ 2 6 6 6 6 4 18 5 15 9 3 3 7 7 7 7 5 = 2 6 6 6 6 4 4 0 0 2 0 0 0 0 1 0 3 0 0 5 0 0 0 0 1 0 0 1 0 4 1 0 0 0 5 0 3 7 7 7 7 5 2 6 6 6 6 6 6 4 2 3 1 5 1 4 3 7 7 7 7 7 7 5 2 6 6 6 6 4 14 1 19 2 23 3 7 7 7 7 5 = 2 6 6 6 6 4 3 1 2 5 4 1 4 2 3 1 1 3 1 5 4 2 3 2 3 1 2 3 0 3 5 4 2 2 5 1 3 7 7 7 7 5 2 6 6 6 6 6 6 4 0 2 0 0 3 0 3 7 7 7 7 7 7 5 y 2 Rm x 2 Rn A 2 Rm⇥n B 2 Rm⇥n h 2 Rn y 2 Rm
10. දݱͷϊϧϜϖφϧςΟਖ਼ଇԽ • දݱͷϊϧϜϖφϧςΟਖ਼ଇԽɿ • εύʔεදݱΛ΋ͨΒ͢ϖφϧςΟͷྫɿ • L1ϖφϧςΟ • ενϡʔσϯτͷtࣄલ෼෍͔Βಋ͔ΕͨϖφϧςΟ • KLμΠόʔδΣϯεϖφϧςΟ • ෳ਺ࣄྫʹΘͨΔ׆ੑԽฏۉʹΑΔਖ਼ଇԽɻ
 ϕΫτϧͷ֤੒෼͕0.01ͷΑ͏ͳ໨ඪ஋ʹۙͮ͘ ˜ J(✓; X, y) = J(✓; X, y) + ↵⌦(h) ↵ 2 [0, 1] ⌦(h) = khk1 = X i |hi |
11. ׆ੑԽ஋ʹݫ੍͍͠໿Λ࣋ͭɹ εύʔεදݱ • ௚ަϚονϯά௥੻ (OMP-k: Orthogonal Matching Pursuit): • W͕௚ަ͢Δͱ͍͏੍໿ͷԼͰޮ཰తʹղ͚Δ • OMP-1͸ਂ͍ΞʔΩςΫνϟͰඇৗʹಛ௃తʹಛ ௃ྔΛநग़Ͱ͖Δ arg min h,khk0 k kx W hk2 khk0 
    ඇͷཁૉͷ਺
12. 7.11 όΪϯά΍ͦͷଞͷ
 Ξϯαϯϒϧख๏
13. Ξϯαϯϒϧख๏ ෳ਺ͷϞσϧͷ༧ଌ஋Λ౷߹͢Δ͜ͱͰ൚Խੑ΍ؤ݈ ੑΛ޲্͢Δख๏ • ϞσϧฏۉԽɿόϦΞϯεͷ࡟ݮ (൚Խޡࠩͷ࡟ݮ) • όΪϯά • ελοΩϯά • ϒʔεςΟϯά: όΠΞεͷ࡟ݮ
14. E 2 4 1 k X i ✏i !2 3 5 = 1 k2 E 2 4 X i 0 @✏2 i + X j6=i ✏i✏j 1 A 3 5 = 1 k v + k 1 k c = ( 1 k v (c = 0) v (c = v) ϞσϧฏۉԽ • ෳ਺ͷϞσϧΛผʑʹ܇࿅ͤͨ͞ޙɺͦΕΒͷϞσϧ͢΂ ͔ͯΒςετࣄྫʹର͢Δग़ྗΛ౤ථ • ௨ৗϞσϧ͕ҟͳΕ͹ɺಉ͡ςετࣄྫͰ͋ͬͯ΋͢΂͕ͯ ಉؒ͡ҧ͍Λ͠ͳ͍ͨΊɺ͏·͘ಇ͘ • ޡ͕ࠩฏۉ0ͷଟมྔਖ਼ن෼෍ʹै͏kݸͷճؼϞσϧͷྫ: ෼ࢄ E[✏2 i ] ڞ෼ࢄ E[✏i✏j] ֤Ϟσϧͷޡࠩ Ξϯαϯϒϧ༧ଌثͷ
    ظ଴ೋ৐ޡࠩ
15. όΪϯά (ϒʔτετϥοϓू໿) • ಉ͡छྨͷϞσϧɺΞϧΰϦζϜɺ໨తؔ਺Λෳ਺ճ࠶ར༻͠ ͨϞσϧฏۉԽख๏ • ֤ϞσϧʹରԠ͢Δσʔλू߹͸ɺݩσʔλ͔Βஔ͖׵͑ͯα ϯϓϦϯά͢Δ͜ͱͰϞσϧؒʹࠩҟ͕ੜ͡Δʢݩͷσʔλू ߹ͱେ͖͕͞ಉ͡৔߹ɺ͓Αͦ2/3ͷࣄྫؚ͕·ΕΔʣ
16. χϡʔϥϧωοτϫʔΫͰͷόΪϯά • χϡʔϥϧωοτϫʔΫͷ৔߹ɺ͢΂ͯͷϞσϧ͕ಉ͡σʔ λू߹Ͱ܇࿅Մೳ • ҎԼͷҧ͍ʹΑΓɺݸʑͷϞσϧʹ͸෦෼తʹಠཱͳޡࠩ ͕ੜ·ΕΔͨΊ • ϥϯμϜͳॳظԽ • ϛχόονͷϥϯμϜͳબ୒ • ϋΠύʔύϥϝʔλ • χϡʔϥϧωοτϫʔΫͷඇܾఆ࿦తͳ࣮૷݁Ռͷҧ͍
17. ϞσϧฏۉԽʹର͢Δ஫ऍ • Պֶ࿦จͰΞϧΰϦζϜΛϕϯνϚʔΫ͢Δࡍʹ͸ ϞσϧฏۉԽΛར༻͢Δ͜ͱ͸ਪ঑͞Εͳ͍ • ͲͷػցֶशΞϧΰϦζϜ͸ɺܭࢉྔͱϝϞϦফ අྔͷ૿ՃͱҾ͖׵͑ʹɺϞσϧฏۉԽ͔Βେ͖ ͳརӹΛಘΒΕΔͨΊ • ػցֶशίϯςετͰ͸ɺଟ਺ͷϞσϧʹରͯ͠Ϟ σϧฏۉԽΛ࢖͏ख๏ʹΑͬͯউར͢Δͷ͕౰ͨΓ લ୲͍ͬͯΔ
18. ϒʔεςΟϯά • ݸʑͷϞσϧΑΓਖ਼ଇԽ͞ΕΔͨΊͰͳ͘ɺߴ͍༰ ྔΛ࣋ͭΑ͏ʹΞϯαϯϒϧΛߏங • ϒʔεςΟϯάͷྫɿ • ΞϯαϯϒϧʹχϡʔϥϧωοτϫʔΫΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺχϡʔϥϧωοτϫʔΫͷΞϯ αϯϒϧΛߏங • χϡʔϥϧωοτϫʔΫʹӅΕϢχοτΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺݸʑͷχϡʔϥϧωοτϫʔΫ ΛΞϯαϯϒϧͱͯ͠ղऍ
19. 7.12 υϩοϓΞ΢τ
20. όΪϯάͱχϡʔϥϧωοτϫʔΫ • όΪϯάʹ͸ɺෳ਺ͷϞσϧͷ܇࿅ͱ֤ςετࣄྫʹର͢Δෳ ਺ͷϞσϧͷධՁ͕ඞཁ • ֤Ϟσϧ͕େن໛ͳχϡʔϥϧωοτϫʔΫͷ৔߹ɺϞσϧͷ ܇࿅΍ධՁ͸࣮ߦ࣌ؒͱϝϞϦͷ఺Ͱίετ͕͔͔ΔͨΊɺ࣮ ༻తͰ͸ͳ͍ • 5ݸ͔Β10ݸ·ͰͷΞϯαϯϒϧ͸Ұൠత • ͦΕҎ্ଟ͘ͳΔͱɺٸܹʹѻ͍ʹ͘͘ͳΔ • υϩοϓΞ΢τʹΑΓɺࢦ਺ؔ਺తʹଟ͘ͷχϡʔϥϧωοτ ϫʔΫΛूΊͨΞϯαϯϒϧͷ܇࿅ͱධՁͷͨΊͷɺ҆Ձͳۙ ࣅ͕ಘΒΕΔ
21. υϩοϓΞ΢τͷྫ • ग़ྗͰͳ͍Ϣχο τΛ࡟আ • ଟ͘ͷ৔߹ɺϢ χοτͷग़ྗ஋ ʹ0Λ͔͚Ε͹ ͍͍ • ૚͕޿͚Ε͹ແ ޮͳ෦෼ωοτ ϫʔΫʹͳΔՄ ೳੑ͸௿͍
22. υϩοϓΞ΢τͷֶश • ϛχόον͝ͱʹೋ஋ϚεΫμΛ ແ࡞ҝʹαϯϓϦϯά • μ͕1ʹͳΔ֬཰ (ϋΠύʔύϥ ϝʔλ) • ӅΕ૚: 0.5 • ೖྗ૚: 0.8 • ޙ͸௨ৗ௨Γֶश • ࢦ਺ؔ਺తʹେ͖ͳ਺ͷωοτϫʔ Ϋʹର͢ΔόΪϯάͷۙࣅΛ࣮ݱ
23. όΪϯάͱυϩοϓΞ΢τͷҧ͍ όΪϯά υϩοϓΞ΢τ ֤Ϟσϧ ಠཱ ύϥϝʔλू߹Λڞ༗͠ɺ਌ͷχϡʔϥϧω οτϫʔΫ͔Β෦෼ू߹Λܧঝ ܇࿅ ֤Ϟσϧ͸ͦΕ ͧΕͷ܇࿅ू߹ Ͱ܇࿅ ΄ͱΜͲͷϞσϧ͸໌ࣔతʹ܇࿅͞Εͳ͍ɻ
    Մೳͳ෦෼ωοτϫʔΫͷখ͞ͳ෦෼͕ε ςοϓͰ܇࿅͞Εɺύϥϝʔλڞ༗ʹΑΓ࢒ Γͷ෦෼ωοτϫʔΫ͕ྑ͍ઃఆͱͳΔ
24. υϩοϓΞ΢τͰͷਪ࿦ • Ϟσϧ͕֬཰෼෍Λग़ྗ͢Δ৔߹ͷΞϯαϯϒϧ༧ଌ • όΪϯάͷ৔߹ͷࢉज़ฏۉ: • υϩοϓΞ΢τͷ৔߹ͷࢉज़ฏۉ: • ਂ͍χϡʔϥϧωοτϫʔΫͷ৔߹ɺࢦ਺ؔ਺తͳ߲ ͷ୯७Խख๏΋ݟ͔͓ͭͬͯΒͣධՁࠔ೉ • ଟ਺(10ʙ20ݸ)ͷϚεΫ͔Βͷग़ྗͷฏۉͰۙࣅՄೳ 1 k k X i=1 p(i)(y|x) X µ p(µ)p(y|x, µ)
25. ॏΈεέʔϦϯάਪ࿦نଇ • 1ճͷॱ఻೻ͰΞϯαϯϒϧશମͷ༧ଌΛۙࣅ͢ΔͨΊɺͲͷࣄྫ΋֬ ཰0ʹͳΒͳ͍ཁ݅Λઃ͚ࢉज़ฏۉΛزԿฏۉʹมߋ • શϢχοτΛར༻ͨ͠1Ϟσϧͷ ͷධՁʹΑΓ্ࣜΛۙࣅ • ܇࿅ऴྃ࣌ʹ֤ϢχοτͷॏΈΛͦͷϢχοτؚ͕·ΕΔ֬཰Ͱֻ ͚Δ (·ͨ͸܇࿅தʹϢχοτͷঢ়ଶΛ֬཰ͷٯ਺Ͱֻ͚߹ΘͤΔ) ˜ pensemble(y|x) = 2d sY µ p(y|x, µ) pensemble(y|x) = ˜ pensemble(y|x) P y0 ˜ pensemble(y0|x) p(y|x)
26. ॏΈεέʔϦϯάਪ࿦نଇ • ҎԼͷ৔߹ɺॏΈεέʔϦϯάਪ࿦نଇ͕ݫີ • ඇઢܗͷӅΕϢχοτΛ࣋ͨͳ͍ϞσϧΫϥεʢԼࣜʣ • ৚݅෇͖ਖ਼ن෼෍ग़ྗΛ࣋ͭճؼωοτϫʔΫ • ඇઢܗੑͷͳ͍ӅΕ૚Λ࣋ͭਂ͍ωοτϫʔΫ P(y = y|v) = softmax(W >v + b)y · · · ˜ Pensemble(y = y|v) / 2n v u u t Y d2{0,1}n exp ⇣ W > y,: (d v) + by ⌘ = exp 0 @ 1 2n X d2{0,1}n W > y,: (d v) + by 1 A = exp ✓ 1 2 W > y,: v + by ◆
27. ॏΈεέʔϦϯάਪ࿦نଇ • ඇઢܗੑΛ࣋ͭਂ͍Ϟσϧʹରͯ͠͸ۙࣅͰ͔͠ͳ͍ ͕ɺܦݧతʹ͸Α͘ػೳ͢Δ͜ͱ͕ଟ͍ • ͨͩ͠ɺਪ࿦ۙࣅͷ࠷దͳબ୒͸໰୊ʹґଘ • Ξϯαϯϒϧ༧ଌثʹରͯ͠ɺॏΈεέʔϦϯάۙ ࣅͷํ͕1000ݸ·Ͱͷ෦෼ωοτϫʔΫͷαϯϓϦ ϯάΛڐ༰ͨ͠ϞϯςΧϧϩۙࣅΑΓ΋෼ྨਫ਼౓ʹ ͓͚Δੑೳ͕ྑ͍ࣄΛ࣮ݧతʹൃݟ • 20ݸͷαϯϓϧͱϞϯςΧϧϩۙࣅͰ෼ྨਫ਼౓ͷ޲ ্͕ಘΒΕΔϞσϧ͕ଘࡏ͢Δ͜ͱΛൃݟ
28. υϩοϓΞ΢τͷར఺ • ॏΈݮਰ΍ϑΟϧλϊϧϜ੍໿ɺεύʔε׆ಈਖ਼ଇԽͱ͍ͬͨ ඪ४తͰܭࢉίετͷ௿͍ଞͷਖ਼ଇԽख๏ΑΓ΋ޮՌత • ͞ΒͳΔվળͷͨΊʹଞͷܗࣜͷਖ਼ଇԽͱ΋૊߹ͤՄೳ • ܭࢉྔ͕খ͍͞ • Ϟσϧ΍܇࿅खଓ͖ͷछྨʹॏେͳ੍ݶ͕ͳ͍ɻ෼ࢄදݱΛ࢖ͬ ͍ͯͯ֬཰ޯ഑๏ʹΑͬͯ܇࿅Ͱ͖ΔϞσϧͰ͋Ε͹ػೳ͢Δ • ॱ఻೻ܕχϡʔϥϧωοτϫʔΫ • ੍໿෇͖ϘϧπϚϯϚγϯͷΑ͏ͳ֬཰Ϟσϧ • ճؼ݁߹ܕχϡʔϥϧωοτϫʔΫ
29. (ࢀߟ) The definition of “distributed representation” • Each neuron must represent something, so this must be a local representation. • “Distributed representation” means a many-to- many relationship between two types of representation (such as concepts and neurons). • Each concept is represented by many neurons • Each neuron participates in the representation of many concepts IUUQXXXDTUPSPOUPFEVdCPOOFSDPVSTFTTDTDMFDUVSFTMFDQEG
30. υϩοϓΞ΢τʹ͓͚Δ஫ҙ఺ • ܭࢉίετ͕େ͖͘ͳΔՄೳੑ͕͋Δ • ਖ਼ଇԽʹΑΔϞσϧͷදݱྗ࡟ݮΛ૬ࡴ͢ΔͨΊɺϞσϧα Πζͷ֦େ΍ɺ܇࿅ͷ൓෮਺ͷ૿Ճ͕ඞཁ • σʔλू߹͕େ͖͍৔߹ɺਖ਼ଇԽʹΑΔ൚Խޡࠩͷݮগ͕ಘ ΒΕʹ͍͘ • ϥϕϧ͋Γ܇࿅ࣄྫ͕ۃ୺ʹগͳ͍৔߹ɺଞͷख๏ͷํ͕༏Ґ ͳ৔߹΋͋Δ • ϕΠδΞϯχϡʔϥϧωοτϫʔΫ • ௥ՃͰϥϕϧͳ͠σʔλ͕ར༻Մೳͳ৔߹ɺڭࢣͳ͠ͷಛ௃ ྔֶश
31. ઢܗճؼͱυϩοϓΞ΢τ • ઢܗճؼʹυϩοϓΞ΢τΛద༻ͨ͠৔߹ɺೖྗಛ ௃ྔͦΕͧΕʹҟͳΔ܎਺Λ࣋ͭL2ॏΈݮਰͱ౳Ձ • ֤ಛ௃ྔͷॏΈݮਰ܎਺ͷେ͖͞͸ͦͷ෼ࢄͰܾ ·Δ • ଞͷઢܗϞσϧͰ΋ಉ༷ • ਂ͍ϞσϧͰ͸ɺυϩοϓΞ΢τͱॏΈݮਰ͸౳Ձ Ͱͳ͍
32. ߴ଎υϩοϓΞ΢τ • ෦෼Ϟσϧͷ૯࿨Λ֬཰తͰͳ͘෼ੳతʹۙࣅΛಋग़ • ޯ഑ܭࢉʹ͓͚Δ֬཰ੑ࡟ݮʹΑΓऩଋ·Ͱͷ͕࣌ؒ ૣ͘ͳΔ • ॏΈεέʔϦϯάۙࣅΑΓݪଇʹଇͬͨۙࣅͱͯ͠ς ετ࣌ʹ΋ద༻Մೳʢͨͩ͠ܭࢉྔ͸େ͖͘ͳΔʣ • খن໛ͳχϡʔϥϧωοτϫʔΫͰ͸ඪ४తͳυϩο ϓΞ΢τͱ΄΅ಉ͡ੑೳ • େن໛ͳωοτϫʔΫͷ໰୊ʹ͸ద༻͞Ε͍ͯͳ͍
33. υϩοϓΞ΢τϒʔεςΟϯά • ֬཰ੑ͸ɺߴ଎υϩοϓΞ΢τͷΑ͏ʹυϩοϓΞ΢τͰ ਖ਼ଇԽͷޮՌΛ্͛ΔͨΊͷඞཁ৚݅Ͱͳ͍͕ɺे෼৚݅ Ͱ΋ͳ͍ • υϩοϓΞ΢τͱಉ͡ϚεΫϊΠζΛ࢖͏͕ਖ਼ଇԽͷޮՌ Λܽ͘Α͏ʹઃܭ͞ΕͨυϩοϓΞ΢τϒʔεςΟϯάΛ ࢖࣮ͬͨݧʹΑΓূ໌ • υϩοϓΞ΢τϒʔεςΟϯάͰ͸ਖ਼ଇԽͷޮՌ͕΄ͱ ΜͲಘΒΕͳ͍ • υϩοϓΞ΢τΛόΪϯάͱͯ͠ղऍ͢Δ͜ͱͷํ͕ɺϊ Πζʹରͯ͠ؤ݈Ͱ͋Δͱղऍ͢ΔΑΓ΋Ձ஋͕͋Δ
34. υϩοϓΞ΢τʹӨڹΛड͚ͨ ଞͷ֬཰తΞϓϩʔν • υϩοϓΞ΢τ͸ɺॏΈΛڞ༗͢ΔϞσϧͰߏ੒͞ Εͨࢦ਺ؔ਺తͳେ͖͞ͷΞϯαϯϒϧΛ܇࿅͢Δ ଞͷ֬཰తͳΞϓϩʔνʹӨڹΛٴ΅͍ͯ͠Δ • υϩοϓίωΫτ • ֬཰తϓʔϦϯά • ฏۉ1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ஋ • υϩοϓΞ΢τ͸ɺࠓ࠷΋޿͘࢖ΘΕ͍ͯΔ҉໧త ͳΞϯαϯϒϧख๏
35. υϩοϓίωΫτ • 1ͭͷεΧϥʔͷॏΈͱ1ͭͷӅΕϢχοτͷঢ়ଶN ͷੵΛυϩοϓ υϩοϓΞ΢τ υϩοϓίωΫτ Ҿ༻
    IUUQTDTOZVFEVdXBOMJESPQD
36. ֬཰తϓʔϦϯά • ແ࡞ҝͷϓʔϦϯάͷҰछ • ৞ΈࠐΈωοτϫʔΫͷΞϯαϯϒϧΛߏங • ֤ωοτϫʔΫ͸֤ಛ௃ྔϚοϓͷۭؒతʹผͳҐ ஔΛ୲౰ Ҿ༻
    IUUQTBSYJWPSHQEGQEG
37. ظ଴஋1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ • ֬཰తͳಈ࡞ʹΑΔωοτϫʔΫͷ܇࿅ͱɺෳ਺ͷ֬཰తͳ ܾఆΛฏۉ͢Δ༧ଌ͸ɺόΪϯάͷҰܗଶͱ࣮ͯ͠૷ • υϩοϓΞ΢τ͸ϢχοτΛแؚ͢Δ͔আ֎͢Δ͔Ͱߏ ੒͞ΕΔϞσϧͷΞϯαϯϒϧΛόΪϯά • ϞσϧͷฏۉԽख๏͕แؚͱআ֎ʹجͮ͘ඞཁ͸ͳ͍ʢྫ ͑͹μ͕0/1ͷΑ͏ʹ༗ݶͰͳ࣮͘਺ʣ • ॏΈͱ ɹ Λֻ͚Δ͜ͱͰೋ஋ϚεΫʹجͮ͘υϩο ϓΞ΢τͷੑೳΛ௒͑Δ • ɹ Ͱ͋ΔͨΊɺਪ࿦࣌ʹॏΈεέʔϦϯά͕ෆཁ µ ⇠ N (1, I) E(µ) = 1
38. ύϥϝʔλڞ༗ͱͯ͠ͷυϩοϓΞ΢τ • υϩοϓΞ΢τ͸ɺόΪϯάͨ͠ϞσϧͷΞϯαϯϒϧ͚ͩ Ͱͳ͘ɺӅΕϢχοτΛڞ༗͢ΔϞσϧͷΞϯαϯϒϧ΋܇ ࿅ • Ϟσϧͷ֤ӅΕϢχοτ͸ɺଞͷӅΕϢχοτʹؔΘΒ ͣྑ͍ੑೳΛൃش • ֤ӅΕϢχοτ͸ϞσϧؒͰަ׵΍ஔ׵͕Մೳ • ֤ӅΕϢχοτ͕୯ʹྑ͍ಛ௃ྔͱ͍͏͚ͩͰͳ͘ɺଟ ͘ͷ؍఺Ͱྑ͍ಛ௃ྔͱͳΔΑ͏ʹਖ਼ଇԽ • ൚Խޡࠩͷվળ͸ɺಠཱͨ͠ϞσϧͷΞϯαϯϒϧΑΓ΋υ ϩοϓΞ΢τͷํ͕େ͖͍
39. υϩοϓΞ΢τʹ͓͚Δॏཁͳ؍఺ • ϚεΫϊΠζ͕ӅΕϢχοτʹద༻ • ೖྗͷݩʑͷՁ஋Λഁյͱ͍͏ΑΓ͸ɺೖྗʹؚ·ΕΔ ৘ใΛߴ౓ʹ஌తͰదԠతʹഁյ • ඓ͕ͳͯ͘΋إΛݕ஌Ͱ͖ΔΑ͏ʹͳΔྫ • ೖྗը૾͔ΒϊΠζ௥ՃͰඓ͚ͩΛআڈ͢Δͷ͸ࠔ೉ • ϊΠζ͕৐ࢉ • ϊΠζ͕ݻఆഒ཰ͰՃࢉͰ͋ΔͳΒɺӅΕϢχοτ͸ϊ Πζ͕ൺֱతॏཁͰͳ͘ͳΔΑ͏ʹ ͕ඇৗʹେ͖͘ͳ ΔපཧతͳղΛֶश hi
40. όονਖ਼نԽͱυϩοϓΞ΢τ • όονਖ਼نԽ͸ɺ܇࿅࣌ʹՃࢉ΍৐ࢉͰӅΕϢχο τʹϊΠζΛಋೖͯ͠ϞσϧΛ࠶ύϥϝʔλԽ • ओͳ໨త͸࠷దԽͷվળ͕ͩɺϊΠζʹ͸ਖ਼ଇԽͷ ޮՌ΋͋Γ • υϩοϓΞ΢τ͕ෆཁʹͳΔ৔߹΋͋Δ • ྆ํΛద༻͢Δͱѱ͍ੑೳΛҾ͖ى͜͢͜ͱ΋͋ Δ (https://arxiv.org/pdf/1801.05134.pdf)
41. 7.13 ఢରతֶश
42. ఢରతࣄྫ
43. ఢରతֶश • ܇࿅ू߹ʹఢରతͳՃ޻Λͨ͠ࣄྫֶशʹΑΓɺݩͷi.i.d.ςετू߹ʹ͓ ͚ΔޡΓ཰Λ࡟ݮͰ͖Δ • ఢରతࣄྫ͸ա౓ͷઢܗੑ͕ओͳݪҼͷ1ͭ • χϡʔϥϧωοτϫʔΫ͸ओʹઢܗੑʹؔ࿈ͨ͠ߏ੒ཁૉΛݩʹߏங • શମతͳؔ਺΋ɺ݁Ռతʹߴ͍ઢܗੑΛ࣋ͭ • ࠷దԽ͕༰қͳҰํɺೖྗͷ਺͕๲େͰ͋Ε͹ɺઢܗؔ਺ͷ஋͕ٸܹʹ มԽ͢ΔՄೳੑ͕͋Δ (֤ೖྗ͕ มԽͨ͠৔߹ɺ࠷େͰ มԽ) • ఢରతֶशʹΑΓ܇࿅σʔλۙ๣ͰͷણࡉͰہॴతʹઢܗͳڍಈΛ๦֐Մ • ہॴෆมੑͷࣄલ஌ࣝΛڭࢣ͋Γχϡʔϥϧωοτʹ໌ࣔతʹಋೖ ✏ ✏kwk1
44. Ծ૝ఢରతࣄྫʹΑΔ൒ڭࢣ͋Γֶश • σʔλͳ͠ͷσʔλ͕ଘࡏ͢Δଟ༷ମʹԊͬͯɺͲ ͜ʹ͓͍ͯ΋খ͞ͳมԽʹରͯ͠ؤ݈ͳؔ਺Λֶश • σʔλू߹ͷதͰϥϕϧ͕෇༩͞Ε͍ͯͳ͍఺ ʹ ͓͍ͯɺϞσϧͰϥϕϧ ΛׂΓ౰ͯΔ • ෼ྨثʹ Ͱ͋Δϥϕϧ Λग़ྗͤ͞Δఢର తࣄྫ Λ୳͢(Ծ૝తఢରࣄྫ) • ෼ྨث͕ ͱ ʹಉ͡ϥϕϧΛׂΓ౰ͯΔΑ͏ʹ ֶशͤ͞Δ x ˆ y y0 6= ˆ y y0 x x0 x0
45. ଟ༷ମ
 l1BOEBz ଟ༷ମ
 l(JCCPOz ❌ খ͞ͳઁಈͰ͸
 ଟ༷ମΛඈ΂ͳ͍
46. 7.14 ઀ڑ཭ɺ઀ઢ఻ൖ๏ɺ
 ͦͯ͠ଟ༷ମ઀෼ྨث
47. • ػցֶशΞϧΰϦζϜͷଟ͘͸ɺσʔλ͕௿࣍ݩଟ ༷ମͷۙ๣ʹ͋ΔͱԾఆ͢Δ͜ͱͰ࣍ݩͷढ͍Λࠀ ෰ • ଟ༷ମԾઆΛ׆༻ • ઀ڑ཭ΞϧΰϦζϜ • ઀఻೻ΞϧΰϦζϜ • ଟ༷ମ઀෼ྨث
48. ઀ڑ཭ΞϧΰϦζϜ • ଟ༷ମԾઆΛ׆༻ͨ͠ॳظͷࢼߦͷ1ͭ • ϊϯύϥϝτϦοΫͳ࠷ۙ๣ΞϧΰϦζϜ • ϢʔΫϦουڑ཭Ͱ͸ͳ͘ɺͦͷۙ๣Ͱ֬཰͕ूத͍ͯ͠Δͱ͍͏ଟ ༷ମͷ஌͔ࣝΒಘΒΕͨࢦඪΛར༻ • ఺ ͱ ؒͷ࠷ۙ๣ڑ཭ͱͯ͠ɺͦΕͧΕ͕ଐ͢Δଟ༷ମ ͱ ؒͷڑ཭Λ࢖͏ͷ͕ଥ౰ • ෼ྨث͸ଟ༷ମ্ͷಈ͖ʹରԠ͢ΔہॴతཁҼʹରͯ͠ෆมͷͨΊ • ܭࢉ্ࠔ೉͔΋͠Εͳ͍ͨΊɺ Λ Ͱͷ઀ฏ໘Ͱۙࣅ͠ɺ2ͭͷ ฏ໘ؒͷڑ཭ΛଌΔ͔ɺ1ͭͷ઀ฏ໘ͱ1ͭͷ఺ͷؒͷڑ཭ΛଌΔํ ๏͕͋Δ x1 x2 xi M1 M2 Mi
49. Ҿ༻
    IUUQTQBQFSTOJQTDDQBQFS F⒏DJFOUQBUUFSOSFDPHOJUJPOVTJOHBOFX USBOTGPSNBUJPOEJTUBODFQEG ষΑΓ
50. ઀ઢ఻೻ΞϧΰϦζϜ • χϡʔϥϧωοτϫʔΫͷ֤ग़ྗ Λط஌ͷมಈཁҼʢը ૾ͷҠಈɺճసɺ֦େॖখͳͲʣʹରͯ͠ہॴతʹෆมͳ෼ ྨثΛ܇࿅ • ͕ ʹ͓͚Δط஌ͷଟ༷ମͷ઀ϕΫτϧ ʹର ͯ͠௚ަ͍ͯ͠Δ • ҎԼͷΑ͏ͳਖ਼ଇԽϖφϧςΟΛ௥Ճ͢Δ͜ͱͰɺ ํ ޲ʹରͯ͠ Ͱͷ ͷํ޲ඍ෼͕খ͘͞ͳΔ • ڭࢣ͋Γֶश͚ͩͰͳ͘ɺڧԽֶशͷ؍఺Ͱ΋࢖ΘΕ͖ͯͨ ⌦(f) = X i ⇣ (rxf(x))>v(i) ⌘2 rxf(x) x v(i) f v(i) x f(x)
52. ઀ઢ఻೻๏ͱσʔλू߹֦ுͱͷؔ܎ • ڞ௨఺ • ωοτϫʔΫͷग़ྗΛม͑ͳ͍ม׵ͷू߹Λࢦఆ͢Δ͜ ͱͰɺλεΫʹؔ͢Δࣄલ஌ࣝΛූ߸Խ • ҧ͍ • σʔλू߹֦ு: গͳ͘ͳ͍ճ਺ͷม׵Λࢪͯ͠ੜ੒ͨ͠ ݸผͷೖྗΛਖ਼͘͠෼ྨ͢ΔΑ͏ʹ໌ࣔతʹ܇࿅ • ઀ઢ఻೻๏: ໌ࣔతʹ৽͍͠ೖྗ఺Λௐ΂Δඞཁ͸ͳ͘ɺ ղੳతʹਖ਼ଇԽ͢Δ͜ͱͰɺಛఆͷม׵ʹରԠ͢Δํ޲ ͷઁಈʹ఍߅͢ΔΑ͏ʹ͢Δ
53. ઀ઢ఻೻๏ͷܽ఺ • ඍখͳઁಈʹ͔͠఍߅Ͱ͖ͳ͍ • ਖ਼نԽઢܗϢχοτ (ReLU) ʹجͮ͘ϞσϧͰ͸ඍ খͷΞϓϩʔν͕ࠔ೉ • ඍ෼ΛॖখͰ͖Δͷ͸ɺϢχοτΛআ֎͢Δ͔ॏ ΈΛॖখͨ͠৔߹ͷΈ • γάϞΠυ΍tanhͱ͸ҟͳΓɺେ͖ͳॏΈΛ࣋ͭ େ͖ͳ஋ʹ๞࿨ͤͯ͞ඍ෼Λখ͘͞Ͱ͖ͳ͍
54. ೋॏٯ఻೻๏ͱఢରతֶश ઀ઢ఻೻๏ ೋॏٯ఻೻๏
    ʢϠίϏߦྻ͕খ͘͞ͳΔΑ͏ ʹਖ਼ଇԽʣ σʔλू߹֦ு ఢରతֶश
    ʢޓ͍ʹ͍ۙೖྗͷग़ྗ͕ಉ͡ ʹͳΔΑ͏ʹ܇࿅ʣ ಛఆํ޲ͷೖྗͷ
    มԽʹରͯ͠
    Ϟσϧ͕ෆม ͢΂ͯͷํ޲ͷೖྗͷ
    มԽʹରͯ͠
    Ϟσϧ͕ෆม ඍখͳઁಈʹ
    ͷΈ఍߅Մೳ ඍখͰͳ͍
    ઁಈʹ఍߅Մೳ
55. ଟ༷ମ઀෼ྨث • ଟ༷ମ෼ྨثͰ͸ɺࣗݾූ߸Խثʢ14ষʣΛ࢖ͬͯ઀ϕΫτϧΛਪ ఆ͢ΔͨΊɺϢʔβ͕઀ϕΫτϧΛࢦఆ͢Δඞཁ͕ͳ͍ 1.ࣗݾූ߸ԽثΛ࢖ͬͯڭࢣͳֶ͠शͰଟ༷ମͷߏ଄ (ଟ༷ମͷ઀ϕ Ϋτϧ) Λֶश 2.͜ΕΒͷ઀ϕΫτϧΛ࢖ͬͯχϡʔϥϧωοτϫʔΫ෼ྨثΛਖ਼ ଇԽ (઀ઢ఻೻๏) • ࣗݾූ߸ԽثͰਪఆ͞Εͨ઀ϕΫτϧ͸ର৅ʹݻ༗ͳཁૉΛؚΉ • ը૾ͷҠಈɺճసɺ֦େॖখͱ͍ͬͨزԿֶత഑ஔ͔Βੜ͡Δෆ มੑΛ௒͑Δ • ྫ͑͹ɺ಄΍٭ͳͲର৅෺ͷ෦ҐͷҠಈ΍มԽʹ૬౰͢Δ