Takayuki Maeda
January 21, 2018
240

# Deep Learning輪読会#4

January 21, 2018

## Transcript

3. ### • ͜Ε·Ͱɺݻఆͨ͠ྖҬ΍఺ʹؔͯ͠ύϥϝʔλʹ ੍໿΍ϖφϧςΟΛՃ͑Δ͜ͱΛઆ໌ • L2ਖ਼ଇԽɿݻఆ஋0͔Βͷڑ཭ʹϖφϧςΟΛ՝ ͢ • ৔߹ʹΑͬͯ͸ɺϞσϧύϥϝʔλͷద੾ͳ஋ʹؔ ͢Δࣄલ஌ࣝΛදݱ͢Δผͷํ๏͕ඞཁ •

ྫ͑͹ɺϞσϧύϥϝʔλؒͷґଘੑΛར༻
4. ### • ͋Δύϥϝʔλ͕ଞͷύϥϝʔλͱޓ͍ʹ͍ۙͱ͍ ͏ґଘੑΛදݱ͍ͨ͠৔߹ɺҎԼͷΑ͏ͳύϥϝʔ λϊϧϜϖφϧςΟΛར༻Մೳ • ڭࢣͳֶ͠शͰ܇࿅͞ΕͨϞσϧύϥϝʔλʹۙͮ ͚ΔͨΊʹɺڭࢣ͋ΓֶशͰ܇࿅͞ΕΔ෼ྨثͷϞ σϧύϥϝʔλΛਖ਼ଇԽ͢ΔΑ͏ͳ৔߹ʹར༻ ϞσϧA: ύϥϝʔλ

, ࣸ૾  ϞσϧB: ύϥϝʔλ , ࣸ૾ ύϥϝʔλ߆ଋ ⌦(w(A), w(B)) = kw(A) w(B)k2 2 w(A) w(B) ˆ y(A) = f(w(A), x) ˆ y(B) = g(w(B), x)
5. ### ύϥϝʔλڞ༗ • ෳ਺ͷύϥϝʔλू߹͕౳͘͠ͳΔΑ͏ͳ੍໿Λ՝͢ਖ਼ଇԽ • ༷ʑͳϞσϧ΍Ϟσϧཁૉ͕ύϥϝʔλͷݻ༗ͷू߹Λڞ༗ • ύϥϝʔλͷ෦෼ू߹ʢݻ༗ͷू߹ʣ͚ͩΛϝϞϦʹอଘ͢ Ε͹͍͍ͨΊɺϝϞϦ࢖༻ྔͷେ෯࡟ݮʹܨ͕Δ΋ͷ΋͋Δ • ύϥϝʔλڞ༗ͷྫ:

• ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ (CNN) • ϚϧνλεΫֶश • υϩοϓΞ΢τ
6. ### ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ • ࣗવͷը૾͸ม׵ͷલޙͰෆมͳ౷ܭతੑ࣭Λอ༗ • CNN͸ը૾಺ͷෳ਺ͷҐஔͰύϥϝʔλڞ༗͢Δ ͜ͱͰ͜ͷੑ࣭ΛऔΓࠐΉ • ύϥϝʔλڞ༗ʹΑΓҎԼΛ࣮ݱ • ύϥϝʔλͷܶతͳ࡟ݮ

• ܇࿅σʔλΛ૿΍ͣ͞ʹωοτ  ϫʔΫαΠζΛ֦େՄೳ ষΑΓ

9. ### ઢܗճؼͰͷεύʔεදݱ εύʔεͳύϥϝʔλɿ εύʔεͳදݱɿ جຊతʹӅΕϢχοτΛ࣋ͭϞσϧΛεύʔεʹͰ͖Δ 2 6 6 6 6 4

18 5 15 9 3 3 7 7 7 7 5 = 2 6 6 6 6 4 4 0 0 2 0 0 0 0 1 0 3 0 0 5 0 0 0 0 1 0 0 1 0 4 1 0 0 0 5 0 3 7 7 7 7 5 2 6 6 6 6 6 6 4 2 3 1 5 1 4 3 7 7 7 7 7 7 5 2 6 6 6 6 4 14 1 19 2 23 3 7 7 7 7 5 = 2 6 6 6 6 4 3 1 2 5 4 1 4 2 3 1 1 3 1 5 4 2 3 2 3 1 2 3 0 3 5 4 2 2 5 1 3 7 7 7 7 5 2 6 6 6 6 6 6 4 0 2 0 0 3 0 3 7 7 7 7 7 7 5 y 2 Rm x 2 Rn A 2 Rm⇥n B 2 Rm⇥n h 2 Rn y 2 Rm
10. ### දݱͷϊϧϜϖφϧςΟਖ਼ଇԽ • දݱͷϊϧϜϖφϧςΟਖ਼ଇԽɿ • εύʔεදݱΛ΋ͨΒ͢ϖφϧςΟͷྫɿ • L1ϖφϧςΟ • ενϡʔσϯτͷtࣄલ෼෍͔Βಋ͔ΕͨϖφϧςΟ •

KLμΠόʔδΣϯεϖφϧςΟ • ෳ਺ࣄྫʹΘͨΔ׆ੑԽฏۉʹΑΔਖ਼ଇԽɻ  ϕΫτϧͷ֤੒෼͕0.01ͷΑ͏ͳ໨ඪ஋ʹۙͮ͘ ˜ J(✓; X, y) = J(✓; X, y) + ↵⌦(h) ↵ 2 [0, 1] ⌦(h) = khk1 = X i |hi |
11. ### ׆ੑԽ஋ʹݫ੍͍͠໿Λ࣋ͭɹ εύʔεදݱ • ௚ަϚονϯά௥੻ (OMP-k: Orthogonal Matching Pursuit): • W͕௚ަ͢Δͱ͍͏੍໿ͷԼͰޮ཰తʹղ͚Δ

• OMP-1͸ਂ͍ΞʔΩςΫνϟͰඇৗʹಛ௃తʹಛ ௃ྔΛநग़Ͱ͖Δ arg min h,khk0 k kx W hk2 khk0 ඇͷཁૉͷ਺

13. ### Ξϯαϯϒϧख๏ ෳ਺ͷϞσϧͷ༧ଌ஋Λ౷߹͢Δ͜ͱͰ൚Խੑ΍ؤ݈ ੑΛ޲্͢Δख๏ • ϞσϧฏۉԽɿόϦΞϯεͷ࡟ݮ (൚Խޡࠩͷ࡟ݮ) • όΪϯά • ελοΩϯά

• ϒʔεςΟϯά: όΠΞεͷ࡟ݮ
14. ### E 2 4 1 k X i ✏i !2 3

5 = 1 k2 E 2 4 X i 0 @✏2 i + X j6=i ✏i✏j 1 A 3 5 = 1 k v + k 1 k c = ( 1 k v (c = 0) v (c = v) ϞσϧฏۉԽ • ෳ਺ͷϞσϧΛผʑʹ܇࿅ͤͨ͞ޙɺͦΕΒͷϞσϧ͢΂ ͔ͯΒςετࣄྫʹର͢Δग़ྗΛ౤ථ • ௨ৗϞσϧ͕ҟͳΕ͹ɺಉ͡ςετࣄྫͰ͋ͬͯ΋͢΂͕ͯ ಉؒ͡ҧ͍Λ͠ͳ͍ͨΊɺ͏·͘ಇ͘ • ޡ͕ࠩฏۉ0ͷଟมྔਖ਼ن෼෍ʹै͏kݸͷճؼϞσϧͷྫ: ෼ࢄ E[✏2 i ] ڞ෼ࢄ E[✏i✏j] ֤Ϟσϧͷޡࠩ Ξϯαϯϒϧ༧ଌثͷ ظ଴ೋ৐ޡࠩ

16. ### χϡʔϥϧωοτϫʔΫͰͷόΪϯά • χϡʔϥϧωοτϫʔΫͷ৔߹ɺ͢΂ͯͷϞσϧ͕ಉ͡σʔ λू߹Ͱ܇࿅Մೳ • ҎԼͷҧ͍ʹΑΓɺݸʑͷϞσϧʹ͸෦෼తʹಠཱͳޡࠩ ͕ੜ·ΕΔͨΊ • ϥϯμϜͳॳظԽ •

ϛχόονͷϥϯμϜͳબ୒ • ϋΠύʔύϥϝʔλ • χϡʔϥϧωοτϫʔΫͷඇܾఆ࿦తͳ࣮૷݁Ռͷҧ͍
17. ### ϞσϧฏۉԽʹର͢Δ஫ऍ • Պֶ࿦จͰΞϧΰϦζϜΛϕϯνϚʔΫ͢Δࡍʹ͸ ϞσϧฏۉԽΛར༻͢Δ͜ͱ͸ਪ঑͞Εͳ͍ • ͲͷػցֶशΞϧΰϦζϜ͸ɺܭࢉྔͱϝϞϦফ අྔͷ૿ՃͱҾ͖׵͑ʹɺϞσϧฏۉԽ͔Βେ͖ ͳརӹΛಘΒΕΔͨΊ • ػցֶशίϯςετͰ͸ɺଟ਺ͷϞσϧʹରͯ͠Ϟ

σϧฏۉԽΛ࢖͏ख๏ʹΑͬͯউར͢Δͷ͕౰ͨΓ લ୲͍ͬͯΔ
18. ### ϒʔεςΟϯά • ݸʑͷϞσϧΑΓਖ਼ଇԽ͞ΕΔͨΊͰͳ͘ɺߴ͍༰ ྔΛ࣋ͭΑ͏ʹΞϯαϯϒϧΛߏங • ϒʔεςΟϯάͷྫɿ • ΞϯαϯϒϧʹχϡʔϥϧωοτϫʔΫΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺχϡʔϥϧωοτϫʔΫͷΞϯ αϯϒϧΛߏங

• χϡʔϥϧωοτϫʔΫʹӅΕϢχοτΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺݸʑͷχϡʔϥϧωοτϫʔΫ ΛΞϯαϯϒϧͱͯ͠ղऍ

20. ### όΪϯάͱχϡʔϥϧωοτϫʔΫ • όΪϯάʹ͸ɺෳ਺ͷϞσϧͷ܇࿅ͱ֤ςετࣄྫʹର͢Δෳ ਺ͷϞσϧͷධՁ͕ඞཁ • ֤Ϟσϧ͕େن໛ͳχϡʔϥϧωοτϫʔΫͷ৔߹ɺϞσϧͷ ܇࿅΍ධՁ͸࣮ߦ࣌ؒͱϝϞϦͷ఺Ͱίετ͕͔͔ΔͨΊɺ࣮ ༻తͰ͸ͳ͍ • 5ݸ͔Β10ݸ·ͰͷΞϯαϯϒϧ͸Ұൠత

• ͦΕҎ্ଟ͘ͳΔͱɺٸܹʹѻ͍ʹ͘͘ͳΔ • υϩοϓΞ΢τʹΑΓɺࢦ਺ؔ਺తʹଟ͘ͷχϡʔϥϧωοτ ϫʔΫΛूΊͨΞϯαϯϒϧͷ܇࿅ͱධՁͷͨΊͷɺ҆Ձͳۙ ࣅ͕ಘΒΕΔ
21. ### υϩοϓΞ΢τͷྫ • ग़ྗͰͳ͍Ϣχο τΛ࡟আ • ଟ͘ͷ৔߹ɺϢ χοτͷग़ྗ஋ ʹ0Λ͔͚Ε͹ ͍͍ •

૚͕޿͚Ε͹ແ ޮͳ෦෼ωοτ ϫʔΫʹͳΔՄ ೳੑ͸௿͍
22. ### υϩοϓΞ΢τͷֶश • ϛχόον͝ͱʹೋ஋ϚεΫμΛ ແ࡞ҝʹαϯϓϦϯά • μ͕1ʹͳΔ֬཰ (ϋΠύʔύϥ ϝʔλ) • ӅΕ૚:

0.5 • ೖྗ૚: 0.8 • ޙ͸௨ৗ௨Γֶश • ࢦ਺ؔ਺తʹେ͖ͳ਺ͷωοτϫʔ Ϋʹର͢ΔόΪϯάͷۙࣅΛ࣮ݱ
23. ### όΪϯάͱυϩοϓΞ΢τͷҧ͍ όΪϯά υϩοϓΞ΢τ ֤Ϟσϧ ಠཱ ύϥϝʔλू߹Λڞ༗͠ɺ਌ͷχϡʔϥϧω οτϫʔΫ͔Β෦෼ू߹Λܧঝ ܇࿅ ֤Ϟσϧ͸ͦΕ ͧΕͷ܇࿅ू߹

Ͱ܇࿅ ΄ͱΜͲͷϞσϧ͸໌ࣔతʹ܇࿅͞Εͳ͍ɻ Մೳͳ෦෼ωοτϫʔΫͷখ͞ͳ෦෼͕ε ςοϓͰ܇࿅͞Εɺύϥϝʔλڞ༗ʹΑΓ࢒ Γͷ෦෼ωοτϫʔΫ͕ྑ͍ઃఆͱͳΔ
24. ### υϩοϓΞ΢τͰͷਪ࿦ • Ϟσϧ͕֬཰෼෍Λग़ྗ͢Δ৔߹ͷΞϯαϯϒϧ༧ଌ • όΪϯάͷ৔߹ͷࢉज़ฏۉ: • υϩοϓΞ΢τͷ৔߹ͷࢉज़ฏۉ: • ਂ͍χϡʔϥϧωοτϫʔΫͷ৔߹ɺࢦ਺ؔ਺తͳ߲ ͷ୯७Խख๏΋ݟ͔͓ͭͬͯΒͣධՁࠔ೉

• ଟ਺(10ʙ20ݸ)ͷϚεΫ͔Βͷग़ྗͷฏۉͰۙࣅՄೳ 1 k k X i=1 p(i)(y|x) X µ p(µ)p(y|x, µ)
25. ### ॏΈεέʔϦϯάਪ࿦نଇ • 1ճͷॱ఻೻ͰΞϯαϯϒϧશମͷ༧ଌΛۙࣅ͢ΔͨΊɺͲͷࣄྫ΋֬ ཰0ʹͳΒͳ͍ཁ݅Λઃ͚ࢉज़ฏۉΛزԿฏۉʹมߋ • શϢχοτΛར༻ͨ͠1Ϟσϧͷ ͷධՁʹΑΓ্ࣜΛۙࣅ • ܇࿅ऴྃ࣌ʹ֤ϢχοτͷॏΈΛͦͷϢχοτؚ͕·ΕΔ֬཰Ͱֻ ͚Δ

(·ͨ͸܇࿅தʹϢχοτͷঢ়ଶΛ֬཰ͷٯ਺Ͱֻ͚߹ΘͤΔ) ˜ pensemble(y|x) = 2d sY µ p(y|x, µ) pensemble(y|x) = ˜ pensemble(y|x) P y0 ˜ pensemble(y0|x) p(y|x)
26. ### ॏΈεέʔϦϯάਪ࿦نଇ • ҎԼͷ৔߹ɺॏΈεέʔϦϯάਪ࿦نଇ͕ݫີ • ඇઢܗͷӅΕϢχοτΛ࣋ͨͳ͍ϞσϧΫϥεʢԼࣜʣ • ৚݅෇͖ਖ਼ن෼෍ग़ྗΛ࣋ͭճؼωοτϫʔΫ • ඇઢܗੑͷͳ͍ӅΕ૚Λ࣋ͭਂ͍ωοτϫʔΫ P(y

= y|v) = softmax(W >v + b)y · · · ˜ Pensemble(y = y|v) / 2n v u u t Y d2{0,1}n exp ⇣ W > y,: (d v) + by ⌘ = exp 0 @ 1 2n X d2{0,1}n W > y,: (d v) + by 1 A = exp ✓ 1 2 W > y,: v + by ◆
27. ### ॏΈεέʔϦϯάਪ࿦نଇ • ඇઢܗੑΛ࣋ͭਂ͍Ϟσϧʹରͯ͠͸ۙࣅͰ͔͠ͳ͍ ͕ɺܦݧతʹ͸Α͘ػೳ͢Δ͜ͱ͕ଟ͍ • ͨͩ͠ɺਪ࿦ۙࣅͷ࠷దͳબ୒͸໰୊ʹґଘ • Ξϯαϯϒϧ༧ଌثʹରͯ͠ɺॏΈεέʔϦϯάۙ ࣅͷํ͕1000ݸ·Ͱͷ෦෼ωοτϫʔΫͷαϯϓϦ ϯάΛڐ༰ͨ͠ϞϯςΧϧϩۙࣅΑΓ΋෼ྨਫ਼౓ʹ

͓͚Δੑೳ͕ྑ͍ࣄΛ࣮ݧతʹൃݟ • 20ݸͷαϯϓϧͱϞϯςΧϧϩۙࣅͰ෼ྨਫ਼౓ͷ޲ ্͕ಘΒΕΔϞσϧ͕ଘࡏ͢Δ͜ͱΛൃݟ
28. ### υϩοϓΞ΢τͷར఺ • ॏΈݮਰ΍ϑΟϧλϊϧϜ੍໿ɺεύʔε׆ಈਖ਼ଇԽͱ͍ͬͨ ඪ४తͰܭࢉίετͷ௿͍ଞͷਖ਼ଇԽख๏ΑΓ΋ޮՌత • ͞ΒͳΔվળͷͨΊʹଞͷܗࣜͷਖ਼ଇԽͱ΋૊߹ͤՄೳ • ܭࢉྔ͕খ͍͞ • Ϟσϧ΍܇࿅खଓ͖ͷछྨʹॏେͳ੍ݶ͕ͳ͍ɻ෼ࢄදݱΛ࢖ͬ

͍ͯͯ֬཰ޯ഑๏ʹΑͬͯ܇࿅Ͱ͖ΔϞσϧͰ͋Ε͹ػೳ͢Δ • ॱ఻೻ܕχϡʔϥϧωοτϫʔΫ • ੍໿෇͖ϘϧπϚϯϚγϯͷΑ͏ͳ֬཰Ϟσϧ • ճؼ݁߹ܕχϡʔϥϧωοτϫʔΫ
29. ### (ࢀߟ) The deﬁnition of “distributed representation” • Each neuron must

represent something, so this must be a local representation. • “Distributed representation” means a many-to- many relationship between two types of representation (such as concepts and neurons). • Each concept is represented by many neurons • Each neuron participates in the representation of many concepts IUUQXXXDTUPSPOUPFEVdCPOOFSDPVSTFTTDTDMFDUVSFTMFDQEG
30. ### υϩοϓΞ΢τʹ͓͚Δ஫ҙ఺ • ܭࢉίετ͕େ͖͘ͳΔՄೳੑ͕͋Δ • ਖ਼ଇԽʹΑΔϞσϧͷදݱྗ࡟ݮΛ૬ࡴ͢ΔͨΊɺϞσϧα Πζͷ֦େ΍ɺ܇࿅ͷ൓෮਺ͷ૿Ճ͕ඞཁ • σʔλू߹͕େ͖͍৔߹ɺਖ਼ଇԽʹΑΔ൚Խޡࠩͷݮগ͕ಘ ΒΕʹ͍͘ •

ϥϕϧ͋Γ܇࿅ࣄྫ͕ۃ୺ʹগͳ͍৔߹ɺଞͷख๏ͷํ͕༏Ґ ͳ৔߹΋͋Δ • ϕΠδΞϯχϡʔϥϧωοτϫʔΫ • ௥ՃͰϥϕϧͳ͠σʔλ͕ར༻Մೳͳ৔߹ɺڭࢣͳ͠ͷಛ௃ ྔֶश
31. ### ઢܗճؼͱυϩοϓΞ΢τ • ઢܗճؼʹυϩοϓΞ΢τΛద༻ͨ͠৔߹ɺೖྗಛ ௃ྔͦΕͧΕʹҟͳΔ܎਺Λ࣋ͭL2ॏΈݮਰͱ౳Ձ • ֤ಛ௃ྔͷॏΈݮਰ܎਺ͷେ͖͞͸ͦͷ෼ࢄͰܾ ·Δ • ଞͷઢܗϞσϧͰ΋ಉ༷ •

ਂ͍ϞσϧͰ͸ɺυϩοϓΞ΢τͱॏΈݮਰ͸౳Ձ Ͱͳ͍
32. ### ߴ଎υϩοϓΞ΢τ • ෦෼Ϟσϧͷ૯࿨Λ֬཰తͰͳ͘෼ੳతʹۙࣅΛಋग़ • ޯ഑ܭࢉʹ͓͚Δ֬཰ੑ࡟ݮʹΑΓऩଋ·Ͱͷ͕࣌ؒ ૣ͘ͳΔ • ॏΈεέʔϦϯάۙࣅΑΓݪଇʹଇͬͨۙࣅͱͯ͠ς ετ࣌ʹ΋ద༻Մೳʢͨͩ͠ܭࢉྔ͸େ͖͘ͳΔʣ •

খن໛ͳχϡʔϥϧωοτϫʔΫͰ͸ඪ४తͳυϩο ϓΞ΢τͱ΄΅ಉ͡ੑೳ • େن໛ͳωοτϫʔΫͷ໰୊ʹ͸ద༻͞Ε͍ͯͳ͍
33. ### υϩοϓΞ΢τϒʔεςΟϯά • ֬཰ੑ͸ɺߴ଎υϩοϓΞ΢τͷΑ͏ʹυϩοϓΞ΢τͰ ਖ਼ଇԽͷޮՌΛ্͛ΔͨΊͷඞཁ৚݅Ͱͳ͍͕ɺे෼৚݅ Ͱ΋ͳ͍ • υϩοϓΞ΢τͱಉ͡ϚεΫϊΠζΛ࢖͏͕ਖ਼ଇԽͷޮՌ Λܽ͘Α͏ʹઃܭ͞ΕͨυϩοϓΞ΢τϒʔεςΟϯάΛ ࢖࣮ͬͨݧʹΑΓূ໌ •

υϩοϓΞ΢τϒʔεςΟϯάͰ͸ਖ਼ଇԽͷޮՌ͕΄ͱ ΜͲಘΒΕͳ͍ • υϩοϓΞ΢τΛόΪϯάͱͯ͠ղऍ͢Δ͜ͱͷํ͕ɺϊ Πζʹରͯ͠ؤ݈Ͱ͋Δͱղऍ͢ΔΑΓ΋Ձ஋͕͋Δ
34. ### υϩοϓΞ΢τʹӨڹΛड͚ͨ ଞͷ֬཰తΞϓϩʔν • υϩοϓΞ΢τ͸ɺॏΈΛڞ༗͢ΔϞσϧͰߏ੒͞ Εͨࢦ਺ؔ਺తͳେ͖͞ͷΞϯαϯϒϧΛ܇࿅͢Δ ଞͷ֬཰తͳΞϓϩʔνʹӨڹΛٴ΅͍ͯ͠Δ • υϩοϓίωΫτ • ֬཰తϓʔϦϯά

• ฏۉ1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ஋ • υϩοϓΞ΢τ͸ɺࠓ࠷΋޿͘࢖ΘΕ͍ͯΔ҉໧త ͳΞϯαϯϒϧख๏

37. ### ظ଴஋1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ • ֬཰తͳಈ࡞ʹΑΔωοτϫʔΫͷ܇࿅ͱɺෳ਺ͷ֬཰తͳ ܾఆΛฏۉ͢Δ༧ଌ͸ɺόΪϯάͷҰܗଶͱ࣮ͯ͠૷ • υϩοϓΞ΢τ͸ϢχοτΛแؚ͢Δ͔আ֎͢Δ͔Ͱߏ ੒͞ΕΔϞσϧͷΞϯαϯϒϧΛόΪϯά • ϞσϧͷฏۉԽख๏͕แؚͱআ֎ʹجͮ͘ඞཁ͸ͳ͍ʢྫ ͑͹μ͕0/1ͷΑ͏ʹ༗ݶͰͳ࣮͘਺ʣ

• ॏΈͱ ɹ Λֻ͚Δ͜ͱͰೋ஋ϚεΫʹجͮ͘υϩο ϓΞ΢τͷੑೳΛ௒͑Δ • ɹ Ͱ͋ΔͨΊɺਪ࿦࣌ʹॏΈεέʔϦϯά͕ෆཁ µ ⇠ N (1, I) E(µ) = 1
38. ### ύϥϝʔλڞ༗ͱͯ͠ͷυϩοϓΞ΢τ • υϩοϓΞ΢τ͸ɺόΪϯάͨ͠ϞσϧͷΞϯαϯϒϧ͚ͩ Ͱͳ͘ɺӅΕϢχοτΛڞ༗͢ΔϞσϧͷΞϯαϯϒϧ΋܇ ࿅ • Ϟσϧͷ֤ӅΕϢχοτ͸ɺଞͷӅΕϢχοτʹؔΘΒ ͣྑ͍ੑೳΛൃش • ֤ӅΕϢχοτ͸ϞσϧؒͰަ׵΍ஔ׵͕Մೳ

• ֤ӅΕϢχοτ͕୯ʹྑ͍ಛ௃ྔͱ͍͏͚ͩͰͳ͘ɺଟ ͘ͷ؍఺Ͱྑ͍ಛ௃ྔͱͳΔΑ͏ʹਖ਼ଇԽ • ൚Խޡࠩͷվળ͸ɺಠཱͨ͠ϞσϧͷΞϯαϯϒϧΑΓ΋υ ϩοϓΞ΢τͷํ͕େ͖͍
39. ### υϩοϓΞ΢τʹ͓͚Δॏཁͳ؍఺ • ϚεΫϊΠζ͕ӅΕϢχοτʹద༻ • ೖྗͷݩʑͷՁ஋Λഁյͱ͍͏ΑΓ͸ɺೖྗʹؚ·ΕΔ ৘ใΛߴ౓ʹ஌తͰదԠతʹഁյ • ඓ͕ͳͯ͘΋إΛݕ஌Ͱ͖ΔΑ͏ʹͳΔྫ • ೖྗը૾͔ΒϊΠζ௥ՃͰඓ͚ͩΛআڈ͢Δͷ͸ࠔ೉

• ϊΠζ͕৐ࢉ • ϊΠζ͕ݻఆഒ཰ͰՃࢉͰ͋ΔͳΒɺӅΕϢχοτ͸ϊ Πζ͕ൺֱతॏཁͰͳ͘ͳΔΑ͏ʹ ͕ඇৗʹେ͖͘ͳ ΔපཧతͳղΛֶश hi
40. ### όονਖ਼نԽͱυϩοϓΞ΢τ • όονਖ਼نԽ͸ɺ܇࿅࣌ʹՃࢉ΍৐ࢉͰӅΕϢχο τʹϊΠζΛಋೖͯ͠ϞσϧΛ࠶ύϥϝʔλԽ • ओͳ໨త͸࠷దԽͷվળ͕ͩɺϊΠζʹ͸ਖ਼ଇԽͷ ޮՌ΋͋Γ • υϩοϓΞ΢τ͕ෆཁʹͳΔ৔߹΋͋Δ •

྆ํΛద༻͢Δͱѱ͍ੑೳΛҾ͖ى͜͢͜ͱ΋͋ Δ (https://arxiv.org/pdf/1801.05134.pdf)

43. ### ఢରతֶश • ܇࿅ू߹ʹఢରతͳՃ޻Λͨ͠ࣄྫֶशʹΑΓɺݩͷi.i.d.ςετू߹ʹ͓ ͚ΔޡΓ཰Λ࡟ݮͰ͖Δ • ఢରతࣄྫ͸ա౓ͷઢܗੑ͕ओͳݪҼͷ1ͭ • χϡʔϥϧωοτϫʔΫ͸ओʹઢܗੑʹؔ࿈ͨ͠ߏ੒ཁૉΛݩʹߏங • શମతͳؔ਺΋ɺ݁Ռతʹߴ͍ઢܗੑΛ࣋ͭ

• ࠷దԽ͕༰қͳҰํɺೖྗͷ਺͕๲େͰ͋Ε͹ɺઢܗؔ਺ͷ஋͕ٸܹʹ มԽ͢ΔՄೳੑ͕͋Δ (֤ೖྗ͕ มԽͨ͠৔߹ɺ࠷େͰ มԽ) • ఢରతֶशʹΑΓ܇࿅σʔλۙ๣ͰͷણࡉͰہॴతʹઢܗͳڍಈΛ๦֐Մ • ہॴෆมੑͷࣄલ஌ࣝΛڭࢣ͋Γχϡʔϥϧωοτʹ໌ࣔతʹಋೖ ✏ ✏kwk1
44. ### Ծ૝ఢରతࣄྫʹΑΔ൒ڭࢣ͋Γֶश • σʔλͳ͠ͷσʔλ͕ଘࡏ͢Δଟ༷ମʹԊͬͯɺͲ ͜ʹ͓͍ͯ΋খ͞ͳมԽʹରͯ͠ؤ݈ͳؔ਺Λֶश • σʔλू߹ͷதͰϥϕϧ͕෇༩͞Ε͍ͯͳ͍఺ ʹ ͓͍ͯɺϞσϧͰϥϕϧ ΛׂΓ౰ͯΔ •

෼ྨثʹ Ͱ͋Δϥϕϧ Λग़ྗͤ͞Δఢର తࣄྫ Λ୳͢(Ծ૝తఢରࣄྫ) • ෼ྨث͕ ͱ ʹಉ͡ϥϕϧΛׂΓ౰ͯΔΑ͏ʹ ֶशͤ͞Δ x ˆ y y0 6= ˆ y y0 x x0 x0

• ଟ༷ମ઀෼ྨث
48. ### ઀ڑ཭ΞϧΰϦζϜ • ଟ༷ମԾઆΛ׆༻ͨ͠ॳظͷࢼߦͷ1ͭ • ϊϯύϥϝτϦοΫͳ࠷ۙ๣ΞϧΰϦζϜ • ϢʔΫϦουڑ཭Ͱ͸ͳ͘ɺͦͷۙ๣Ͱ֬཰͕ूத͍ͯ͠Δͱ͍͏ଟ ༷ମͷ஌͔ࣝΒಘΒΕͨࢦඪΛར༻ • ఺

ͱ ؒͷ࠷ۙ๣ڑ཭ͱͯ͠ɺͦΕͧΕ͕ଐ͢Δଟ༷ମ ͱ ؒͷڑ཭Λ࢖͏ͷ͕ଥ౰ • ෼ྨث͸ଟ༷ମ্ͷಈ͖ʹରԠ͢ΔہॴతཁҼʹରͯ͠ෆมͷͨΊ • ܭࢉ্ࠔ೉͔΋͠Εͳ͍ͨΊɺ Λ Ͱͷ઀ฏ໘Ͱۙࣅ͠ɺ2ͭͷ ฏ໘ؒͷڑ཭ΛଌΔ͔ɺ1ͭͷ઀ฏ໘ͱ1ͭͷ఺ͷؒͷڑ཭ΛଌΔํ ๏͕͋Δ x1 x2 xi M1 M2 Mi

50. ### ઀ઢ఻೻ΞϧΰϦζϜ • χϡʔϥϧωοτϫʔΫͷ֤ग़ྗ Λط஌ͷมಈཁҼʢը ૾ͷҠಈɺճసɺ֦େॖখͳͲʣʹରͯ͠ہॴతʹෆมͳ෼ ྨثΛ܇࿅ • ͕ ʹ͓͚Δط஌ͷଟ༷ମͷ઀ϕΫτϧ ʹର

ͯ͠௚ަ͍ͯ͠Δ • ҎԼͷΑ͏ͳਖ਼ଇԽϖφϧςΟΛ௥Ճ͢Δ͜ͱͰɺ ํ ޲ʹରͯ͠ Ͱͷ ͷํ޲ඍ෼͕খ͘͞ͳΔ • ڭࢣ͋Γֶश͚ͩͰͳ͘ɺڧԽֶशͷ؍఺Ͱ΋࢖ΘΕ͖ͯͨ ⌦(f) = X i ⇣ (rxf(x))>v(i) ⌘2 rxf(x) x v(i) f v(i) x f(x)
51. None
52. ### ઀ઢ఻೻๏ͱσʔλू߹֦ுͱͷؔ܎ • ڞ௨఺ • ωοτϫʔΫͷग़ྗΛม͑ͳ͍ม׵ͷू߹Λࢦఆ͢Δ͜ ͱͰɺλεΫʹؔ͢Δࣄલ஌ࣝΛූ߸Խ • ҧ͍ • σʔλू߹֦ு:

গͳ͘ͳ͍ճ਺ͷม׵Λࢪͯ͠ੜ੒ͨ͠ ݸผͷೖྗΛਖ਼͘͠෼ྨ͢ΔΑ͏ʹ໌ࣔతʹ܇࿅ • ઀ઢ఻೻๏: ໌ࣔతʹ৽͍͠ೖྗ఺Λௐ΂Δඞཁ͸ͳ͘ɺ ղੳతʹਖ਼ଇԽ͢Δ͜ͱͰɺಛఆͷม׵ʹରԠ͢Δํ޲ ͷઁಈʹ఍߅͢ΔΑ͏ʹ͢Δ
53. ### ઀ઢ఻೻๏ͷܽ఺ • ඍখͳઁಈʹ͔͠఍߅Ͱ͖ͳ͍ • ਖ਼نԽઢܗϢχοτ (ReLU) ʹجͮ͘ϞσϧͰ͸ඍ খͷΞϓϩʔν͕ࠔ೉ • ඍ෼ΛॖখͰ͖Δͷ͸ɺϢχοτΛআ֎͢Δ͔ॏ

ΈΛॖখͨ͠৔߹ͷΈ • γάϞΠυ΍tanhͱ͸ҟͳΓɺେ͖ͳॏΈΛ࣋ͭ େ͖ͳ஋ʹ๞࿨ͤͯ͞ඍ෼Λখ͘͞Ͱ͖ͳ͍
54. ### ೋॏٯ఻೻๏ͱఢରతֶश ઀ઢ఻೻๏ ೋॏٯ఻೻๏ ʢϠίϏߦྻ͕খ͘͞ͳΔΑ͏ ʹਖ਼ଇԽʣ σʔλू߹֦ு ఢରతֶश ʢޓ͍ʹ͍ۙೖྗͷग़ྗ͕ಉ͡ ʹͳΔΑ͏ʹ܇࿅ʣ ಛఆํ޲ͷೖྗͷ

มԽʹରͯ͠ Ϟσϧ͕ෆม ͢΂ͯͷํ޲ͷೖྗͷ มԽʹରͯ͠ Ϟσϧ͕ෆม ඍখͳઁಈʹ ͷΈ఍߅Մೳ ඍখͰͳ͍ ઁಈʹ఍߅Մೳ
55. ### ଟ༷ମ઀෼ྨث • ଟ༷ମ෼ྨثͰ͸ɺࣗݾූ߸Խثʢ14ষʣΛ࢖ͬͯ઀ϕΫτϧΛਪ ఆ͢ΔͨΊɺϢʔβ͕઀ϕΫτϧΛࢦఆ͢Δඞཁ͕ͳ͍ 1.ࣗݾූ߸ԽثΛ࢖ͬͯڭࢣͳֶ͠शͰଟ༷ମͷߏ଄ (ଟ༷ମͷ઀ϕ Ϋτϧ) Λֶश 2.͜ΕΒͷ઀ϕΫτϧΛ࢖ͬͯχϡʔϥϧωοτϫʔΫ෼ྨثΛਖ਼ ଇԽ

(઀ઢ఻೻๏) • ࣗݾූ߸ԽثͰਪఆ͞Εͨ઀ϕΫτϧ͸ର৅ʹݻ༗ͳཁૉΛؚΉ • ը૾ͷҠಈɺճసɺ֦େॖখͱ͍ͬͨزԿֶత഑ஔ͔Βੜ͡Δෆ มੑΛ௒͑Δ • ྫ͑͹ɺ಄΍٭ͳͲର৅෺ͷ෦ҐͷҠಈ΍มԽʹ૬౰͢Δ