Deep Learning輪読会#4

by Takayuki Maeda

Slide 1

Slide 1 text

Deep Learningྠಡձ#4 ୈ̓ষޙ൒ લా ོ೭

Slide 2

Slide 2 text

7.9 ύϥϝʔλ߆ଋͱύϥϝʔλڞ༗

Slide 3

Slide 3 text

• ͜Ε·Ͱɺݻఆͨ͠ྖҬ΍఺ʹؔͯ͠ύϥϝʔλʹ ੍໿΍ϖφϧςΟΛՃ͑Δ͜ͱΛઆ໌ • L2ਖ਼ଇԽɿݻఆ஋0͔Βͷڑ཭ʹϖφϧςΟΛ՝ ͢ • ৔߹ʹΑͬͯ͸ɺϞσϧύϥϝʔλͷద੾ͳ஋ʹؔ ͢Δࣄલ஌ࣝΛදݱ͢Δผͷํ๏͕ඞཁ • ྫ͑͹ɺϞσϧύϥϝʔλؒͷґଘੑΛར༻

Slide 4

Slide 4 text

• ͋Δύϥϝʔλ͕ଞͷύϥϝʔλͱޓ͍ʹ͍ۙͱ͍ ͏ґଘੑΛදݱ͍ͨ͠৔߹ɺҎԼͷΑ͏ͳύϥϝʔ λϊϧϜϖφϧςΟΛར༻Մೳ • ڭࢣͳֶ͠शͰ܇࿅͞ΕͨϞσϧύϥϝʔλʹۙͮ ͚ΔͨΊʹɺڭࢣ͋ΓֶशͰ܇࿅͞ΕΔ෼ྨثͷϞ σϧύϥϝʔλΛਖ਼ଇԽ͢ΔΑ͏ͳ৔߹ʹར༻ ϞσϧA: ύϥϝʔλ , ࣸ૾  ϞσϧB: ύϥϝʔλ , ࣸ૾ ύϥϝʔλ߆ଋ ⌦(w(A), w(B)) = kw(A) w(B)k2 2 w(A) w(B) ˆ y(A) = f(w(A), x) ˆ y(B) = g(w(B), x)

Slide 5

Slide 5 text

ύϥϝʔλڞ༗ • ෳ਺ͷύϥϝʔλू߹͕౳͘͠ͳΔΑ͏ͳ੍໿Λ՝͢ਖ਼ଇԽ • ༷ʑͳϞσϧ΍Ϟσϧཁૉ͕ύϥϝʔλͷݻ༗ͷू߹Λڞ༗ • ύϥϝʔλͷ෦෼ू߹ʢݻ༗ͷू߹ʣ͚ͩΛϝϞϦʹอଘ͢ Ε͹͍͍ͨΊɺϝϞϦ࢖༻ྔͷେ෯࡟ݮʹܨ͕Δ΋ͷ΋͋Δ • ύϥϝʔλڞ༗ͷྫ: • ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ (CNN) • ϚϧνλεΫֶश • υϩοϓΞ΢τ

Slide 6

Slide 6 text

৞ΈࠐΈχϡʔϥϧωοτϫʔΫ • ࣗવͷը૾͸ม׵ͷલޙͰෆมͳ౷ܭతੑ࣭Λอ༗ • CNN͸ը૾಺ͷෳ਺ͷҐஔͰύϥϝʔλڞ༗͢Δ ͜ͱͰ͜ͷੑ࣭ΛऔΓࠐΉ • ύϥϝʔλڞ༗ʹΑΓҎԼΛ࣮ݱ • ύϥϝʔλͷܶతͳ࡟ݮ • ܇࿅σʔλΛ૿΍ͣ͞ʹωοτ  ϫʔΫαΠζΛ֦େՄೳ ষΑΓ

Slide 7

Slide 7 text

7.10 εύʔεදݱ

Slide 8

Slide 8 text

• ॏΈݮਰ͸ɺϞσϧύϥϝʔλʹ௚઀ϖφϧςΟΛ ՝ͯ͠ಈ࡞͢Δ • ผͳख๏͸ɺχϡʔϥϧωοτϫʔΫͷϢχοτͷ ׆ੑԽʹϖφϧςΟΛ՝ͯ͠ɺ׆ੑԽ͕εύʔεʹ ͳΔΑ͏ʹ͢Δ • ؒ઀తʹϞσϧύϥϝʔλʹෳࡶͳϖφϧςΟΛ ՝͢͜ͱʹ૬౰

Slide 9

Slide 9 text

ઢܗճؼͰͷεύʔεදݱ εύʔεͳύϥϝʔλɿ εύʔεͳදݱɿ جຊతʹӅΕϢχοτΛ࣋ͭϞσϧΛεύʔεʹͰ͖Δ 2 6 6 6 6 4 18 5 15 9 3 3 7 7 7 7 5 = 2 6 6 6 6 4 4 0 0 2 0 0 0 0 1 0 3 0 0 5 0 0 0 0 1 0 0 1 0 4 1 0 0 0 5 0 3 7 7 7 7 5 2 6 6 6 6 6 6 4 2 3 1 5 1 4 3 7 7 7 7 7 7 5 2 6 6 6 6 4 14 1 19 2 23 3 7 7 7 7 5 = 2 6 6 6 6 4 3 1 2 5 4 1 4 2 3 1 1 3 1 5 4 2 3 2 3 1 2 3 0 3 5 4 2 2 5 1 3 7 7 7 7 5 2 6 6 6 6 6 6 4 0 2 0 0 3 0 3 7 7 7 7 7 7 5 y 2 Rm x 2 Rn A 2 Rm⇥n B 2 Rm⇥n h 2 Rn y 2 Rm

Slide 10

Slide 10 text

දݱͷϊϧϜϖφϧςΟਖ਼ଇԽ • දݱͷϊϧϜϖφϧςΟਖ਼ଇԽɿ • εύʔεදݱΛ΋ͨΒ͢ϖφϧςΟͷྫɿ • L1ϖφϧςΟ • ενϡʔσϯτͷtࣄલ෼෍͔Βಋ͔ΕͨϖφϧςΟ • KLμΠόʔδΣϯεϖφϧςΟ • ෳ਺ࣄྫʹΘͨΔ׆ੑԽฏۉʹΑΔਖ਼ଇԽɻ  ϕΫτϧͷ֤੒෼͕0.01ͷΑ͏ͳ໨ඪ஋ʹۙͮ͘ ˜ J(✓; X, y) = J(✓; X, y) + ↵⌦(h) ↵ 2 [0, 1] ⌦(h) = khk1 = X i |hi |

Slide 11

Slide 11 text

׆ੑԽ஋ʹݫ੍͍͠໿Λ࣋ͭɹ εύʔεදݱ • ௚ަϚονϯά௥੻ (OMP-k: Orthogonal Matching Pursuit): • W͕௚ަ͢Δͱ͍͏੍໿ͷԼͰޮ཰తʹղ͚Δ • OMP-1͸ਂ͍ΞʔΩςΫνϟͰඇৗʹಛ௃తʹಛ ௃ྔΛநग़Ͱ͖Δ arg min h,khk0 k kx W hk2 khk0 ඇͷཁૉͷ਺

Slide 12

Slide 12 text

7.11 όΪϯά΍ͦͷଞͷ  Ξϯαϯϒϧख๏

Slide 13

Slide 13 text

Ξϯαϯϒϧख๏ ෳ਺ͷϞσϧͷ༧ଌ஋Λ౷߹͢Δ͜ͱͰ൚Խੑ΍ؤ݈ ੑΛ޲্͢Δख๏ • ϞσϧฏۉԽɿόϦΞϯεͷ࡟ݮ (൚Խޡࠩͷ࡟ݮ) • όΪϯά • ελοΩϯά • ϒʔεςΟϯά: όΠΞεͷ࡟ݮ

Slide 14

Slide 14 text

E 2 4 1 k X i ✏i !2 3 5 = 1 k2 E 2 4 X i 0 @✏2 i + X j6=i ✏i✏j 1 A 3 5 = 1 k v + k 1 k c = ( 1 k v (c = 0) v (c = v) ϞσϧฏۉԽ • ෳ਺ͷϞσϧΛผʑʹ܇࿅ͤͨ͞ޙɺͦΕΒͷϞσϧ͢΂ ͔ͯΒςετࣄྫʹର͢Δग़ྗΛ౤ථ • ௨ৗϞσϧ͕ҟͳΕ͹ɺಉ͡ςετࣄྫͰ͋ͬͯ΋͢΂͕ͯ ಉؒ͡ҧ͍Λ͠ͳ͍ͨΊɺ͏·͘ಇ͘ • ޡ͕ࠩฏۉ0ͷଟมྔਖ਼ن෼෍ʹै͏kݸͷճؼϞσϧͷྫ: ෼ࢄ E[✏2 i ] ڞ෼ࢄ E[✏i✏j] ֤Ϟσϧͷޡࠩ Ξϯαϯϒϧ༧ଌثͷ ظ଴ೋ৐ޡࠩ

Slide 15

Slide 15 text

όΪϯά (ϒʔτετϥοϓू໿) • ಉ͡छྨͷϞσϧɺΞϧΰϦζϜɺ໨తؔ਺Λෳ਺ճ࠶ར༻͠ ͨϞσϧฏۉԽख๏ • ֤ϞσϧʹରԠ͢Δσʔλू߹͸ɺݩσʔλ͔Βஔ͖׵͑ͯα ϯϓϦϯά͢Δ͜ͱͰϞσϧؒʹࠩҟ͕ੜ͡Δʢݩͷσʔλू ߹ͱେ͖͕͞ಉ͡৔߹ɺ͓Αͦ2/3ͷࣄྫؚ͕·ΕΔʣ

Slide 16

Slide 16 text

χϡʔϥϧωοτϫʔΫͰͷόΪϯά • χϡʔϥϧωοτϫʔΫͷ৔߹ɺ͢΂ͯͷϞσϧ͕ಉ͡σʔ λू߹Ͱ܇࿅Մೳ • ҎԼͷҧ͍ʹΑΓɺݸʑͷϞσϧʹ͸෦෼తʹಠཱͳޡࠩ ͕ੜ·ΕΔͨΊ • ϥϯμϜͳॳظԽ • ϛχόονͷϥϯμϜͳબ୒ • ϋΠύʔύϥϝʔλ • χϡʔϥϧωοτϫʔΫͷඇܾఆ࿦తͳ࣮૷݁Ռͷҧ͍

Slide 17

Slide 17 text

ϞσϧฏۉԽʹର͢Δ஫ऍ • Պֶ࿦จͰΞϧΰϦζϜΛϕϯνϚʔΫ͢Δࡍʹ͸ ϞσϧฏۉԽΛར༻͢Δ͜ͱ͸ਪ঑͞Εͳ͍ • ͲͷػցֶशΞϧΰϦζϜ͸ɺܭࢉྔͱϝϞϦফ අྔͷ૿ՃͱҾ͖׵͑ʹɺϞσϧฏۉԽ͔Βେ͖ ͳརӹΛಘΒΕΔͨΊ • ػցֶशίϯςετͰ͸ɺଟ਺ͷϞσϧʹରͯ͠Ϟ σϧฏۉԽΛ࢖͏ख๏ʹΑͬͯউར͢Δͷ͕౰ͨΓ લ୲͍ͬͯΔ

Slide 18

Slide 18 text

ϒʔεςΟϯά • ݸʑͷϞσϧΑΓਖ਼ଇԽ͞ΕΔͨΊͰͳ͘ɺߴ͍༰ ྔΛ࣋ͭΑ͏ʹΞϯαϯϒϧΛߏங • ϒʔεςΟϯάͷྫɿ • ΞϯαϯϒϧʹχϡʔϥϧωοτϫʔΫΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺχϡʔϥϧωοτϫʔΫͷΞϯ αϯϒϧΛߏங • χϡʔϥϧωοτϫʔΫʹӅΕϢχοτΛঃʑʹ ௥Ճ͢Δ͜ͱͰɺݸʑͷχϡʔϥϧωοτϫʔΫ ΛΞϯαϯϒϧͱͯ͠ղऍ

Slide 19

Slide 19 text

7.12 υϩοϓΞ΢τ

Slide 20

Slide 20 text

όΪϯάͱχϡʔϥϧωοτϫʔΫ • όΪϯάʹ͸ɺෳ਺ͷϞσϧͷ܇࿅ͱ֤ςετࣄྫʹର͢Δෳ ਺ͷϞσϧͷධՁ͕ඞཁ • ֤Ϟσϧ͕େن໛ͳχϡʔϥϧωοτϫʔΫͷ৔߹ɺϞσϧͷ ܇࿅΍ධՁ͸࣮ߦ࣌ؒͱϝϞϦͷ఺Ͱίετ͕͔͔ΔͨΊɺ࣮ ༻తͰ͸ͳ͍ • 5ݸ͔Β10ݸ·ͰͷΞϯαϯϒϧ͸Ұൠత • ͦΕҎ্ଟ͘ͳΔͱɺٸܹʹѻ͍ʹ͘͘ͳΔ • υϩοϓΞ΢τʹΑΓɺࢦ਺ؔ਺తʹଟ͘ͷχϡʔϥϧωοτ ϫʔΫΛूΊͨΞϯαϯϒϧͷ܇࿅ͱධՁͷͨΊͷɺ҆Ձͳۙ ࣅ͕ಘΒΕΔ

Slide 21

Slide 21 text

υϩοϓΞ΢τͷྫ • ग़ྗͰͳ͍Ϣχο τΛ࡟আ • ଟ͘ͷ৔߹ɺϢ χοτͷग़ྗ஋ ʹ0Λ͔͚Ε͹ ͍͍ • ૚͕޿͚Ε͹ແ ޮͳ෦෼ωοτ ϫʔΫʹͳΔՄ ೳੑ͸௿͍

Slide 22

Slide 22 text

υϩοϓΞ΢τͷֶश • ϛχόον͝ͱʹೋ஋ϚεΫμΛ ແ࡞ҝʹαϯϓϦϯά • μ͕1ʹͳΔ֬཰ (ϋΠύʔύϥ ϝʔλ) • ӅΕ૚: 0.5 • ೖྗ૚: 0.8 • ޙ͸௨ৗ௨Γֶश • ࢦ਺ؔ਺తʹେ͖ͳ਺ͷωοτϫʔ Ϋʹର͢ΔόΪϯάͷۙࣅΛ࣮ݱ

Slide 23

Slide 23 text

όΪϯάͱυϩοϓΞ΢τͷҧ͍ όΪϯά υϩοϓΞ΢τ ֤Ϟσϧ ಠཱ ύϥϝʔλू߹Λڞ༗͠ɺ਌ͷχϡʔϥϧω οτϫʔΫ͔Β෦෼ू߹Λܧঝ ܇࿅ ֤Ϟσϧ͸ͦΕ ͧΕͷ܇࿅ू߹ Ͱ܇࿅ ΄ͱΜͲͷϞσϧ͸໌ࣔతʹ܇࿅͞Εͳ͍ɻ Մೳͳ෦෼ωοτϫʔΫͷখ͞ͳ෦෼͕ε ςοϓͰ܇࿅͞Εɺύϥϝʔλڞ༗ʹΑΓ࢒ Γͷ෦෼ωοτϫʔΫ͕ྑ͍ઃఆͱͳΔ

Slide 24

Slide 24 text

υϩοϓΞ΢τͰͷਪ࿦ • Ϟσϧ͕֬཰෼෍Λग़ྗ͢Δ৔߹ͷΞϯαϯϒϧ༧ଌ • όΪϯάͷ৔߹ͷࢉज़ฏۉ: • υϩοϓΞ΢τͷ৔߹ͷࢉज़ฏۉ: • ਂ͍χϡʔϥϧωοτϫʔΫͷ৔߹ɺࢦ਺ؔ਺తͳ߲ ͷ୯७Խख๏΋ݟ͔͓ͭͬͯΒͣධՁࠔ೉ • ଟ਺(10ʙ20ݸ)ͷϚεΫ͔Βͷग़ྗͷฏۉͰۙࣅՄೳ 1 k k X i=1 p(i)(y|x) X µ p(µ)p(y|x, µ)

Slide 25

Slide 25 text

Slide 26

Slide 26 text

ॏΈεέʔϦϯάਪ࿦نଇ • ҎԼͷ৔߹ɺॏΈεέʔϦϯάਪ࿦نଇ͕ݫີ • ඇઢܗͷӅΕϢχοτΛ࣋ͨͳ͍ϞσϧΫϥεʢԼࣜʣ • ৚݅෇͖ਖ਼ن෼෍ग़ྗΛ࣋ͭճؼωοτϫʔΫ • ඇઢܗੑͷͳ͍ӅΕ૚Λ࣋ͭਂ͍ωοτϫʔΫ P(y = y|v) = softmax(W >v + b)y · · · ˜ Pensemble(y = y|v) / 2n v u u t Y d2{0,1}n exp ⇣ W > y,: (d v) + by ⌘ = exp 0 @ 1 2n X d2{0,1}n W > y,: (d v) + by 1 A = exp ✓ 1 2 W > y,: v + by ◆

Slide 27

Slide 27 text

ॏΈεέʔϦϯάਪ࿦نଇ • ඇઢܗੑΛ࣋ͭਂ͍Ϟσϧʹରͯ͠͸ۙࣅͰ͔͠ͳ͍ ͕ɺܦݧతʹ͸Α͘ػೳ͢Δ͜ͱ͕ଟ͍ • ͨͩ͠ɺਪ࿦ۙࣅͷ࠷దͳબ୒͸໰୊ʹґଘ • Ξϯαϯϒϧ༧ଌثʹରͯ͠ɺॏΈεέʔϦϯάۙ ࣅͷํ͕1000ݸ·Ͱͷ෦෼ωοτϫʔΫͷαϯϓϦ ϯάΛڐ༰ͨ͠ϞϯςΧϧϩۙࣅΑΓ΋෼ྨਫ਼౓ʹ ͓͚Δੑೳ͕ྑ͍ࣄΛ࣮ݧతʹൃݟ • 20ݸͷαϯϓϧͱϞϯςΧϧϩۙࣅͰ෼ྨਫ਼౓ͷ޲ ্͕ಘΒΕΔϞσϧ͕ଘࡏ͢Δ͜ͱΛൃݟ

Slide 28

Slide 28 text

υϩοϓΞ΢τͷར఺ • ॏΈݮਰ΍ϑΟϧλϊϧϜ੍໿ɺεύʔε׆ಈਖ਼ଇԽͱ͍ͬͨ ඪ४తͰܭࢉίετͷ௿͍ଞͷਖ਼ଇԽख๏ΑΓ΋ޮՌత • ͞ΒͳΔվળͷͨΊʹଞͷܗࣜͷਖ਼ଇԽͱ΋૊߹ͤՄೳ • ܭࢉྔ͕খ͍͞ • Ϟσϧ΍܇࿅खଓ͖ͷछྨʹॏେͳ੍ݶ͕ͳ͍ɻ෼ࢄදݱΛ࢖ͬ ͍ͯͯ֬཰ޯ഑๏ʹΑͬͯ܇࿅Ͱ͖ΔϞσϧͰ͋Ε͹ػೳ͢Δ • ॱ఻೻ܕχϡʔϥϧωοτϫʔΫ • ੍໿෇͖ϘϧπϚϯϚγϯͷΑ͏ͳ֬཰Ϟσϧ • ճؼ݁߹ܕχϡʔϥϧωοτϫʔΫ

Slide 29

Slide 29 text

(ࢀߟ) The deﬁnition of “distributed representation” • Each neuron must represent something, so this must be a local representation. • “Distributed representation” means a many-to- many relationship between two types of representation (such as concepts and neurons). • Each concept is represented by many neurons • Each neuron participates in the representation of many concepts IUUQXXXDTUPSPOUPFEVdCPOOFSDPVSTFTTDTDMFDUVSFTMFDQEG

Slide 30

Slide 30 text

υϩοϓΞ΢τʹ͓͚Δ஫ҙ఺ • ܭࢉίετ͕େ͖͘ͳΔՄೳੑ͕͋Δ • ਖ਼ଇԽʹΑΔϞσϧͷදݱྗ࡟ݮΛ૬ࡴ͢ΔͨΊɺϞσϧα Πζͷ֦େ΍ɺ܇࿅ͷ൓෮਺ͷ૿Ճ͕ඞཁ • σʔλू߹͕େ͖͍৔߹ɺਖ਼ଇԽʹΑΔ൚Խޡࠩͷݮগ͕ಘ ΒΕʹ͍͘ • ϥϕϧ͋Γ܇࿅ࣄྫ͕ۃ୺ʹগͳ͍৔߹ɺଞͷख๏ͷํ͕༏Ґ ͳ৔߹΋͋Δ • ϕΠδΞϯχϡʔϥϧωοτϫʔΫ • ௥ՃͰϥϕϧͳ͠σʔλ͕ར༻Մೳͳ৔߹ɺڭࢣͳ͠ͷಛ௃ ྔֶश

Slide 31

Slide 31 text

ઢܗճؼͱυϩοϓΞ΢τ • ઢܗճؼʹυϩοϓΞ΢τΛద༻ͨ͠৔߹ɺೖྗಛ ௃ྔͦΕͧΕʹҟͳΔ܎਺Λ࣋ͭL2ॏΈݮਰͱ౳Ձ • ֤ಛ௃ྔͷॏΈݮਰ܎਺ͷେ͖͞͸ͦͷ෼ࢄͰܾ ·Δ • ଞͷઢܗϞσϧͰ΋ಉ༷ • ਂ͍ϞσϧͰ͸ɺυϩοϓΞ΢τͱॏΈݮਰ͸౳Ձ Ͱͳ͍

Slide 32

Slide 32 text

ߴ଎υϩοϓΞ΢τ • ෦෼Ϟσϧͷ૯࿨Λ֬཰తͰͳ͘෼ੳతʹۙࣅΛಋग़ • ޯ഑ܭࢉʹ͓͚Δ֬཰ੑ࡟ݮʹΑΓऩଋ·Ͱͷ͕࣌ؒ ૣ͘ͳΔ • ॏΈεέʔϦϯάۙࣅΑΓݪଇʹଇͬͨۙࣅͱͯ͠ς ετ࣌ʹ΋ద༻Մೳʢͨͩ͠ܭࢉྔ͸େ͖͘ͳΔʣ • খن໛ͳχϡʔϥϧωοτϫʔΫͰ͸ඪ४తͳυϩο ϓΞ΢τͱ΄΅ಉ͡ੑೳ • େن໛ͳωοτϫʔΫͷ໰୊ʹ͸ద༻͞Ε͍ͯͳ͍

Slide 33

Slide 33 text

υϩοϓΞ΢τϒʔεςΟϯά • ֬཰ੑ͸ɺߴ଎υϩοϓΞ΢τͷΑ͏ʹυϩοϓΞ΢τͰ ਖ਼ଇԽͷޮՌΛ্͛ΔͨΊͷඞཁ৚݅Ͱͳ͍͕ɺे෼৚݅ Ͱ΋ͳ͍ • υϩοϓΞ΢τͱಉ͡ϚεΫϊΠζΛ࢖͏͕ਖ਼ଇԽͷޮՌ Λܽ͘Α͏ʹઃܭ͞ΕͨυϩοϓΞ΢τϒʔεςΟϯάΛ ࢖࣮ͬͨݧʹΑΓূ໌ • υϩοϓΞ΢τϒʔεςΟϯάͰ͸ਖ਼ଇԽͷޮՌ͕΄ͱ ΜͲಘΒΕͳ͍ • υϩοϓΞ΢τΛόΪϯάͱͯ͠ղऍ͢Δ͜ͱͷํ͕ɺϊ Πζʹରͯ͠ؤ݈Ͱ͋Δͱղऍ͢ΔΑΓ΋Ձ஋͕͋Δ

Slide 34

Slide 34 text

υϩοϓΞ΢τʹӨڹΛड͚ͨ ଞͷ֬཰తΞϓϩʔν • υϩοϓΞ΢τ͸ɺॏΈΛڞ༗͢ΔϞσϧͰߏ੒͞ Εͨࢦ਺ؔ਺తͳେ͖͞ͷΞϯαϯϒϧΛ܇࿅͢Δ ଞͷ֬཰తͳΞϓϩʔνʹӨڹΛٴ΅͍ͯ͠Δ • υϩοϓίωΫτ • ֬཰తϓʔϦϯά • ฏۉ1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ஋ • υϩοϓΞ΢τ͸ɺࠓ࠷΋޿͘࢖ΘΕ͍ͯΔ҉໧త ͳΞϯαϯϒϧख๏

Slide 35

Slide 35 text

υϩοϓίωΫτ • 1ͭͷεΧϥʔͷॏΈͱ1ͭͷӅΕϢχοτͷঢ়ଶN ͷੵΛυϩοϓ υϩοϓΞ΢τ υϩοϓίωΫτ Ҿ༻IUUQTDTOZVFEVdXBOMJESPQD

Slide 36

Slide 36 text

֬཰తϓʔϦϯά • ແ࡞ҝͷϓʔϦϯάͷҰछ • ৞ΈࠐΈωοτϫʔΫͷΞϯαϯϒϧΛߏங • ֤ωοτϫʔΫ͸֤ಛ௃ྔϚοϓͷۭؒతʹผͳҐ ஔΛ୲౰ Ҿ༻IUUQTBSYJWPSHQEGQEG

Slide 37

Slide 37 text

ظ଴஋1ͷΨ΢ε෼෍ʹجͮ͘ϚεΫ • ֬཰తͳಈ࡞ʹΑΔωοτϫʔΫͷ܇࿅ͱɺෳ਺ͷ֬཰తͳ ܾఆΛฏۉ͢Δ༧ଌ͸ɺόΪϯάͷҰܗଶͱ࣮ͯ͠૷ • υϩοϓΞ΢τ͸ϢχοτΛแؚ͢Δ͔আ֎͢Δ͔Ͱߏ ੒͞ΕΔϞσϧͷΞϯαϯϒϧΛόΪϯά • ϞσϧͷฏۉԽख๏͕แؚͱআ֎ʹجͮ͘ඞཁ͸ͳ͍ʢྫ ͑͹μ͕0/1ͷΑ͏ʹ༗ݶͰͳ࣮͘਺ʣ • ॏΈͱ ɹ Λֻ͚Δ͜ͱͰೋ஋ϚεΫʹجͮ͘υϩο ϓΞ΢τͷੑೳΛ௒͑Δ • ɹ Ͱ͋ΔͨΊɺਪ࿦࣌ʹॏΈεέʔϦϯά͕ෆཁ µ ⇠ N (1, I) E(µ) = 1

Slide 38

Slide 38 text

ύϥϝʔλڞ༗ͱͯ͠ͷυϩοϓΞ΢τ • υϩοϓΞ΢τ͸ɺόΪϯάͨ͠ϞσϧͷΞϯαϯϒϧ͚ͩ Ͱͳ͘ɺӅΕϢχοτΛڞ༗͢ΔϞσϧͷΞϯαϯϒϧ΋܇ ࿅ • Ϟσϧͷ֤ӅΕϢχοτ͸ɺଞͷӅΕϢχοτʹؔΘΒ ͣྑ͍ੑೳΛൃش • ֤ӅΕϢχοτ͸ϞσϧؒͰަ׵΍ஔ׵͕Մೳ • ֤ӅΕϢχοτ͕୯ʹྑ͍ಛ௃ྔͱ͍͏͚ͩͰͳ͘ɺଟ ͘ͷ؍఺Ͱྑ͍ಛ௃ྔͱͳΔΑ͏ʹਖ਼ଇԽ • ൚Խޡࠩͷվળ͸ɺಠཱͨ͠ϞσϧͷΞϯαϯϒϧΑΓ΋υ ϩοϓΞ΢τͷํ͕େ͖͍

Slide 39

Slide 39 text

υϩοϓΞ΢τʹ͓͚Δॏཁͳ؍఺ • ϚεΫϊΠζ͕ӅΕϢχοτʹద༻ • ೖྗͷݩʑͷՁ஋Λഁյͱ͍͏ΑΓ͸ɺೖྗʹؚ·ΕΔ ৘ใΛߴ౓ʹ஌తͰదԠతʹഁյ • ඓ͕ͳͯ͘΋إΛݕ஌Ͱ͖ΔΑ͏ʹͳΔྫ • ೖྗը૾͔ΒϊΠζ௥ՃͰඓ͚ͩΛআڈ͢Δͷ͸ࠔ೉ • ϊΠζ͕৐ࢉ • ϊΠζ͕ݻఆഒ཰ͰՃࢉͰ͋ΔͳΒɺӅΕϢχοτ͸ϊ Πζ͕ൺֱతॏཁͰͳ͘ͳΔΑ͏ʹ ͕ඇৗʹେ͖͘ͳ ΔපཧతͳղΛֶश hi

Slide 40

Slide 40 text

όονਖ਼نԽͱυϩοϓΞ΢τ • όονਖ਼نԽ͸ɺ܇࿅࣌ʹՃࢉ΍৐ࢉͰӅΕϢχο τʹϊΠζΛಋೖͯ͠ϞσϧΛ࠶ύϥϝʔλԽ • ओͳ໨త͸࠷దԽͷվળ͕ͩɺϊΠζʹ͸ਖ਼ଇԽͷ ޮՌ΋͋Γ • υϩοϓΞ΢τ͕ෆཁʹͳΔ৔߹΋͋Δ • ྆ํΛద༻͢Δͱѱ͍ੑೳΛҾ͖ى͜͢͜ͱ΋͋ Δ (https://arxiv.org/pdf/1801.05134.pdf)

Slide 41

Slide 41 text

7.13 ఢରతֶश

Slide 42

Slide 42 text

ఢରతࣄྫ

Slide 43

Slide 43 text

ఢରతֶश • ܇࿅ू߹ʹఢରతͳՃ޻Λͨ͠ࣄྫֶशʹΑΓɺݩͷi.i.d.ςετू߹ʹ͓ ͚ΔޡΓ཰Λ࡟ݮͰ͖Δ • ఢରతࣄྫ͸ա౓ͷઢܗੑ͕ओͳݪҼͷ1ͭ • χϡʔϥϧωοτϫʔΫ͸ओʹઢܗੑʹؔ࿈ͨ͠ߏ੒ཁૉΛݩʹߏங • શମతͳؔ਺΋ɺ݁Ռతʹߴ͍ઢܗੑΛ࣋ͭ • ࠷దԽ͕༰қͳҰํɺೖྗͷ਺͕๲େͰ͋Ε͹ɺઢܗؔ਺ͷ஋͕ٸܹʹ มԽ͢ΔՄೳੑ͕͋Δ (֤ೖྗ͕ มԽͨ͠৔߹ɺ࠷େͰ มԽ) • ఢରతֶशʹΑΓ܇࿅σʔλۙ๣ͰͷણࡉͰہॴతʹઢܗͳڍಈΛ๦֐Մ • ہॴෆมੑͷࣄલ஌ࣝΛڭࢣ͋Γχϡʔϥϧωοτʹ໌ࣔతʹಋೖ ✏ ✏kwk1

Slide 44

Slide 44 text

Ծ૝ఢରతࣄྫʹΑΔ൒ڭࢣ͋Γֶश • σʔλͳ͠ͷσʔλ͕ଘࡏ͢Δଟ༷ମʹԊͬͯɺͲ ͜ʹ͓͍ͯ΋খ͞ͳมԽʹରͯ͠ؤ݈ͳؔ਺Λֶश • σʔλू߹ͷதͰϥϕϧ͕෇༩͞Ε͍ͯͳ͍఺ ʹ ͓͍ͯɺϞσϧͰϥϕϧ ΛׂΓ౰ͯΔ • ෼ྨثʹ Ͱ͋Δϥϕϧ Λग़ྗͤ͞Δఢର తࣄྫ Λ୳͢(Ծ૝తఢରࣄྫ) • ෼ྨث͕ ͱ ʹಉ͡ϥϕϧΛׂΓ౰ͯΔΑ͏ʹ ֶशͤ͞Δ x ˆ y y0 6= ˆ y y0 x x0 x0

Slide 45

Slide 45 text

ଟ༷ମ  l1BOEBz ଟ༷ମ  l(JCCPOz ❌ খ͞ͳઁಈͰ͸  ଟ༷ମΛඈ΂ͳ͍

Slide 46

Slide 46 text

7.14 ઀ڑ཭ɺ઀ઢ఻ൖ๏ɺ  ͦͯ͠ଟ༷ମ઀෼ྨث

Slide 47

Slide 47 text

• ػցֶशΞϧΰϦζϜͷଟ͘͸ɺσʔλ͕௿࣍ݩଟ ༷ମͷۙ๣ʹ͋ΔͱԾఆ͢Δ͜ͱͰ࣍ݩͷढ͍Λࠀ ෰ • ଟ༷ମԾઆΛ׆༻ • ઀ڑ཭ΞϧΰϦζϜ • ઀఻೻ΞϧΰϦζϜ • ଟ༷ମ઀෼ྨث

Slide 48

Slide 48 text

઀ڑ཭ΞϧΰϦζϜ • ଟ༷ମԾઆΛ׆༻ͨ͠ॳظͷࢼߦͷ1ͭ • ϊϯύϥϝτϦοΫͳ࠷ۙ๣ΞϧΰϦζϜ • ϢʔΫϦουڑ཭Ͱ͸ͳ͘ɺͦͷۙ๣Ͱ֬཰͕ूத͍ͯ͠Δͱ͍͏ଟ ༷ମͷ஌͔ࣝΒಘΒΕͨࢦඪΛར༻ • ఺ ͱ ؒͷ࠷ۙ๣ڑ཭ͱͯ͠ɺͦΕͧΕ͕ଐ͢Δଟ༷ମ ͱ ؒͷڑ཭Λ࢖͏ͷ͕ଥ౰ • ෼ྨث͸ଟ༷ମ্ͷಈ͖ʹରԠ͢ΔہॴతཁҼʹରͯ͠ෆมͷͨΊ • ܭࢉ্ࠔ೉͔΋͠Εͳ͍ͨΊɺ Λ Ͱͷ઀ฏ໘Ͱۙࣅ͠ɺ2ͭͷ ฏ໘ؒͷڑ཭ΛଌΔ͔ɺ1ͭͷ઀ฏ໘ͱ1ͭͷ఺ͷؒͷڑ཭ΛଌΔํ ๏͕͋Δ x1 x2 xi M1 M2 Mi

Slide 49

Slide 49 text

Ҿ༻IUUQTQBQFSTOJQTDDQBQFS F⒏DJFOUQBUUFSOSFDPHOJUJPOVTJOHBOFX USBOTGPSNBUJPOEJTUBODFQEG ষΑΓ

Slide 50

Slide 50 text

઀ઢ఻೻ΞϧΰϦζϜ • χϡʔϥϧωοτϫʔΫͷ֤ग़ྗ Λط஌ͷมಈཁҼʢը ૾ͷҠಈɺճసɺ֦େॖখͳͲʣʹରͯ͠ہॴతʹෆมͳ෼ ྨثΛ܇࿅ • ͕ ʹ͓͚Δط஌ͷଟ༷ମͷ઀ϕΫτϧ ʹର ͯ͠௚ަ͍ͯ͠Δ • ҎԼͷΑ͏ͳਖ਼ଇԽϖφϧςΟΛ௥Ճ͢Δ͜ͱͰɺ ํ ޲ʹରͯ͠ Ͱͷ ͷํ޲ඍ෼͕খ͘͞ͳΔ • ڭࢣ͋Γֶश͚ͩͰͳ͘ɺڧԽֶशͷ؍఺Ͱ΋࢖ΘΕ͖ͯͨ ⌦(f) = X i ⇣ (rxf(x))>v(i) ⌘2 rxf(x) x v(i) f v(i) x f(x)

Slide 51

Slide 51 text

No content

Slide 52

Slide 52 text

઀ઢ఻೻๏ͱσʔλू߹֦ுͱͷؔ܎ • ڞ௨఺ • ωοτϫʔΫͷग़ྗΛม͑ͳ͍ม׵ͷू߹Λࢦఆ͢Δ͜ ͱͰɺλεΫʹؔ͢Δࣄલ஌ࣝΛූ߸Խ • ҧ͍ • σʔλू߹֦ு: গͳ͘ͳ͍ճ਺ͷม׵Λࢪͯ͠ੜ੒ͨ͠ ݸผͷೖྗΛਖ਼͘͠෼ྨ͢ΔΑ͏ʹ໌ࣔతʹ܇࿅ • ઀ઢ఻೻๏: ໌ࣔతʹ৽͍͠ೖྗ఺Λௐ΂Δඞཁ͸ͳ͘ɺ ղੳతʹਖ਼ଇԽ͢Δ͜ͱͰɺಛఆͷม׵ʹରԠ͢Δํ޲ ͷઁಈʹ఍߅͢ΔΑ͏ʹ͢Δ

Slide 53

Slide 53 text

઀ઢ఻೻๏ͷܽ఺ • ඍখͳઁಈʹ͔͠఍߅Ͱ͖ͳ͍ • ਖ਼نԽઢܗϢχοτ (ReLU) ʹجͮ͘ϞσϧͰ͸ඍ খͷΞϓϩʔν͕ࠔ೉ • ඍ෼ΛॖখͰ͖Δͷ͸ɺϢχοτΛআ֎͢Δ͔ॏ ΈΛॖখͨ͠৔߹ͷΈ • γάϞΠυ΍tanhͱ͸ҟͳΓɺେ͖ͳॏΈΛ࣋ͭ େ͖ͳ஋ʹ๞࿨ͤͯ͞ඍ෼Λখ͘͞Ͱ͖ͳ͍

Slide 54

Slide 54 text

ೋॏٯ఻೻๏ͱఢରతֶश ઀ઢ఻೻๏ ೋॏٯ఻೻๏ ʢϠίϏߦྻ͕খ͘͞ͳΔΑ͏ ʹਖ਼ଇԽʣ σʔλू߹֦ு ఢରతֶश ʢޓ͍ʹ͍ۙೖྗͷग़ྗ͕ಉ͡ ʹͳΔΑ͏ʹ܇࿅ʣ ಛఆํ޲ͷೖྗͷ มԽʹରͯ͠ Ϟσϧ͕ෆม ͢΂ͯͷํ޲ͷೖྗͷ มԽʹରͯ͠ Ϟσϧ͕ෆม ඍখͳઁಈʹ ͷΈ఍߅Մೳ ඍখͰͳ͍ ઁಈʹ఍߅Մೳ

Slide 55

Slide 55 text

ଟ༷ମ઀෼ྨث • ଟ༷ମ෼ྨثͰ͸ɺࣗݾූ߸Խثʢ14ষʣΛ࢖ͬͯ઀ϕΫτϧΛਪ ఆ͢ΔͨΊɺϢʔβ͕઀ϕΫτϧΛࢦఆ͢Δඞཁ͕ͳ͍ 1.ࣗݾූ߸ԽثΛ࢖ͬͯڭࢣͳֶ͠शͰଟ༷ମͷߏ଄ (ଟ༷ମͷ઀ϕ Ϋτϧ) Λֶश 2.͜ΕΒͷ઀ϕΫτϧΛ࢖ͬͯχϡʔϥϧωοτϫʔΫ෼ྨثΛਖ਼ ଇԽ (઀ઢ఻೻๏) • ࣗݾූ߸ԽثͰਪఆ͞Εͨ઀ϕΫτϧ͸ର৅ʹݻ༗ͳཁૉΛؚΉ • ը૾ͷҠಈɺճసɺ֦େॖখͱ͍ͬͨزԿֶత഑ஔ͔Βੜ͡Δෆ มੑΛ௒͑Δ • ྫ͑͹ɺ಄΍٭ͳͲର৅෺ͷ෦ҐͷҠಈ΍มԽʹ૬౰͢Δ