ガウス過程と機械学習 3章後半

by Asei Sugiyama

Slide 1

Slide 1 text

Ψ΢εաఔͱػցֶश 3.4 - 3.6

Slide 2

Slide 2 text

ࣗݾ঺հ • ਿࢁ Ѩ੟ • Software Engineer @Repro • ػցֶशͱ͔౷ܭͱ͔։ൃͱ͔ • ػցֶशਤؑ ڞஶ

Slide 3

Slide 3 text

ํ਑ & ग़య • Ψ΢εաఔͱػցֶशͷ 3.4 - 3.6 Λத৺ʹѻ͍·͢ • ग़యΛ໌ه͍ͯ͠ͳ͍ਤ͸͜ͷॻ੶ ͔ΒͷҾ༻Ͱ͢ • ͚ͩ͜͜Λ࿩͢ͷ͸೉͍͠ͷͰɺ෮श ͔ΒೖΓ·͢ • ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • 3.1 - 3.3 • 3.4 - 3.6

Slide 4

Slide 4 text

಺༰ ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ

Slide 5

Slide 5 text

໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ <- 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

Slide 6

Slide 6 text

ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • ஶऀ : ਢࢁರࢤ (@sammy_suyama) • ଞʹ͸ʮϕΠζਂ૚ֶशʯ • ϕΠζਪ࿦ͷجૅʹ͍ͭͯͷຊ • ࣍ͷ಺༰Λ෮श͢Δ 1.ϕΠζਪ࿦ 2.MCMC (ΪϒεαϯϓϦϯά) 3.ઢܗճؼ 4.ϩδεςΟοΫճؼ

Slide 7

Slide 7 text

ϕΠζਪ࿦ ܇࿅σʔλͷू߹Λ ɺϞσϧͷύϥϝʔλʔΛ ɺະ؍ଌͷ σʔλΛ ͱͯ͠ • Ϟσϧ : • ֶश : • ਪ࿦ :

Slide 8

Slide 8 text

MCMC (ΪϒεαϯϓϦϯά) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ

Slide 9

Slide 9 text

ઢܗճؼ • ೖྗ஋Λ ग़ྗ஋Λ ॏΈΛ , ϊΠζ੒෼Λ ͱ͠ ͯɺઢܗճؼ͸ ͱఆࣜԽͰ͖Δ • ϊΠζʹ͍ͭͯ ΛԾఆ͢Δͱɺग़ྗ ͸ ͱਖ਼ن෼෍ʹै͏ • ॏΈʹ͍ͭͯ ΛԾఆ͢Δͱɺࣄޙ෼෍ ͕ਖ਼ن෼෍ʹै͏ (ϕΠζਪ࿦ͷҙຯͰֶशՄೳ)

Slide 10

Slide 10 text

ϩδεςΟοΫճؼ (1/3) ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε Δ΋ͷͱ͢Δɻ ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ

Slide 11

Slide 11 text

ϩδεςΟοΫճؼ (2/3) • ֶशͷͨΊʹೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β ͷࣄޙ෼෍Λܭࢉ • Softmax ؔ਺͕ೖͬͯ͠·͍ͬͯΔͨΊʹࣄޙ෼෍Λղੳత ʹܭࢉͰ͖ͳ͍ͷͰม෼ਪ࿦Λߦ͍ɺۙࣅղΛܭࢉ • ͱͯ͠ KL μΠόʔδΣ ϯε Λ࠷খԽ͢Δ (ม෼ਪ࿦)

Slide 12

Slide 12 text

ϩδεςΟοΫճؼ (3/3) • ୈ 3 ߲ΛղੳతʹܭࢉͰ͖ͳ͍ͷͰޯ഑๏ͰۙࣅղΛٻΊΔ • ϞϯςΧϧϩ๏ʹ͓͍ͯɺ ͕ಘΒΕͨͷͩͱΈͳ͢ ( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) ࠶ύϥϝʔ λʔԽτϦοΫʹΑΓޯ഑͕ܭࢉͰ͖Δ

Slide 13

Slide 13 text

ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ Recap ߲໨ ϙΠϯτ 1. ϕΠζਪ࿦ ֶशͰ΋ਪ࿦Ͱ΋֬཰෼෍Λߟ͑Δ 2. MCMC (ΪϒεαϯϓϦϯά) ෳࡶͳ෼෍Λۙࣅ͢Δख๏͕͋Δ 3. ઢܗճؼ ॏΈΛ֬཰ม਺ͩͱଊֶ͑ͯश͢Δ 4. ϩδεςΟοΫճؼ ޯ഑߱Լ๏ΛϕΠζͰ΋࢖͑Δ

Slide 14

Slide 14 text

༨ஊ ϕΠζਂ૚ֶश • ୈ 1 ষ ͸͡Ίʹ • ୈ 2 ষ χϡʔϥϧωοτϫʔΫͷج ૅ • ୈ 3 ষ ϕΠζਪ࿦ͷجૅ • ୈ 4 ষ ۙࣅϕΠζਪ࿦ • ୈ 5 ষ χϡʔϥϧωοτϫʔΫͷϕ Πζਪ࿦ • ୈ 6 ষ ਂ૚ੜ੒Ϟσϧ • ୈ 7 ষ ਂ૚ֶशͱΨ΢εաఔ

Slide 15

Slide 15 text

໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ <- 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

Slide 16

Slide 16 text

Ψ΢εաఔ֓ཁ ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ 3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ

Slide 17

Slide 17 text

Ψ΢εաఔͷఆٛ • Wikipedia (English) ͷఆٛ͸࣍ ͷ௨Γ ֬཰աఔ ͕࣍ͷ৚݅Λຬͨ ͢ͱ͖ɺΨ΢εաఔͱݺͿɻ ఴࣈू߹ ͷ೚ҙͷ༗ݶ෦෼ू߹ ʹର͠ɺ ͕ଟ࣍ݩਖ਼ن෼ ෍ʹै͏ɻ

Slide 18

Slide 18 text

Χʔωϧؔ਺ͷಋೖ ؔ਺ ͕࣍Λຬͨ͢ͱ͖ɺਖ਼ఆ஋Χʔωϧͱݴ͏ ೚ҙͷ ʹର͠ 1. (ରশੑ) 2. (ਖ਼ఆ஋ੑ) ಺ੵͷҰൠԽͰ͋Γɺσʔλؒͷྨࣅ౓Λද͢ (ཧ༝͸͋ͱͰ)

Slide 19

Slide 19 text

Χʔωϧؔ਺ͱάϥϜߦྻ ೚ҙͷσʔλྻ ͱΧʔωϧؔ਺ ʹର͠ɺߦྻ ͷ੒෼ Λ࣍Ͱఆٛͨ͠΋ͷΛάϥϜߦྻ·ͨ͸ ΧʔωϧߦྻͱݺͿ • Χʔωϧؔ਺Λ༻͍ͨڞ෼ࢄߦྻͷҰൠԽ • Χʔωϧؔ਺ͷਖ਼ఆ஋ੑ͸άϥϜߦྻͷݻ༗஋͕શͯ 0 Ҏ্ Ͱ͋Δ͜ͱʹಉ͡

Slide 20

Slide 20 text

ิ଍ Mercer ͷఆཧ • ਖ਼ఆ஋Χʔωϧ ʹରͯ͠͸ɺ࣍Λຬ ͨ͢Α͏ͳಛ௃ۭؒ΁ͷࣹӨ ͕ ଘࡏ͢Δɺͱ͍͏ఆཧ • ࣹӨ͢Δಛ௃ۭؒͷ࣍ݩ͸Ұൠʹ͸༗ ݶͰͳ͍ • ͭ·Γຊ౰ʹӈͷΑ͏ʹͳ͍ͬͯΔͱ ࢥͬͯ΋ྑ͍ (ػցֶशਤ͔ؑΒൈਮ)

Slide 21

Slide 21 text

Ψ΢εաఔͷఆٛ (Χʔωϧ๏)

Slide 22

Slide 22 text

؍ଌϊΠζͱΧʔωϧؔ਺ • ઢܗճؼ ʹ͓͍ͯɺ ͱ ͓͖ɺ ͱ ΛԾఆ͢Δ • ͜ͷͱ͖ Ͱ ( ͱͨ͠) • ͕ਖ਼ఆ஋Ͱ͋Δ͜ͱͱɺΧʔωϧؔ਺͸࿨ʹดͯ͡ ͍Δ͜ͱΛ༻͍Δͱ ͱ͍͏ ৽͍͠Χʔωϧؔ਺Λఆٛͨ͠ͱΈͳͤΔ

Slide 23

Slide 23 text

Ψ΢εաఔ֓ཁ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ 3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ

Slide 24

Slide 24 text

໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ <- 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

Slide 25

Slide 25 text

Ψ΢εաఔճؼϞσϧ ߲໨ ಺༰ 1. Ψ΢εաఔͷ༧ଌ෼෍ Ψ΢εաఔͰͷਪ࿦ํ๏ 2. Ψ΢εաఔճؼͷܭࢉ ࣮૷ํ๏ͱܭࢉྔ 3. Ψ΢εճؼաఔͷཁૉදݱ ଞͷख๏ͱͷؔ࿈

Slide 26

Slide 26 text

Ψ΢εաఔͷ༧ଌ෼෍ • ֶशσʔλ Λ࢖ͬͯະ஌σʔλ ʹର͢Δग़ྗ Λ༧ଌ͍ͨ͠ ( ͱ͢Δ) • ͱ͍͏ؔ܎͕͋Γ ͱ͢Δ • ͷै͏෼෍͸άϥϜߦྻ Λ༻͍Δͱɺ (Ψ΢εաఔͷఆٛΑΓ) • ະ஌σʔλͰ͸Ͳ͏͢΂͖͔Λߟ͍͑ͨ

Slide 27

Slide 27 text

ະ஌σʔλʹର͢Δਪ࿦ (1/2) • ະ஌ͷೖྗ ʹର͢Δग़ྗ Λؚ ΊͯάϥϜߦྻΛܭࢉͯ͠ਪ࿦͢Δ • ະ஌σʔλΛՃ͑ͨग़ྗ ͱɺະ஌σʔλΛ Ճ͑ͨάϥϜߦྻ Λܭࢉ͢Δ • ະ஌σʔλΛؚΊͨग़ྗͷ෼෍ (ط஌ σʔλͱະ஌σʔλͷಉ࣌֬཰෼෍) ͕ਪ࿦Ͱ͖Δ

Slide 28

Slide 28 text

ະ஌σʔλʹର͢Δਪ࿦ (2/2) • ಉ࣌෼෍ ͔Β৚݅෇͖֬཰෼ ෍ ΛٻΊΔ • ଟ࣍ݩਖ਼ن෼෍ͷҰ෦͕༩͑ΒΕͨͱ ͖ͷ݁ՌΛ༻͍Δ • ະ஌σʔλ͕ෳ਺͋Δͱ͖΋ಉ༷

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

Ψ΢εաఔճؼͷܭࢉ (1/2) • ֬཰෼෍ ͷύϥ ϝʔλͷܭࢉʹ͓͍ͯɺ ͷܭࢉ͕ඞཁ • ٯߦྻͷܭࢉͰ͸ϥϯΫ (͜͜Ͱ͸σʔλྔ) ʹରͯ͠ܭ ࢉྔ͕ ඞཁʹͳΔͨΊͳΜͱ͔ͯ͠ճආ͍ͨ͠ • Ψ΢γΞϯΧʔωϧͰ͸ճආͰ͖Δ • ৄ͘͠͸ 5 ষͰ!

Slide 31

Slide 31 text

Ψ΢εաఔճؼͷܭࢉ (2/2) • ۪௚ͳ࣮૷ͰؾʹͳΔՕॴΛݕ౼͢Δ • K[n, n'] ͷϝϞϦফඅྔ͕σʔλ਺ ʹରͯ͠ • ٯߦྻͷܭࢉྔ͕ߴ͍ ( ) • άϥϜߦྻͷܭࢉྔ΋ߴ͍ ( ) • train ʹ֘౰͢Δ෦෼͕ͳ͍ • άϥϜߦྻΛهԱ͢Δ͚ͩ • ޙ΄Ͳ࠶ݕ౼

Slide 32

Slide 32 text

Ψ΢εճؼաఔͷཁૉදݱ (1/3) • ฏۉ஋ʹ͍ͭͯݕ౼͢Δ • ͱ͓͘ͱɺ

Slide 33

Slide 33 text

Ψ΢εճؼաఔͷཁૉදݱ (2/3) • Λݕ౼͢Δ ( ͸ݻఆͯ͠ߟ͑Δ) • ͸ ൪໨ͷσʔλͱະ஌ σʔλͷྨࣅ౓ • ͸ ൪໨ͷσʔλͱͷ ൪໨ͷσʔ λͷؔ࿈౓߹͍ • ͸ະ஌σʔλ͕ ൪໨ͷط஌σʔλ ͱͲΕ͚ͩؔ࿈͢Δ͔ɺશମతͳฏۉ Λͱͬͨ΋ͷ

Slide 34

Slide 34 text

Ψ΢εճؼաఔͷཁૉදݱ (3/3) • , ͱఆ ٛ͢Δͱɺ࣍ͷΑ͏ʹॻ͚Δ* • ͜ͷܭࢉ͸άϥϑߏ଄Ͱ͔͚Δ * ӈਤͱ͸ผͷఆٛ

Slide 35

Slide 35 text

Ψ΢εաఔճؼϞσϧ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷ༧ଌ෼෍ ਪ࿦͸Χʔωϧؔ਺Λ༻͍ͨط஌ͷσ ʔλͱͷྨࣅ౓ܭࢉ͔ΒͰ͖Δ 2. Ψ΢εաఔճؼͷܭࢉ ۩ମతͳ࣮૷Ͱ͸ٯߦྻͷܭࢉ͕ܭࢉ ͷେ൒Λ઎ΊΔ 3. Ψ΢εճؼաఔͷཁૉදݱ αϙʔτϕΫτϧϚγϯ΍χϡʔϥϧ ωοτϫʔΫͱͷؔ࿈͕ࣔࠦ͞ΕΔ

Slide 36

Slide 36 text

༨ஊ Firebase • Firebase ͷυΩϡϝϯτʹʮߴ౓ͳ ϕΠζ౷ܭʯΛ༻͍ͯͱ͋Γ·͢Ͷ • Optimize1 Ͱ΋࢖͍ͬͯΔΈ͍ͨͰ͢ Ͷ • ࣄલ෼෍ʹ Beta(0, 0) Λ༻͍͍ͯ Δͷ͸ͼͬ͘Γ͠·ͨ͠ 1 Google Analytics Λ༻͍ͨ Web αΠτͷ A/B ςετ༻αʔϏε

Slide 37

Slide 37 text

໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ <- 5.Ψ΢εաఔճؼͷҰൠԽ

Slide 38

Slide 38 text

Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ Ψ΢εաఔʹ͓͚Δޯ഑߱Լ๏ 2. ϋΠύʔύϥϝʔλͱہॴղ େҬղͱہॴղ 3. Χʔωϧͷબ୒ Χʔωϧͷ૊Έ߹Θͤํ

Slide 39

Slide 39 text

ϋΠύʔύϥϝʔλͷ࠷దԽ • Ψ΢εաఔͷ࣮૷ʹ͓͍ͯɺֶशաఔͰ͸άϥϜߦྻͷܭࢉ݁ ՌΛهԱ͢Δ͚ͩͩͬͨ • ҰํɺΧʔωϧؔ਺ʹ͸ϋΠύʔύϥϝʔλΛ࣋ͭ΋ͷ͕ଟ͍ • e.g. RBF Χʔωϧ • ͜ΕΒͷύϥϝʔλʹ͍ͭͯɺσʔλ͔Β࠷దԽͰ͖ͳ͍͔ݕ ౼͢Δ

Slide 40

Slide 40 text

࠷దԽͷํ਑ 1.σʔλΛਖ਼نԽ͢Δ2 2.࠷దԽͷର৅Λର਺໬౓ ͱ͢Δ 3.ର਺໬౓ͷޯ഑Λܭࢉ͢Δ • ͜ͷࡍʹάϥϜߦྻΛύϥϝʔλͰ ඍ෼͢Δඞཁ͕͋Δ 4.ޯ഑߱Լ๏ʹجͮ͘ԿΒ͔ͷΞϧΰϦ ζϜΛ༻͍ͯ࠷దԽ͢Δ 2 ஫ऍ 23 ΑΓɺ͜͜Ͱ͸ฏۉΛ 0 ෼ࢄΛ 1 ʹ͍ͯ͠Δ

Slide 41

Slide 41 text

ϋΠύʔύϥϝʔλͱہॴղ • େҬղͰ͸ͳ͘ہॴղʹؕΔ৔߹͕͋ Δͷʹ஫ҙ • ͜Ε͸઴ۙܭࢉʹҰൠͷੑ࣭ • ϋΠύʔύϥϝʔλͷ࣍ݩ͕ߴ͍৔߹͸ MCMC3 ͳͲΛ࢖ͬͯܭࢉ͢Δͱྑ͍ͱ ओு͍ͯ͠Δ 3 ͜͜Ͱݴ͏ MCMC ͸ Metropolis–Hastings Ͱཚ਺Λੜ੒ͯ͠ظ଴஋Λܭ ࢉ͢Δͱ͍͏ҙຯͰ͸ͳ͘ɺͦΕΛϋΠύʔύϥϝʔλʔ୳ࡧʹ࢖͏ͱ͍͏ҙຯ (ޮ཰Α͘ϥϯμϜαʔνΛ΍ΔΠϝʔδ) cf. ஫ऍ 26

Slide 42

Slide 42 text

Χʔωϧͷબ୒ • Χʔωϧͷબ୒Λߦ͏͜ͱͰɺ֎෦͔ Β஌ࣝΛ஫ೖͰ͖Δ • RBF Χʔωϧ͚ͩΛ༻͍ͨਤ(a)Ͱ ͸ɺσʔλͷ͋ΔՕॴ͸ͱ΋͔͘ɺӈ ୺͕ո͍͠ • ઢܗΧʔωϧΛՃ͑ͨਤ(b)Ͱ͸ɺશମ తʹҰ؏ͨ͠܏޲͕͋Δͱ͍͏݁ՌΛ ಘΒΕ͍ͯΔ

Slide 43

Slide 43 text

Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Recap ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ ޯ഑߱Լ๏Λ༻͍ͨ࠷దԽ͕Ͱ͖Δ(Χ ʔωϧʹΑΔ) 2. ϋΠύʔύϥϝʔλͱہॴղ େҬղʹ౸ୡ͢Δอূ͸ͳ͍ͷͰ஫ҙ ͢Δ 3. Χʔωϧͷબ୒ RBF ΧʔωϧҎ֎ͷΧʔωϧ΋ซ༻͢ Δͱྑ͘ͳΔ৔߹͕͋Δ

Slide 44

Slide 44 text

༨ஊ • Ψ΢εաఔͷ࿩͸ΧϧϚϯϑΟϧλͱࣅ ͍ͯΔ • ܚԠେֶͷΧϧϚϯϑΟϧλͷߨٛ4͕ ໘ന͔ͬͨ • ಉ࣌ʹ࢖͏ํ๏΋ఏএ͞Ε͍ͯΔ༷ࢠ5 (ະಡ) 5 J. Ko and D. Fox: GP-BayesFilters: Bayesian filtering using Gaussian process prediction and observation models, Autonomous Robots, 27-1, 75/90 (2009) 4 ܚጯେֶߨٛ Ԡ༻֬཰࿦ ୈेࡾճɹϕΠζͷํ๏ ΧϧϚϯϑΟϧλ̍ https://www.youtube.com/watch?v=P85JCE3tZWY

Slide 45

Slide 45 text

໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ <-

Slide 46

Slide 46 text

Ψ΢εաఔճؼͷҰൠԽ ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ Ψ΢εաఔͰίʔγʔ෼෍Λ༻͍Δ 2. Ψ΢εաఔࣝผϞσϧ Ψ΢εաఔΛ෼ྨ໰୊ʹద༻͢Δ 3. ϙΞιϯճؼϞσϧ Ψ΢εաఔΛΠϕϯτͷൃੜճ਺ͷ༧ଌ ʹద༻͢Δ ίϥϜ χϡʔϥϧωοτϫʔΫͱΨ΢ε աఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

Slide 47

Slide 47 text

֓ཁ • ؍ଌϞσϧͱͯ͠Ψ΢ε෼෍Λ૝ఆ͍͕ͯͨ͠ɺੈͷதͦ͏Ͱ ͳ͍͜ͱ΋ଟ͍ (e.g. Ի੠΍୯ޠͷੜ੒֬཰) • Ψ΢εաఔʹ͓͚Δೖྗ ͔Β؍ଌ஋ ͕ੜ੒͞Ε Δ֬཰ ʹਖ਼ن෼෍Ҏ֎ͷ֬཰෼෍Λ༻͍Δ͜ͱ͸Մೳ • ͕ղੳతʹܭࢉͰ͖ͳ͍ͷͰɺMCMC ΍ม ෼ϕΠζͱ͍ͬͨۙࣅਪ࿦Ͱࣄޙ෼෍ΛٻΊΔ

Slide 48

Slide 48 text

1. ϩόετͳΨ΢εաఔճؼ • ੄ͷ޿͍෼෍Λ༻͍Δ͜ͱͰϩόετ ͳϞσϧ͕Ͱ͖Δ • Cauchy ෼෍ (t ෼෍) Λ༻͍Δ • ӈਤͰ͸֎Ε஋ʹϩόετͳϞσϧ͕ Ͱ͖͍ͯΔ • ࣄޙ෼෍͸ղੳతʹٻΊΒΕͳ͍ͷͰ MCMC ͳͲͰۙࣅతʹٻΊΔ

Slide 49

Slide 49 text

2. Ψ΢εաఔࣝผϞσϧ • ؍ଌ஋ ͕ 2 ஋ͷͱ͖ ͱ֬཰Λܭࢉ͍ͨ͠ • ͱͯ͠γάϞΠυؔ਺Λ༻͍Δ • ϓϩϏοτؔ਺ (ਖ਼ن෼෍ͷྦྷੵີ ౓ؔ਺) ΛΑۙ͘ࣅ͢Δ • ਪఆ΋ෳࡶͳͷͰ୯ʹ෼ྨΛߦ͍͍ͨ ৔߹ʹ͸ϝϦοτ͸ͳ͍ • ଞͷ֬཰աఔͱͷ૊Έ߹ΘͤΛߟ͑Δ ৔߹ʹ஌͓ͬͯ͘ͱྑ͍

Slide 50

Slide 50 text

3. ϙΞιϯճؼϞσϧ • ؍ଌ஋ ͕ࣗવ਺ͷͱ͖ʹΨ΢εաఔ Λ༻͍ͨճؼΛߦ͍͍ͨ • ύϥϝʔλʔ ͱೖྗ ͷؒʹ ΛԾఆ͢Δ • • ࣄޙ෼෍͸΍͸Γෳࡶ

Slide 51

Slide 51 text

χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ ཁ໿ • ॏΈͷॳظ஋ʹখ͞ͳཚ਺Λ༻͍Δɺͱ͍͏ͷ͸Ұൠత • ʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ͸ɺظ଴஋ΛͱΔ ૢ࡞ͱΈͳͤɺ݁Ռ͸த৺ۃݶఆཧ͔ΒΨ΢ε෼෍ʹۙͮ͘ • ωοτϫʔΫʹΑͬͯ͸Χʔωϧؔ਺͕ղੳతʹٻΊΒΕΔ • ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ24 24 Deep Neural Networks as Gaussian Processes. 2017. https://arxiv.org/abs/1711.00165.

Slide 52

Slide 52 text

Ψ΢εաఔճؼͷҰൠԽ Recap ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ ίʔγʔ෼෍Λ༻͍Δͱ֎Ε஋ʹڧ͘ͳ Δ 2. Ψ΢εաఔࣝผϞσϧ ϩδεςΟοΫճؼΛΨ΢εաఔʹద༻ Ͱ͖Δ 3. ϙΞιϯճؼϞσϧ ϙΞιϯճؼΛΨ΢εաఔʹద༻Ͱ͖Δ χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

Slide 53

Slide 53 text

Recap ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ