ガウス過程と機械学習 3章後半

「ガウス過程と機械学習」輪読会（リターンズ） #3 の発表資料です
https://reading-circle-beginners.connpass.com/event/142115/

Transcript

1. Ψ΢εաఔͱػցֶश 3.4 - 3.6
2. ࣗݾ঺հ • ਿࢁ Ѩ੟ • Software Engineer @Repro • ػցֶशͱ͔౷ܭͱ͔։ൃͱ͔ • ػցֶशਤؑ ڞஶ
3. ํ਑ & ग़య • Ψ΢εաఔͱػցֶशͷ 3.4 - 3.6 Λத৺ʹѻ͍·͢ • ग़యΛ໌ه͍ͯ͠ͳ͍ਤ͸͜ͷॻ੶ ͔ΒͷҾ༻Ͱ͢ • ͚ͩ͜͜Λ࿩͢ͷ͸೉͍͠ͷͰɺ෮श ͔ΒೖΓ·͢ • ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • 3.1 - 3.3 • 3.4 - 3.6
4. ಺༰ ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ
5. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ <- 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ
6. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • ஶऀ : ਢࢁರࢤ (@sammy_suyama) • ଞʹ͸ʮϕΠζਂ૚ֶशʯ • ϕΠζਪ࿦ͷجૅʹ͍ͭͯͷຊ • ࣍ͷ಺༰Λ෮श͢Δ 1.ϕΠζਪ࿦ 2.MCMC (ΪϒεαϯϓϦϯά) 3.ઢܗճؼ 4.ϩδεςΟοΫճؼ
7. ϕΠζਪ࿦ ܇࿅σʔλͷू߹Λ ɺϞσϧͷύϥϝʔλʔΛ ɺະ؍ଌͷ σʔλΛ ͱͯ͠ • Ϟσϧ : • ֶश : • ਪ࿦ :
8. MCMC (ΪϒεαϯϓϦϯά) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ
9. ઢܗճؼ • ೖྗ஋Λ ग़ྗ஋Λ ॏΈΛ , ϊΠζ੒෼Λ ͱ͠ ͯɺઢܗճؼ͸ ͱఆࣜԽͰ͖Δ • ϊΠζʹ͍ͭͯ ΛԾఆ͢Δͱɺग़ྗ ͸ ͱਖ਼ن෼෍ʹै͏ • ॏΈʹ͍ͭͯ ΛԾఆ͢Δͱɺࣄޙ෼෍ ͕ਖ਼ن෼෍ʹै͏ (ϕΠζਪ࿦ͷҙຯͰֶशՄೳ)
10. ϩδεςΟοΫճؼ (1/3) ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε Δ΋ͷͱ͢Δɻ ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ
11. ϩδεςΟοΫճؼ (2/3) • ֶशͷͨΊʹೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β ͷࣄޙ෼෍Λܭࢉ • Softmax ؔ਺͕ೖͬͯ͠·͍ͬͯΔͨΊʹࣄޙ෼෍Λղੳత ʹܭࢉͰ͖ͳ͍ͷͰม෼ਪ࿦Λߦ͍ɺۙࣅղΛܭࢉ • ͱͯ͠ KL μΠόʔδΣ ϯε Λ࠷খԽ͢Δ (ม෼ਪ࿦)
12. ϩδεςΟοΫճؼ (3/3) • ୈ 3 ߲ΛղੳతʹܭࢉͰ͖ͳ͍ͷͰޯ഑๏ͰۙࣅղΛٻΊΔ • ϞϯςΧϧϩ๏ʹ͓͍ͯɺ ͕ಘΒΕͨͷͩͱΈͳ͢ ( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) ࠶ύϥϝʔ λʔԽτϦοΫʹΑΓޯ഑͕ܭࢉͰ͖Δ
13. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ Recap ߲໨ ϙΠϯτ 1. ϕΠζਪ࿦ ֶशͰ΋ਪ࿦Ͱ΋֬཰෼෍Λߟ͑Δ 2. MCMC (ΪϒεαϯϓϦϯά) ෳࡶͳ෼෍Λۙࣅ͢Δख๏͕͋Δ 3. ઢܗճؼ ॏΈΛ֬཰ม਺ͩͱଊֶ͑ͯश͢Δ 4. ϩδεςΟοΫճؼ ޯ഑߱Լ๏ΛϕΠζͰ΋࢖͑Δ
14. ༨ஊ ϕΠζਂ૚ֶश • ୈ 1 ষ ͸͡Ίʹ • ୈ 2 ষ χϡʔϥϧωοτϫʔΫͷج ૅ • ୈ 3 ষ ϕΠζਪ࿦ͷجૅ • ୈ 4 ষ ۙࣅϕΠζਪ࿦ • ୈ 5 ষ χϡʔϥϧωοτϫʔΫͷϕ Πζਪ࿦ • ୈ 6 ষ ਂ૚ੜ੒Ϟσϧ • ୈ 7 ষ ਂ૚ֶशͱΨ΢εաఔ
15. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ <- 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ
16. Ψ΢εաఔ֓ཁ ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ 3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ
17. Ψ΢εաఔͷఆٛ • Wikipedia (English) ͷఆٛ͸࣍ ͷ௨Γ ֬཰աఔ ͕࣍ͷ৚݅Λຬͨ ͢ͱ͖ɺΨ΢εաఔͱݺͿɻ ఴࣈू߹ ͷ೚ҙͷ༗ݶ෦෼ू߹ ʹର͠ɺ ͕ଟ࣍ݩਖ਼ن෼ ෍ʹै͏ɻ
18. Χʔωϧؔ਺ͷಋೖ ؔ਺ ͕࣍Λຬͨ͢ͱ͖ɺਖ਼ఆ஋Χʔωϧͱݴ͏ ೚ҙͷ ʹର͠ 1. (ରশੑ) 2. (ਖ਼ఆ஋ੑ) ಺ੵͷҰൠԽͰ͋Γɺσʔλؒͷྨࣅ౓Λද͢ (ཧ༝͸͋ͱͰ)
19. Χʔωϧؔ਺ͱάϥϜߦྻ ೚ҙͷσʔλྻ ͱΧʔωϧؔ਺ ʹର͠ɺߦྻ ͷ੒෼ Λ࣍Ͱఆٛͨ͠΋ͷΛάϥϜߦྻ·ͨ͸ ΧʔωϧߦྻͱݺͿ • Χʔωϧؔ਺Λ༻͍ͨڞ෼ࢄߦྻͷҰൠԽ • Χʔωϧؔ਺ͷਖ਼ఆ஋ੑ͸άϥϜߦྻͷݻ༗஋͕શͯ 0 Ҏ্ Ͱ͋Δ͜ͱʹಉ͡
20. ิ଍ Mercer ͷఆཧ • ਖ਼ఆ஋Χʔωϧ ʹରͯ͠͸ɺ࣍Λຬ ͨ͢Α͏ͳಛ௃ۭؒ΁ͷࣹӨ ͕ ଘࡏ͢Δɺͱ͍͏ఆཧ • ࣹӨ͢Δಛ௃ۭؒͷ࣍ݩ͸Ұൠʹ͸༗ ݶͰͳ͍ • ͭ·Γຊ౰ʹӈͷΑ͏ʹͳ͍ͬͯΔͱ ࢥͬͯ΋ྑ͍ (ػցֶशਤ͔ؑΒൈਮ)
21. Ψ΢εաఔͷఆٛ (Χʔωϧ๏)
22. ؍ଌϊΠζͱΧʔωϧؔ਺ • ઢܗճؼ ʹ͓͍ͯɺ ͱ ͓͖ɺ ͱ ΛԾఆ͢Δ • ͜ͷͱ͖ Ͱ ( ͱͨ͠) • ͕ਖ਼ఆ஋Ͱ͋Δ͜ͱͱɺΧʔωϧؔ਺͸࿨ʹดͯ͡ ͍Δ͜ͱΛ༻͍Δͱ ͱ͍͏ ৽͍͠Χʔωϧؔ਺Λఆٛͨ͠ͱΈͳͤΔ
23. Ψ΢εաఔ֓ཁ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ 3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ
24. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ <- 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ
25. Ψ΢εաఔճؼϞσϧ ߲໨ ಺༰ 1. Ψ΢εաఔͷ༧ଌ෼෍ Ψ΢εաఔͰͷਪ࿦ํ๏ 2. Ψ΢εաఔճؼͷܭࢉ ࣮૷ํ๏ͱܭࢉྔ 3. Ψ΢εճؼաఔͷཁૉදݱ ଞͷख๏ͱͷؔ࿈
26. Ψ΢εաఔͷ༧ଌ෼෍ • ֶशσʔλ Λ࢖ͬͯະ஌σʔλ ʹର͢Δग़ྗ Λ༧ଌ͍ͨ͠ ( ͱ͢Δ) • ͱ͍͏ؔ܎͕͋Γ ͱ͢Δ • ͷै͏෼෍͸άϥϜߦྻ Λ༻͍Δͱɺ (Ψ΢εաఔͷఆٛΑΓ) • ະ஌σʔλͰ͸Ͳ͏͢΂͖͔Λߟ͍͑ͨ
27. ະ஌σʔλʹର͢Δਪ࿦ (1/2) • ະ஌ͷೖྗ ʹର͢Δग़ྗ Λؚ ΊͯάϥϜߦྻΛܭࢉͯ͠ਪ࿦͢Δ • ະ஌σʔλΛՃ͑ͨग़ྗ ͱɺະ஌σʔλΛ Ճ͑ͨάϥϜߦྻ Λܭࢉ͢Δ • ະ஌σʔλΛؚΊͨग़ྗͷ෼෍ (ط஌ σʔλͱະ஌σʔλͷಉ࣌֬཰෼෍) ͕ਪ࿦Ͱ͖Δ
28. ະ஌σʔλʹର͢Δਪ࿦ (2/2) • ಉ࣌෼෍ ͔Β৚݅෇͖֬཰෼ ෍ ΛٻΊΔ • ଟ࣍ݩਖ਼ن෼෍ͷҰ෦͕༩͑ΒΕͨͱ ͖ͷ݁ՌΛ༻͍Δ • ະ஌σʔλ͕ෳ਺͋Δͱ͖΋ಉ༷
30. Ψ΢εաఔճؼͷܭࢉ (1/2) • ֬཰෼෍ ͷύϥ ϝʔλͷܭࢉʹ͓͍ͯɺ ͷܭࢉ͕ඞཁ • ٯߦྻͷܭࢉͰ͸ϥϯΫ (͜͜Ͱ͸σʔλྔ) ʹରͯ͠ܭ ࢉྔ͕ ඞཁʹͳΔͨΊͳΜͱ͔ͯ͠ճආ͍ͨ͠ • Ψ΢γΞϯΧʔωϧͰ͸ճආͰ͖Δ • ৄ͘͠͸ 5 ষͰ!
31. Ψ΢εաఔճؼͷܭࢉ (2/2) • ۪௚ͳ࣮૷ͰؾʹͳΔՕॴΛݕ౼͢Δ • K[n, n'] ͷϝϞϦফඅྔ͕σʔλ਺ ʹରͯ͠ • ٯߦྻͷܭࢉྔ͕ߴ͍ ( ) • άϥϜߦྻͷܭࢉྔ΋ߴ͍ ( ) • train ʹ֘౰͢Δ෦෼͕ͳ͍ • άϥϜߦྻΛهԱ͢Δ͚ͩ • ޙ΄Ͳ࠶ݕ౼
32. Ψ΢εճؼաఔͷཁૉදݱ (1/3) • ฏۉ஋ʹ͍ͭͯݕ౼͢Δ • ͱ͓͘ͱɺ
33. Ψ΢εճؼաఔͷཁૉදݱ (2/3) • Λݕ౼͢Δ ( ͸ݻఆͯ͠ߟ͑Δ) • ͸ ൪໨ͷσʔλͱະ஌ σʔλͷྨࣅ౓ • ͸ ൪໨ͷσʔλͱͷ ൪໨ͷσʔ λͷؔ࿈౓߹͍ • ͸ະ஌σʔλ͕ ൪໨ͷط஌σʔλ ͱͲΕ͚ͩؔ࿈͢Δ͔ɺશମతͳฏۉ Λͱͬͨ΋ͷ
34. Ψ΢εճؼաఔͷཁૉදݱ (3/3) • , ͱఆ ٛ͢Δͱɺ࣍ͷΑ͏ʹॻ͚Δ* • ͜ͷܭࢉ͸άϥϑߏ଄Ͱ͔͚Δ * ӈਤͱ͸ผͷఆٛ
35. Ψ΢εաఔճؼϞσϧ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷ༧ଌ෼෍ ਪ࿦͸Χʔωϧؔ਺Λ༻͍ͨط஌ͷσ ʔλͱͷྨࣅ౓ܭࢉ͔ΒͰ͖Δ 2. Ψ΢εաఔճؼͷܭࢉ ۩ମతͳ࣮૷Ͱ͸ٯߦྻͷܭࢉ͕ܭࢉ ͷେ൒Λ઎ΊΔ 3. Ψ΢εճؼաఔͷཁૉදݱ αϙʔτϕΫτϧϚγϯ΍χϡʔϥϧ ωοτϫʔΫͱͷؔ࿈͕ࣔࠦ͞ΕΔ
36. ༨ஊ Firebase • Firebase ͷυΩϡϝϯτʹʮߴ౓ͳ ϕΠζ౷ܭʯΛ༻͍ͯͱ͋Γ·͢Ͷ • Optimize1 Ͱ΋࢖͍ͬͯΔΈ͍ͨͰ͢ Ͷ • ࣄલ෼෍ʹ Beta(0, 0) Λ༻͍͍ͯ Δͷ͸ͼͬ͘Γ͠·ͨ͠ 1 Google Analytics Λ༻͍ͨ Web αΠτͷ A/B ςετ༻αʔϏε
37. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ <- 5.Ψ΢εաఔճؼͷҰൠԽ
38. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ Ψ΢εաఔʹ͓͚Δޯ഑߱Լ๏ 2. ϋΠύʔύϥϝʔλͱہॴղ େҬղͱہॴղ 3. Χʔωϧͷબ୒ Χʔωϧͷ૊Έ߹Θͤํ
39. ϋΠύʔύϥϝʔλͷ࠷దԽ • Ψ΢εաఔͷ࣮૷ʹ͓͍ͯɺֶशաఔͰ͸άϥϜߦྻͷܭࢉ݁ ՌΛهԱ͢Δ͚ͩͩͬͨ • ҰํɺΧʔωϧؔ਺ʹ͸ϋΠύʔύϥϝʔλΛ࣋ͭ΋ͷ͕ଟ͍ • e.g. RBF Χʔωϧ • ͜ΕΒͷύϥϝʔλʹ͍ͭͯɺσʔλ͔Β࠷దԽͰ͖ͳ͍͔ݕ ౼͢Δ
40. ࠷దԽͷํ਑ 1.σʔλΛਖ਼نԽ͢Δ2 2.࠷దԽͷର৅Λର਺໬౓ ͱ͢Δ 3.ର਺໬౓ͷޯ഑Λܭࢉ͢Δ • ͜ͷࡍʹάϥϜߦྻΛύϥϝʔλͰ ඍ෼͢Δඞཁ͕͋Δ 4.ޯ഑߱Լ๏ʹجͮ͘ԿΒ͔ͷΞϧΰϦ ζϜΛ༻͍ͯ࠷దԽ͢Δ 2 ஫ऍ 23 ΑΓɺ͜͜Ͱ͸ฏۉΛ 0 ෼ࢄΛ 1 ʹ͍ͯ͠Δ
41. ϋΠύʔύϥϝʔλͱہॴղ • େҬղͰ͸ͳ͘ہॴղʹؕΔ৔߹͕͋ Δͷʹ஫ҙ • ͜Ε͸઴ۙܭࢉʹҰൠͷੑ࣭ • ϋΠύʔύϥϝʔλͷ࣍ݩ͕ߴ͍৔߹͸ MCMC3 ͳͲΛ࢖ͬͯܭࢉ͢Δͱྑ͍ͱ ओு͍ͯ͠Δ 3 ͜͜Ͱݴ͏ MCMC ͸ Metropolis–Hastings Ͱཚ਺Λੜ੒ͯ͠ظ଴஋Λܭ ࢉ͢Δͱ͍͏ҙຯͰ͸ͳ͘ɺͦΕΛϋΠύʔύϥϝʔλʔ୳ࡧʹ࢖͏ͱ͍͏ҙຯ (ޮ཰Α͘ϥϯμϜαʔνΛ΍ΔΠϝʔδ) cf. ஫ऍ 26
42. Χʔωϧͷબ୒ • Χʔωϧͷબ୒Λߦ͏͜ͱͰɺ֎෦͔ Β஌ࣝΛ஫ೖͰ͖Δ • RBF Χʔωϧ͚ͩΛ༻͍ͨਤ(a)Ͱ ͸ɺσʔλͷ͋ΔՕॴ͸ͱ΋͔͘ɺӈ ୺͕ո͍͠ • ઢܗΧʔωϧΛՃ͑ͨਤ(b)Ͱ͸ɺશମ తʹҰ؏ͨ͠܏޲͕͋Δͱ͍͏݁ՌΛ ಘΒΕ͍ͯΔ
43. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Recap ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ ޯ഑߱Լ๏Λ༻͍ͨ࠷దԽ͕Ͱ͖Δ(Χ ʔωϧʹΑΔ) 2. ϋΠύʔύϥϝʔλͱہॴղ େҬղʹ౸ୡ͢Δอূ͸ͳ͍ͷͰ஫ҙ ͢Δ 3. Χʔωϧͷબ୒ RBF ΧʔωϧҎ֎ͷΧʔωϧ΋ซ༻͢ Δͱྑ͘ͳΔ৔߹͕͋Δ
44. ༨ஊ • Ψ΢εաఔͷ࿩͸ΧϧϚϯϑΟϧλͱࣅ ͍ͯΔ • ܚԠେֶͷΧϧϚϯϑΟϧλͷߨٛ4͕ ໘ന͔ͬͨ • ಉ࣌ʹ࢖͏ํ๏΋ఏএ͞Ε͍ͯΔ༷ࢠ5 (ະಡ) 5 J. Ko and D. Fox: GP-BayesFilters: Bayesian filtering using Gaussian process prediction and observation models, Autonomous Robots, 27-1, 75/90 (2009) 4 ܚጯେֶߨٛ Ԡ༻֬཰࿦ ୈेࡾճɹϕΠζͷํ๏ ΧϧϚϯϑΟϧλ̍ https://www.youtube.com/watch?v=P85JCE3tZWY
45. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ <-
46. Ψ΢εաఔճؼͷҰൠԽ ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ Ψ΢εաఔͰίʔγʔ෼෍Λ༻͍Δ 2. Ψ΢εաఔࣝผϞσϧ Ψ΢εաఔΛ෼ྨ໰୊ʹద༻͢Δ 3. ϙΞιϯճؼϞσϧ Ψ΢εաఔΛΠϕϯτͷൃੜճ਺ͷ༧ଌ ʹద༻͢Δ ίϥϜ χϡʔϥϧωοτϫʔΫͱΨ΢ε աఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ
47. ֓ཁ • ؍ଌϞσϧͱͯ͠Ψ΢ε෼෍Λ૝ఆ͍͕ͯͨ͠ɺੈͷதͦ͏Ͱ ͳ͍͜ͱ΋ଟ͍ (e.g. Ի੠΍୯ޠͷੜ੒֬཰) • Ψ΢εաఔʹ͓͚Δೖྗ ͔Β؍ଌ஋ ͕ੜ੒͞Ε Δ֬཰ ʹਖ਼ن෼෍Ҏ֎ͷ֬཰෼෍Λ༻͍Δ͜ͱ͸Մೳ • ͕ղੳతʹܭࢉͰ͖ͳ͍ͷͰɺMCMC ΍ม ෼ϕΠζͱ͍ͬͨۙࣅਪ࿦Ͱࣄޙ෼෍ΛٻΊΔ
48. 1. ϩόετͳΨ΢εաఔճؼ • ੄ͷ޿͍෼෍Λ༻͍Δ͜ͱͰϩόετ ͳϞσϧ͕Ͱ͖Δ • Cauchy ෼෍ (t ෼෍) Λ༻͍Δ • ӈਤͰ͸֎Ε஋ʹϩόετͳϞσϧ͕ Ͱ͖͍ͯΔ • ࣄޙ෼෍͸ղੳతʹٻΊΒΕͳ͍ͷͰ MCMC ͳͲͰۙࣅతʹٻΊΔ
49. 2. Ψ΢εաఔࣝผϞσϧ • ؍ଌ஋ ͕ 2 ஋ͷͱ͖ ͱ֬཰Λܭࢉ͍ͨ͠ • ͱͯ͠γάϞΠυؔ਺Λ༻͍Δ • ϓϩϏοτؔ਺ (ਖ਼ن෼෍ͷྦྷੵີ ౓ؔ਺) ΛΑۙ͘ࣅ͢Δ • ਪఆ΋ෳࡶͳͷͰ୯ʹ෼ྨΛߦ͍͍ͨ ৔߹ʹ͸ϝϦοτ͸ͳ͍ • ଞͷ֬཰աఔͱͷ૊Έ߹ΘͤΛߟ͑Δ ৔߹ʹ஌͓ͬͯ͘ͱྑ͍
50. 3. ϙΞιϯճؼϞσϧ • ؍ଌ஋ ͕ࣗવ਺ͷͱ͖ʹΨ΢εաఔ Λ༻͍ͨճؼΛߦ͍͍ͨ • ύϥϝʔλʔ ͱೖྗ ͷؒʹ ΛԾఆ͢Δ • • ࣄޙ෼෍͸΍͸Γෳࡶ
51. χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ ཁ໿ • ॏΈͷॳظ஋ʹখ͞ͳཚ਺Λ༻͍Δɺͱ͍͏ͷ͸Ұൠత • ʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ͸ɺظ଴஋ΛͱΔ ૢ࡞ͱΈͳͤɺ݁Ռ͸த৺ۃݶఆཧ͔ΒΨ΢ε෼෍ʹۙͮ͘ • ωοτϫʔΫʹΑͬͯ͸Χʔωϧؔ਺͕ղੳతʹٻΊΒΕΔ • ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ24 24 Deep Neural Networks as Gaussian Processes. 2017. https://arxiv.org/abs/1711.00165.
52. Ψ΢εաఔճؼͷҰൠԽ Recap ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ ίʔγʔ෼෍Λ༻͍Δͱ֎Ε஋ʹڧ͘ͳ Δ 2. Ψ΢εաఔࣝผϞσϧ ϩδεςΟοΫճؼΛΨ΢εաఔʹద༻ Ͱ͖Δ 3. ϙΞιϯճؼϞσϧ ϙΞιϯճؼΛΨ΢εաఔʹద༻Ͱ͖Δ χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ
53. Recap ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ