ガウス過程と機械学習 3章後半

Transcript

1. Ψ΢εաఔͱػցֶश 3.4 - 3.6

2. ࣗݾ঺հ • ਿࢁ Ѩ੟ • Software Engineer @Repro • ػցֶशͱ͔౷ܭͱ͔։ൃͱ͔

   • ػցֶशਤؑ ڞஶ

3. ํ਑ & ग़య • Ψ΢εաఔͱػցֶशͷ 3.4 - 3.6 Λத৺ʹѻ͍·͢ •

   ग़యΛ໌ه͍ͯ͠ͳ͍ਤ͸͜ͷॻ੶ ͔ΒͷҾ༻Ͱ͢ • ͚ͩ͜͜Λ࿩͢ͷ͸೉͍͠ͷͰɺ෮श ͔ΒೖΓ·͢ • ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • 3.1 - 3.3 • 3.4 - 3.6

4. ಺༰ ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ

   Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ

5. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ <- 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

6. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ • ஶऀ : ਢࢁರࢤ (@sammy_suyama) • ଞʹ͸ʮϕΠζਂ૚ֶशʯ • ϕΠζਪ࿦ͷجૅʹ͍ͭͯͷຊ

   • ࣍ͷ಺༰Λ෮श͢Δ 1.ϕΠζਪ࿦ 2.MCMC (ΪϒεαϯϓϦϯά) 3.ઢܗճؼ 4.ϩδεςΟοΫճؼ

7. ϕΠζਪ࿦ ܇࿅σʔλͷू߹Λ ɺϞσϧͷύϥϝʔλʔΛ ɺະ؍ଌͷ σʔλΛ ͱͯ͠ • Ϟσϧ : •

   ֶश : • ਪ࿦ :

8. MCMC (ΪϒεαϯϓϦϯά) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ

9. ઢܗճؼ • ೖྗ஋Λ ग़ྗ஋Λ ॏΈΛ , ϊΠζ੒෼Λ ͱ͠ ͯɺઢܗճؼ͸ ͱఆࣜԽͰ͖Δ

   • ϊΠζʹ͍ͭͯ ΛԾఆ͢Δͱɺग़ྗ ͸ ͱਖ਼ن෼෍ʹै͏ • ॏΈʹ͍ͭͯ ΛԾఆ͢Δͱɺࣄޙ෼෍ ͕ਖ਼ن෼෍ʹै͏ (ϕΠζਪ࿦ͷҙຯͰֶशՄೳ)

10. ϩδεςΟοΫճؼ (1/3) ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε Δ΋ͷͱ͢Δɻ ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ

11. ϩδεςΟοΫճؼ (2/3) • ֶशͷͨΊʹೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β ͷࣄޙ෼෍Λܭࢉ • Softmax ؔ਺͕ೖͬͯ͠·͍ͬͯΔͨΊʹࣄޙ෼෍Λղੳత ʹܭࢉͰ͖ͳ͍ͷͰม෼ਪ࿦Λߦ͍ɺۙࣅղΛܭࢉ

    • ͱͯ͠ KL μΠόʔδΣ ϯε Λ࠷খԽ͢Δ (ม෼ਪ࿦)

12. ϩδεςΟοΫճؼ (3/3) • ୈ 3 ߲ΛղੳతʹܭࢉͰ͖ͳ͍ͷͰޯ഑๏ͰۙࣅղΛٻΊΔ • ϞϯςΧϧϩ๏ʹ͓͍ͯɺ ͕ಘΒΕͨͷͩͱΈͳ͢ (

    ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) ࠶ύϥϝʔ λʔԽτϦοΫʹΑΓޯ഑͕ܭࢉͰ͖Δ

13. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ Recap ߲໨ ϙΠϯτ 1. ϕΠζਪ࿦ ֶशͰ΋ਪ࿦Ͱ΋֬཰෼෍Λߟ͑Δ 2. MCMC (ΪϒεαϯϓϦϯά)

    ෳࡶͳ෼෍Λۙࣅ͢Δख๏͕͋Δ 3. ઢܗճؼ ॏΈΛ֬཰ม਺ͩͱଊֶ͑ͯश͢Δ 4. ϩδεςΟοΫճؼ ޯ഑߱Լ๏ΛϕΠζͰ΋࢖͑Δ

14. ༨ஊ ϕΠζਂ૚ֶश • ୈ 1 ষ ͸͡Ίʹ • ୈ 2

    ষ χϡʔϥϧωοτϫʔΫͷج ૅ • ୈ 3 ষ ϕΠζਪ࿦ͷجૅ • ୈ 4 ষ ۙࣅϕΠζਪ࿦ • ୈ 5 ষ χϡʔϥϧωοτϫʔΫͷϕ Πζਪ࿦ • ୈ 6 ষ ਂ૚ੜ੒Ϟσϧ • ୈ 7 ষ ਂ૚ֶशͱΨ΢εաఔ

15. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ <- 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

16. Ψ΢εաఔ֓ཁ ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ 3.

    Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ

17. Ψ΢εաఔͷఆٛ • Wikipedia (English) ͷఆٛ͸࣍ ͷ௨Γ ֬཰աఔ ͕࣍ͷ৚݅Λຬͨ ͢ͱ͖ɺΨ΢εաఔͱݺͿɻ ఴࣈू߹

    ͷ೚ҙͷ༗ݶ෦෼ू߹ ʹର͠ɺ ͕ଟ࣍ݩਖ਼ن෼ ෍ʹै͏ɻ

18. Χʔωϧؔ਺ͷಋೖ ؔ਺ ͕࣍Λຬͨ͢ͱ͖ɺਖ਼ఆ஋Χʔωϧͱݴ͏ ೚ҙͷ ʹର͠ 1. (ରশੑ) 2. (ਖ਼ఆ஋ੑ) ಺ੵͷҰൠԽͰ͋Γɺσʔλؒͷྨࣅ౓Λද͢

    (ཧ༝͸͋ͱͰ)

19. Χʔωϧؔ਺ͱάϥϜߦྻ ೚ҙͷσʔλྻ ͱΧʔωϧؔ਺ ʹର͠ɺߦྻ ͷ੒෼ Λ࣍Ͱఆٛͨ͠΋ͷΛάϥϜߦྻ·ͨ͸ ΧʔωϧߦྻͱݺͿ • Χʔωϧؔ਺Λ༻͍ͨڞ෼ࢄߦྻͷҰൠԽ •

    Χʔωϧؔ਺ͷਖ਼ఆ஋ੑ͸άϥϜߦྻͷݻ༗஋͕શͯ 0 Ҏ্ Ͱ͋Δ͜ͱʹಉ͡

20. ิ଍ Mercer ͷఆཧ • ਖ਼ఆ஋Χʔωϧ ʹରͯ͠͸ɺ࣍Λຬ ͨ͢Α͏ͳಛ௃ۭؒ΁ͷࣹӨ ͕ ଘࡏ͢Δɺͱ͍͏ఆཧ •

    ࣹӨ͢Δಛ௃ۭؒͷ࣍ݩ͸Ұൠʹ͸༗ ݶͰͳ͍ • ͭ·Γຊ౰ʹӈͷΑ͏ʹͳ͍ͬͯΔͱ ࢥͬͯ΋ྑ͍ (ػցֶशਤ͔ؑΒൈਮ)

21. Ψ΢εաఔͷఆٛ (Χʔωϧ๏)

22. ؍ଌϊΠζͱΧʔωϧؔ਺ • ઢܗճؼ ʹ͓͍ͯɺ ͱ ͓͖ɺ ͱ ΛԾఆ͢Δ • ͜ͷͱ͖

    Ͱ ( ͱͨ͠) • ͕ਖ਼ఆ஋Ͱ͋Δ͜ͱͱɺΧʔωϧؔ਺͸࿨ʹดͯ͡ ͍Δ͜ͱΛ༻͍Δͱ ͱ͍͏ ৽͍͠Χʔωϧؔ਺Λఆٛͨ͠ͱΈͳͤΔ

23. Ψ΢εաఔ֓ཁ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ 2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ

    3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ ߦྻʹͳΔ 4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟ ·ͳϞσϧΛදݱͰ͖Δ

24. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ <- 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ

25. Ψ΢εաఔճؼϞσϧ ߲໨ ಺༰ 1. Ψ΢εաఔͷ༧ଌ෼෍ Ψ΢εաఔͰͷਪ࿦ํ๏ 2. Ψ΢εաఔճؼͷܭࢉ ࣮૷ํ๏ͱܭࢉྔ 3.

    Ψ΢εճؼաఔͷཁૉදݱ ଞͷख๏ͱͷؔ࿈

26. Ψ΢εաఔͷ༧ଌ෼෍ • ֶशσʔλ Λ࢖ͬͯະ஌σʔλ ʹର͢Δग़ྗ Λ༧ଌ͍ͨ͠ ( ͱ͢Δ) • ͱ͍͏ؔ܎͕͋Γ

    ͱ͢Δ • ͷै͏෼෍͸άϥϜߦྻ Λ༻͍Δͱɺ (Ψ΢εաఔͷఆٛΑΓ) • ະ஌σʔλͰ͸Ͳ͏͢΂͖͔Λߟ͍͑ͨ

27. ະ஌σʔλʹର͢Δਪ࿦ (1/2) • ະ஌ͷೖྗ ʹର͢Δग़ྗ Λؚ ΊͯάϥϜߦྻΛܭࢉͯ͠ਪ࿦͢Δ • ະ஌σʔλΛՃ͑ͨग़ྗ ͱɺະ஌σʔλΛ

    Ճ͑ͨάϥϜߦྻ Λܭࢉ͢Δ • ະ஌σʔλΛؚΊͨग़ྗͷ෼෍ (ط஌ σʔλͱະ஌σʔλͷಉ࣌֬཰෼෍) ͕ਪ࿦Ͱ͖Δ

28. ະ஌σʔλʹର͢Δਪ࿦ (2/2) • ಉ࣌෼෍ ͔Β৚݅෇͖֬཰෼ ෍ ΛٻΊΔ • ଟ࣍ݩਖ਼ن෼෍ͷҰ෦͕༩͑ΒΕͨͱ ͖ͷ݁ՌΛ༻͍Δ

    • ະ஌σʔλ͕ෳ਺͋Δͱ͖΋ಉ༷
29. None

30. Ψ΢εաఔճؼͷܭࢉ (1/2) • ֬཰෼෍ ͷύϥ ϝʔλͷܭࢉʹ͓͍ͯɺ ͷܭࢉ͕ඞཁ • ٯߦྻͷܭࢉͰ͸ϥϯΫ (͜͜Ͱ͸σʔλྔ)

    ʹରͯ͠ܭ ࢉྔ͕ ඞཁʹͳΔͨΊͳΜͱ͔ͯ͠ճආ͍ͨ͠ • Ψ΢γΞϯΧʔωϧͰ͸ճආͰ͖Δ • ৄ͘͠͸ 5 ষͰ!

31. Ψ΢εաఔճؼͷܭࢉ (2/2) • ۪௚ͳ࣮૷ͰؾʹͳΔՕॴΛݕ౼͢Δ • K[n, n'] ͷϝϞϦফඅྔ͕σʔλ਺ ʹରͯ͠ •

    ٯߦྻͷܭࢉྔ͕ߴ͍ ( ) • άϥϜߦྻͷܭࢉྔ΋ߴ͍ ( ) • train ʹ֘౰͢Δ෦෼͕ͳ͍ • άϥϜߦྻΛهԱ͢Δ͚ͩ • ޙ΄Ͳ࠶ݕ౼

32. Ψ΢εճؼաఔͷཁૉදݱ (1/3) • ฏۉ஋ʹ͍ͭͯݕ౼͢Δ • ͱ͓͘ͱɺ

33. Ψ΢εճؼաఔͷཁૉදݱ (2/3) • Λݕ౼͢Δ ( ͸ݻఆͯ͠ߟ͑Δ) • ͸ ൪໨ͷσʔλͱະ஌ σʔλͷྨࣅ౓

    • ͸ ൪໨ͷσʔλͱͷ ൪໨ͷσʔ λͷؔ࿈౓߹͍ • ͸ະ஌σʔλ͕ ൪໨ͷط஌σʔλ ͱͲΕ͚ͩؔ࿈͢Δ͔ɺશମతͳฏۉ Λͱͬͨ΋ͷ

34. Ψ΢εճؼաఔͷཁૉදݱ (3/3) • , ͱఆ ٛ͢Δͱɺ࣍ͷΑ͏ʹॻ͚Δ* • ͜ͷܭࢉ͸άϥϑߏ଄Ͱ͔͚Δ * ӈਤͱ͸ผͷఆٛ

35. Ψ΢εաఔճؼϞσϧ Recap ߲໨ ϙΠϯτ 1. Ψ΢εաఔͷ༧ଌ෼෍ ਪ࿦͸Χʔωϧؔ਺Λ༻͍ͨط஌ͷσ ʔλͱͷྨࣅ౓ܭࢉ͔ΒͰ͖Δ 2. Ψ΢εաఔճؼͷܭࢉ

    ۩ମతͳ࣮૷Ͱ͸ٯߦྻͷܭࢉ͕ܭࢉ ͷେ൒Λ઎ΊΔ 3. Ψ΢εճؼաఔͷཁૉදݱ αϙʔτϕΫτϧϚγϯ΍χϡʔϥϧ ωοτϫʔΫͱͷؔ࿈͕ࣔࠦ͞ΕΔ

36. ༨ஊ Firebase • Firebase ͷυΩϡϝϯτʹʮߴ౓ͳ ϕΠζ౷ܭʯΛ༻͍ͯͱ͋Γ·͢Ͷ • Optimize1 Ͱ΋࢖͍ͬͯΔΈ͍ͨͰ͢ Ͷ

    • ࣄલ෼෍ʹ Beta(0, 0) Λ༻͍͍ͯ Δͷ͸ͼͬ͘Γ͠·ͨ͠ 1 Google Analytics Λ༻͍ͨ Web αΠτͷ A/B ςετ༻αʔϏε

37. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ <- 5.Ψ΢εաఔճؼͷҰൠԽ

38. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ Ψ΢εաఔʹ͓͚Δޯ഑߱Լ๏ 2. ϋΠύʔύϥϝʔλͱہॴղ େҬղͱہॴղ 3.

    Χʔωϧͷબ୒ Χʔωϧͷ૊Έ߹Θͤํ

39. ϋΠύʔύϥϝʔλͷ࠷దԽ • Ψ΢εաఔͷ࣮૷ʹ͓͍ͯɺֶशաఔͰ͸άϥϜߦྻͷܭࢉ݁ ՌΛهԱ͢Δ͚ͩͩͬͨ • ҰํɺΧʔωϧؔ਺ʹ͸ϋΠύʔύϥϝʔλΛ࣋ͭ΋ͷ͕ଟ͍ • e.g. RBF Χʔωϧ

    • ͜ΕΒͷύϥϝʔλʹ͍ͭͯɺσʔλ͔Β࠷దԽͰ͖ͳ͍͔ݕ ౼͢Δ

40. ࠷దԽͷํ਑ 1.σʔλΛਖ਼نԽ͢Δ2 2.࠷దԽͷର৅Λର਺໬౓ ͱ͢Δ 3.ର਺໬౓ͷޯ഑Λܭࢉ͢Δ • ͜ͷࡍʹάϥϜߦྻΛύϥϝʔλͰ ඍ෼͢Δඞཁ͕͋Δ 4.ޯ഑߱Լ๏ʹجͮ͘ԿΒ͔ͷΞϧΰϦ ζϜΛ༻͍ͯ࠷దԽ͢Δ

    2 ஫ऍ 23 ΑΓɺ͜͜Ͱ͸ฏۉΛ 0 ෼ࢄΛ 1 ʹ͍ͯ͠Δ

41. ϋΠύʔύϥϝʔλͱہॴղ • େҬղͰ͸ͳ͘ہॴղʹؕΔ৔߹͕͋ Δͷʹ஫ҙ • ͜Ε͸઴ۙܭࢉʹҰൠͷੑ࣭ • ϋΠύʔύϥϝʔλͷ࣍ݩ͕ߴ͍৔߹͸ MCMC3 ͳͲΛ࢖ͬͯܭࢉ͢Δͱྑ͍ͱ

    ओு͍ͯ͠Δ 3 ͜͜Ͱݴ͏ MCMC ͸ Metropolis–Hastings Ͱཚ਺Λੜ੒ͯ͠ظ଴஋Λܭ ࢉ͢Δͱ͍͏ҙຯͰ͸ͳ͘ɺͦΕΛϋΠύʔύϥϝʔλʔ୳ࡧʹ࢖͏ͱ͍͏ҙຯ (ޮ཰Α͘ϥϯμϜαʔνΛ΍ΔΠϝʔδ) cf. ஫ऍ 26

42. Χʔωϧͷબ୒ • Χʔωϧͷબ୒Λߦ͏͜ͱͰɺ֎෦͔ Β஌ࣝΛ஫ೖͰ͖Δ • RBF Χʔωϧ͚ͩΛ༻͍ͨਤ(a)Ͱ ͸ɺσʔλͷ͋ΔՕॴ͸ͱ΋͔͘ɺӈ ୺͕ո͍͠ •

    ઢܗΧʔωϧΛՃ͑ͨਤ(b)Ͱ͸ɺશମ తʹҰ؏ͨ͠܏޲͕͋Δͱ͍͏݁ՌΛ ಘΒΕ͍ͯΔ

43. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Recap ߲໨ ಺༰ 1. ϋΠύʔύϥϝʔλͷ࠷దԽ ޯ഑߱Լ๏Λ༻͍ͨ࠷దԽ͕Ͱ͖Δ(Χ ʔωϧʹΑΔ) 2. ϋΠύʔύϥϝʔλͱہॴղ

    େҬղʹ౸ୡ͢Δอূ͸ͳ͍ͷͰ஫ҙ ͢Δ 3. Χʔωϧͷબ୒ RBF ΧʔωϧҎ֎ͷΧʔωϧ΋ซ༻͢ Δͱྑ͘ͳΔ৔߹͕͋Δ

44. ༨ஊ • Ψ΢εաఔͷ࿩͸ΧϧϚϯϑΟϧλͱࣅ ͍ͯΔ • ܚԠେֶͷΧϧϚϯϑΟϧλͷߨٛ4͕ ໘ന͔ͬͨ • ಉ࣌ʹ࢖͏ํ๏΋ఏএ͞Ε͍ͯΔ༷ࢠ5 (ະಡ)

    5 J. Ko and D. Fox: GP-BayesFilters: Bayesian filtering using Gaussian process prediction and observation models, Autonomous Robots, 27-1, 75/90 (2009) 4 ܚጯେֶߨٛ Ԡ༻֬཰࿦ ୈेࡾճɹϕΠζͷํ๏ ΧϧϚϯϑΟϧλ̍ https://www.youtube.com/watch?v=P85JCE3tZWY

45. ໨࣍ 1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ 2.Ψ΢εաఔ֓ཁ 3.Ψ΢εաఔճؼϞσϧ 4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ 5.Ψ΢εաఔճؼͷҰൠԽ <-

46. Ψ΢εաఔճؼͷҰൠԽ ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ Ψ΢εաఔͰίʔγʔ෼෍Λ༻͍Δ 2. Ψ΢εաఔࣝผϞσϧ Ψ΢εաఔΛ෼ྨ໰୊ʹద༻͢Δ 3.

    ϙΞιϯճؼϞσϧ Ψ΢εաఔΛΠϕϯτͷൃੜճ਺ͷ༧ଌ ʹద༻͢Δ ίϥϜ χϡʔϥϧωοτϫʔΫͱΨ΢ε աఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

47. ֓ཁ • ؍ଌϞσϧͱͯ͠Ψ΢ε෼෍Λ૝ఆ͍͕ͯͨ͠ɺੈͷதͦ͏Ͱ ͳ͍͜ͱ΋ଟ͍ (e.g. Ի੠΍୯ޠͷੜ੒֬཰) • Ψ΢εաఔʹ͓͚Δೖྗ ͔Β؍ଌ஋ ͕ੜ੒͞Ε

    Δ֬཰ ʹਖ਼ن෼෍Ҏ֎ͷ֬཰෼෍Λ༻͍Δ͜ͱ͸Մೳ • ͕ղੳతʹܭࢉͰ͖ͳ͍ͷͰɺMCMC ΍ม ෼ϕΠζͱ͍ͬͨۙࣅਪ࿦Ͱࣄޙ෼෍ΛٻΊΔ

48. 1. ϩόετͳΨ΢εաఔճؼ • ੄ͷ޿͍෼෍Λ༻͍Δ͜ͱͰϩόετ ͳϞσϧ͕Ͱ͖Δ • Cauchy ෼෍ (t ෼෍)

    Λ༻͍Δ • ӈਤͰ͸֎Ε஋ʹϩόετͳϞσϧ͕ Ͱ͖͍ͯΔ • ࣄޙ෼෍͸ղੳతʹٻΊΒΕͳ͍ͷͰ MCMC ͳͲͰۙࣅతʹٻΊΔ

49. 2. Ψ΢εաఔࣝผϞσϧ • ؍ଌ஋ ͕ 2 ஋ͷͱ͖ ͱ֬཰Λܭࢉ͍ͨ͠ • ͱͯ͠γάϞΠυؔ਺Λ༻͍Δ

    • ϓϩϏοτؔ਺ (ਖ਼ن෼෍ͷྦྷੵີ ౓ؔ਺) ΛΑۙ͘ࣅ͢Δ • ਪఆ΋ෳࡶͳͷͰ୯ʹ෼ྨΛߦ͍͍ͨ ৔߹ʹ͸ϝϦοτ͸ͳ͍ • ଞͷ֬཰աఔͱͷ૊Έ߹ΘͤΛߟ͑Δ ৔߹ʹ஌͓ͬͯ͘ͱྑ͍

50. 3. ϙΞιϯճؼϞσϧ • ؍ଌ஋ ͕ࣗવ਺ͷͱ͖ʹΨ΢εաఔ Λ༻͍ͨճؼΛߦ͍͍ͨ • ύϥϝʔλʔ ͱೖྗ ͷؒʹ

    ΛԾఆ͢Δ • • ࣄޙ෼෍͸΍͸Γෳࡶ

51. χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ ཁ໿ • ॏΈͷॳظ஋ʹখ͞ͳཚ਺Λ༻͍Δɺͱ͍͏ͷ͸Ұൠత • ʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ͸ɺظ଴஋ΛͱΔ ૢ࡞ͱΈͳͤɺ݁Ռ͸த৺ۃݶఆཧ͔ΒΨ΢ε෼෍ʹۙͮ͘ • ωοτϫʔΫʹΑͬͯ͸Χʔωϧؔ਺͕ղੳతʹٻΊΒΕΔ •

    ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ24 24 Deep Neural Networks as Gaussian Processes. 2017. https://arxiv.org/abs/1711.00165.

52. Ψ΢εաఔճؼͷҰൠԽ Recap ಺༰ ߲໨ 1. ϩόετͳΨ΢εաఔճؼ ίʔγʔ෼෍Λ༻͍Δͱ֎Ε஋ʹڧ͘ͳ Δ 2. Ψ΢εաఔࣝผϞσϧ

    ϩδεςΟοΫճؼΛΨ΢εաఔʹద༻ Ͱ͖Δ 3. ϙΞιϯճؼϞσϧ ϙΞιϯճؼΛΨ΢εաఔʹద༻Ͱ͖Δ χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

53. Recap ֓ཁ ϙΠϯτ ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦ Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏ Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ

    Ψ΢εաఔʹ͓͚Δֶशํ๏ Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ