Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ガウス過程と機械学習 3章後半

ガウス過程と機械学習 3章後半

「ガウス過程と機械学習」輪読会(リターンズ) #3 の発表資料です
https://reading-circle-beginners.connpass.com/event/142115/

Asei Sugiyama

August 18, 2019
Tweet

More Decks by Asei Sugiyama

Other Decks in Technology

Transcript

  1. Ψ΢εաఔͱػցֶश
    3.4 - 3.6

    View Slide

  2. ࣗݾ঺հ
    • ਿࢁ Ѩ੟
    • Software Engineer @Repro
    • ػցֶशͱ͔౷ܭͱ͔։ൃͱ͔
    • ػցֶशਤؑ ڞஶ

    View Slide

  3. ํ਑ & ग़య
    • Ψ΢εաఔͱػցֶशͷ 3.4 - 3.6
    Λத৺ʹѻ͍·͢
    • ग़యΛ໌ه͍ͯ͠ͳ͍ਤ͸͜ͷॻ੶
    ͔ΒͷҾ༻Ͱ͢
    • ͚ͩ͜͜Λ࿩͢ͷ͸೉͍͠ͷͰɺ෮श
    ͔ΒೖΓ·͢
    • ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    • 3.1 - 3.3
    • 3.4 - 3.6

    View Slide

  4. ಺༰
    ֓ཁ ϙΠϯτ
    ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦
    Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ
    Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏
    Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏
    Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ

    View Slide

  5. ໨࣍
    1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ <-
    2.Ψ΢εաఔ֓ཁ
    3.Ψ΢εաఔճؼϞσϧ
    4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ
    5.Ψ΢εաఔճؼͷҰൠԽ

    View Slide

  6. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    • ஶऀ : ਢࢁರࢤ (@sammy_suyama)
    • ଞʹ͸ʮϕΠζਂ૚ֶशʯ
    • ϕΠζਪ࿦ͷجૅʹ͍ͭͯͷຊ
    • ࣍ͷ಺༰Λ෮श͢Δ
    1.ϕΠζਪ࿦
    2.MCMC (ΪϒεαϯϓϦϯά)
    3.ઢܗճؼ
    4.ϩδεςΟοΫճؼ

    View Slide

  7. ϕΠζਪ࿦
    ܇࿅σʔλͷू߹Λ ɺϞσϧͷύϥϝʔλʔΛ ɺະ؍ଌͷ
    σʔλΛ ͱͯ͠
    • Ϟσϧ :
    • ֶश :
    • ਪ࿦ :

    View Slide

  8. MCMC (ΪϒεαϯϓϦϯά)
    ͋Δ֬཰෼෍ ͔Βαϯϓϧ
    Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά
    ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ

    View Slide

  9. ઢܗճؼ
    • ೖྗ஋Λ ग़ྗ஋Λ ॏΈΛ , ϊΠζ੒෼Λ ͱ͠
    ͯɺઢܗճؼ͸ ͱఆࣜԽͰ͖Δ
    • ϊΠζʹ͍ͭͯ ΛԾఆ͢Δͱɺग़ྗ ͸
    ͱਖ਼ن෼෍ʹै͏
    • ॏΈʹ͍ͭͯ ΛԾఆ͢Δͱɺࣄޙ෼෍
    ͕ਖ਼ن෼෍ʹै͏ (ϕΠζਪ࿦ͷҙຯͰֶशՄೳ)

    View Slide

  10. ϩδεςΟοΫճؼ (1/3)
    ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε
    Δ΋ͷͱ͢Δɻ
    ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ

    View Slide

  11. ϩδεςΟοΫճؼ (2/3)
    • ֶशͷͨΊʹೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β
    ͷࣄޙ෼෍Λܭࢉ
    • Softmax ؔ਺͕ೖͬͯ͠·͍ͬͯΔͨΊʹࣄޙ෼෍Λղੳత
    ʹܭࢉͰ͖ͳ͍ͷͰม෼ਪ࿦Λߦ͍ɺۙࣅղΛܭࢉ
    • ͱͯ͠ KL μΠόʔδΣ
    ϯε Λ࠷খԽ͢Δ (ม෼ਪ࿦)

    View Slide

  12. ϩδεςΟοΫճؼ (3/3)
    • ୈ 3 ߲ΛղੳతʹܭࢉͰ͖ͳ͍ͷͰޯ഑๏ͰۙࣅղΛٻΊΔ
    • ϞϯςΧϧϩ๏ʹ͓͍ͯɺ ͕ಘΒΕͨͷͩͱΈͳ͢
    ( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) ࠶ύϥϝʔ
    λʔԽτϦοΫʹΑΓޯ഑͕ܭࢉͰ͖Δ

    View Slide

  13. ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ Recap
    ߲໨ ϙΠϯτ
    1. ϕΠζਪ࿦ ֶशͰ΋ਪ࿦Ͱ΋֬཰෼෍Λߟ͑Δ
    2. MCMC (ΪϒεαϯϓϦϯά) ෳࡶͳ෼෍Λۙࣅ͢Δख๏͕͋Δ
    3. ઢܗճؼ ॏΈΛ֬཰ม਺ͩͱଊֶ͑ͯश͢Δ
    4. ϩδεςΟοΫճؼ ޯ഑߱Լ๏ΛϕΠζͰ΋࢖͑Δ

    View Slide

  14. ༨ஊ ϕΠζਂ૚ֶश
    • ୈ 1 ষ ͸͡Ίʹ
    • ୈ 2 ষ χϡʔϥϧωοτϫʔΫͷج

    • ୈ 3 ষ ϕΠζਪ࿦ͷجૅ
    • ୈ 4 ষ ۙࣅϕΠζਪ࿦
    • ୈ 5 ষ χϡʔϥϧωοτϫʔΫͷϕ
    Πζਪ࿦
    • ୈ 6 ষ ਂ૚ੜ੒Ϟσϧ
    • ୈ 7 ষ ਂ૚ֶशͱΨ΢εաఔ

    View Slide

  15. ໨࣍
    1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    2.Ψ΢εաఔ֓ཁ <-
    3.Ψ΢εաఔճؼϞσϧ
    4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ
    5.Ψ΢εաఔճؼͷҰൠԽ

    View Slide

  16. Ψ΢εաఔ֓ཁ
    ߲໨ ϙΠϯτ
    1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ
    2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ
    3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ
    ߦྻʹͳΔ
    4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟
    ·ͳϞσϧΛදݱͰ͖Δ

    View Slide

  17. Ψ΢εաఔͷఆٛ
    • Wikipedia (English) ͷఆٛ͸࣍
    ͷ௨Γ
    ֬཰աఔ ͕࣍ͷ৚݅Λຬͨ
    ͢ͱ͖ɺΨ΢εաఔͱݺͿɻ
    ఴࣈू߹ ͷ೚ҙͷ༗ݶ෦෼ू߹
    ʹର͠ɺ
    ͕ଟ࣍ݩਖ਼ن෼
    ෍ʹै͏ɻ

    View Slide

  18. Χʔωϧؔ਺ͷಋೖ
    ؔ਺ ͕࣍Λຬͨ͢ͱ͖ɺਖ਼ఆ஋Χʔωϧͱݴ͏
    ೚ҙͷ ʹର͠
    1. (ରশੑ)
    2. (ਖ਼ఆ஋ੑ)
    ಺ੵͷҰൠԽͰ͋Γɺσʔλؒͷྨࣅ౓Λද͢ (ཧ༝͸͋ͱͰ)

    View Slide

  19. Χʔωϧؔ਺ͱάϥϜߦྻ
    ೚ҙͷσʔλྻ ͱΧʔωϧؔ਺ ʹର͠ɺߦྻ
    ͷ੒෼ Λ࣍Ͱఆٛͨ͠΋ͷΛάϥϜߦྻ·ͨ͸
    ΧʔωϧߦྻͱݺͿ
    • Χʔωϧؔ਺Λ༻͍ͨڞ෼ࢄߦྻͷҰൠԽ
    • Χʔωϧؔ਺ͷਖ਼ఆ஋ੑ͸άϥϜߦྻͷݻ༗஋͕શͯ 0 Ҏ্
    Ͱ͋Δ͜ͱʹಉ͡

    View Slide

  20. ิ଍ Mercer ͷఆཧ
    • ਖ਼ఆ஋Χʔωϧ ʹରͯ͠͸ɺ࣍Λຬ
    ͨ͢Α͏ͳಛ௃ۭؒ΁ͷࣹӨ ͕
    ଘࡏ͢Δɺͱ͍͏ఆཧ
    • ࣹӨ͢Δಛ௃ۭؒͷ࣍ݩ͸Ұൠʹ͸༗
    ݶͰͳ͍
    • ͭ·Γຊ౰ʹӈͷΑ͏ʹͳ͍ͬͯΔͱ
    ࢥͬͯ΋ྑ͍ (ػցֶशਤ͔ؑΒൈਮ)

    View Slide

  21. Ψ΢εաఔͷఆٛ (Χʔωϧ๏)

    View Slide

  22. ؍ଌϊΠζͱΧʔωϧؔ਺
    • ઢܗճؼ ʹ͓͍ͯɺ ͱ
    ͓͖ɺ ͱ ΛԾఆ͢Δ
    • ͜ͷͱ͖ Ͱ
    ( ͱͨ͠)
    • ͕ਖ਼ఆ஋Ͱ͋Δ͜ͱͱɺΧʔωϧؔ਺͸࿨ʹดͯ͡
    ͍Δ͜ͱΛ༻͍Δͱ ͱ͍͏
    ৽͍͠Χʔωϧؔ਺Λఆٛͨ͠ͱΈͳͤΔ

    View Slide

  23. Ψ΢εաఔ֓ཁ Recap
    ߲໨ ϙΠϯτ
    1. Ψ΢εաఔͷఆٛ ฏۉͱڞ෼ࢄߦྻͰܾ·Δ
    2. Χʔωϧؔ਺ͷಋೖ Χʔωϧؔ਺͸಺ੵΛҰൠԽͨ͠΋ͷ
    3. Χʔωϧؔ਺ͱάϥϜߦྻ άϥϜߦྻ͕Ψ΢εաఔʹ͓͚Δڞ෼ࢄ
    ߦྻʹͳΔ
    4. ؍ଌϊΠζͱΧʔωϧؔ਺ Χʔωϧؔ਺ʹΑΓΨ΢εաఔͰ͞·͟
    ·ͳϞσϧΛදݱͰ͖Δ

    View Slide

  24. ໨࣍
    1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    2.Ψ΢εաఔ֓ཁ
    3.Ψ΢εաఔճؼϞσϧ <-
    4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ
    5.Ψ΢εաఔճؼͷҰൠԽ

    View Slide

  25. Ψ΢εաఔճؼϞσϧ
    ߲໨ ಺༰
    1. Ψ΢εաఔͷ༧ଌ෼෍ Ψ΢εաఔͰͷਪ࿦ํ๏
    2. Ψ΢εաఔճؼͷܭࢉ ࣮૷ํ๏ͱܭࢉྔ
    3. Ψ΢εճؼաఔͷཁૉදݱ ଞͷख๏ͱͷؔ࿈

    View Slide

  26. Ψ΢εաఔͷ༧ଌ෼෍
    • ֶशσʔλ Λ࢖ͬͯະ஌σʔλ
    ʹର͢Δग़ྗ Λ༧ଌ͍ͨ͠ ( ͱ͢Δ)
    • ͱ͍͏ؔ܎͕͋Γ ͱ͢Δ
    • ͷै͏෼෍͸άϥϜߦྻ
    Λ༻͍Δͱɺ (Ψ΢εաఔͷఆٛΑΓ)
    • ະ஌σʔλͰ͸Ͳ͏͢΂͖͔Λߟ͍͑ͨ

    View Slide

  27. ະ஌σʔλʹର͢Δਪ࿦ (1/2)
    • ະ஌ͷೖྗ ʹର͢Δग़ྗ Λؚ
    ΊͯάϥϜߦྻΛܭࢉͯ͠ਪ࿦͢Δ
    • ະ஌σʔλΛՃ͑ͨग़ྗ
    ͱɺະ஌σʔλΛ
    Ճ͑ͨάϥϜߦྻ Λܭࢉ͢Δ
    • ະ஌σʔλΛؚΊͨग़ྗͷ෼෍ (ط஌
    σʔλͱະ஌σʔλͷಉ࣌֬཰෼෍)
    ͕ਪ࿦Ͱ͖Δ

    View Slide

  28. ະ஌σʔλʹର͢Δਪ࿦ (2/2)
    • ಉ࣌෼෍ ͔Β৚݅෇͖֬཰෼
    ෍ ΛٻΊΔ
    • ଟ࣍ݩਖ਼ن෼෍ͷҰ෦͕༩͑ΒΕͨͱ
    ͖ͷ݁ՌΛ༻͍Δ
    • ະ஌σʔλ͕ෳ਺͋Δͱ͖΋ಉ༷

    View Slide

  29. View Slide

  30. Ψ΢εաఔճؼͷܭࢉ (1/2)
    • ֬཰෼෍ ͷύϥ
    ϝʔλͷܭࢉʹ͓͍ͯɺ ͷܭࢉ͕ඞཁ
    • ٯߦྻͷܭࢉͰ͸ϥϯΫ (͜͜Ͱ͸σʔλྔ) ʹରͯ͠ܭ
    ࢉྔ͕ ඞཁʹͳΔͨΊͳΜͱ͔ͯ͠ճආ͍ͨ͠
    • Ψ΢γΞϯΧʔωϧͰ͸ճආͰ͖Δ
    • ৄ͘͠͸ 5 ষͰ!

    View Slide

  31. Ψ΢εաఔճؼͷܭࢉ (2/2)
    • ۪௚ͳ࣮૷ͰؾʹͳΔՕॴΛݕ౼͢Δ
    • K[n, n'] ͷϝϞϦফඅྔ͕σʔλ਺
    ʹରͯ͠
    • ٯߦྻͷܭࢉྔ͕ߴ͍ ( )
    • άϥϜߦྻͷܭࢉྔ΋ߴ͍ ( )
    • train ʹ֘౰͢Δ෦෼͕ͳ͍
    • άϥϜߦྻΛهԱ͢Δ͚ͩ
    • ޙ΄Ͳ࠶ݕ౼

    View Slide

  32. Ψ΢εճؼաఔͷཁૉදݱ (1/3)
    • ฏۉ஋ʹ͍ͭͯݕ౼͢Δ
    • ͱ͓͘ͱɺ

    View Slide

  33. Ψ΢εճؼաఔͷཁૉදݱ (2/3)
    • Λݕ౼͢Δ
    ( ͸ݻఆͯ͠ߟ͑Δ)
    • ͸ ൪໨ͷσʔλͱະ஌
    σʔλͷྨࣅ౓
    • ͸ ൪໨ͷσʔλͱͷ ൪໨ͷσʔ
    λͷؔ࿈౓߹͍
    • ͸ະ஌σʔλ͕ ൪໨ͷط஌σʔλ
    ͱͲΕ͚ͩؔ࿈͢Δ͔ɺશମతͳฏۉ
    Λͱͬͨ΋ͷ

    View Slide

  34. Ψ΢εճؼաఔͷཁૉදݱ (3/3)
    • , ͱఆ
    ٛ͢Δͱɺ࣍ͷΑ͏ʹॻ͚Δ*
    • ͜ͷܭࢉ͸άϥϑߏ଄Ͱ͔͚Δ
    * ӈਤͱ͸ผͷఆٛ

    View Slide

  35. Ψ΢εաఔճؼϞσϧ Recap
    ߲໨ ϙΠϯτ
    1. Ψ΢εաఔͷ༧ଌ෼෍ ਪ࿦͸Χʔωϧؔ਺Λ༻͍ͨط஌ͷσ
    ʔλͱͷྨࣅ౓ܭࢉ͔ΒͰ͖Δ
    2. Ψ΢εաఔճؼͷܭࢉ ۩ମతͳ࣮૷Ͱ͸ٯߦྻͷܭࢉ͕ܭࢉ
    ͷେ൒Λ઎ΊΔ
    3. Ψ΢εճؼաఔͷཁૉදݱ αϙʔτϕΫτϧϚγϯ΍χϡʔϥϧ
    ωοτϫʔΫͱͷؔ࿈͕ࣔࠦ͞ΕΔ

    View Slide

  36. ༨ஊ Firebase
    • Firebase ͷυΩϡϝϯτʹʮߴ౓ͳ
    ϕΠζ౷ܭʯΛ༻͍ͯͱ͋Γ·͢Ͷ
    • Optimize1 Ͱ΋࢖͍ͬͯΔΈ͍ͨͰ͢
    Ͷ
    • ࣄલ෼෍ʹ Beta(0, 0) Λ༻͍͍ͯ
    Δͷ͸ͼͬ͘Γ͠·ͨ͠
    1 Google Analytics Λ༻͍ͨ Web αΠτͷ A/B ςετ༻αʔϏε

    View Slide

  37. ໨࣍
    1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    2.Ψ΢εաఔ֓ཁ
    3.Ψ΢εաఔճؼϞσϧ
    4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ <-
    5.Ψ΢εաఔճؼͷҰൠԽ

    View Slide

  38. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ
    ߲໨ ಺༰
    1. ϋΠύʔύϥϝʔλͷ࠷దԽ Ψ΢εաఔʹ͓͚Δޯ഑߱Լ๏
    2. ϋΠύʔύϥϝʔλͱہॴղ େҬղͱہॴղ
    3. Χʔωϧͷબ୒ Χʔωϧͷ૊Έ߹Θͤํ

    View Slide

  39. ϋΠύʔύϥϝʔλͷ࠷దԽ
    • Ψ΢εաఔͷ࣮૷ʹ͓͍ͯɺֶशաఔͰ͸άϥϜߦྻͷܭࢉ݁
    ՌΛهԱ͢Δ͚ͩͩͬͨ
    • ҰํɺΧʔωϧؔ਺ʹ͸ϋΠύʔύϥϝʔλΛ࣋ͭ΋ͷ͕ଟ͍
    • e.g. RBF Χʔωϧ
    • ͜ΕΒͷύϥϝʔλʹ͍ͭͯɺσʔλ͔Β࠷దԽͰ͖ͳ͍͔ݕ
    ౼͢Δ

    View Slide

  40. ࠷దԽͷํ਑
    1.σʔλΛਖ਼نԽ͢Δ2
    2.࠷దԽͷର৅Λର਺໬౓ ͱ͢Δ
    3.ର਺໬౓ͷޯ഑Λܭࢉ͢Δ
    • ͜ͷࡍʹάϥϜߦྻΛύϥϝʔλͰ
    ඍ෼͢Δඞཁ͕͋Δ
    4.ޯ഑߱Լ๏ʹجͮ͘ԿΒ͔ͷΞϧΰϦ
    ζϜΛ༻͍ͯ࠷దԽ͢Δ
    2 ஫ऍ 23 ΑΓɺ͜͜Ͱ͸ฏۉΛ 0 ෼ࢄΛ 1 ʹ͍ͯ͠Δ

    View Slide

  41. ϋΠύʔύϥϝʔλͱہॴղ
    • େҬղͰ͸ͳ͘ہॴղʹؕΔ৔߹͕͋
    Δͷʹ஫ҙ
    • ͜Ε͸઴ۙܭࢉʹҰൠͷੑ࣭
    • ϋΠύʔύϥϝʔλͷ࣍ݩ͕ߴ͍৔߹͸
    MCMC3 ͳͲΛ࢖ͬͯܭࢉ͢Δͱྑ͍ͱ
    ओு͍ͯ͠Δ
    3 ͜͜Ͱݴ͏ MCMC ͸ Metropolis–Hastings Ͱཚ਺Λੜ੒ͯ͠ظ଴஋Λܭ
    ࢉ͢Δͱ͍͏ҙຯͰ͸ͳ͘ɺͦΕΛϋΠύʔύϥϝʔλʔ୳ࡧʹ࢖͏ͱ͍͏ҙຯ
    (ޮ཰Α͘ϥϯμϜαʔνΛ΍ΔΠϝʔδ) cf. ஫ऍ 26

    View Slide

  42. Χʔωϧͷબ୒
    • Χʔωϧͷબ୒Λߦ͏͜ͱͰɺ֎෦͔
    Β஌ࣝΛ஫ೖͰ͖Δ
    • RBF Χʔωϧ͚ͩΛ༻͍ͨਤ(a)Ͱ
    ͸ɺσʔλͷ͋ΔՕॴ͸ͱ΋͔͘ɺӈ
    ୺͕ո͍͠
    • ઢܗΧʔωϧΛՃ͑ͨਤ(b)Ͱ͸ɺશମ
    తʹҰ؏ͨ͠܏޲͕͋Δͱ͍͏݁ՌΛ
    ಘΒΕ͍ͯΔ

    View Slide

  43. Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Recap
    ߲໨ ಺༰
    1. ϋΠύʔύϥϝʔλͷ࠷దԽ ޯ഑߱Լ๏Λ༻͍ͨ࠷దԽ͕Ͱ͖Δ(Χ
    ʔωϧʹΑΔ)
    2. ϋΠύʔύϥϝʔλͱہॴղ େҬղʹ౸ୡ͢Δอূ͸ͳ͍ͷͰ஫ҙ
    ͢Δ
    3. Χʔωϧͷબ୒ RBF ΧʔωϧҎ֎ͷΧʔωϧ΋ซ༻͢
    Δͱྑ͘ͳΔ৔߹͕͋Δ

    View Slide

  44. ༨ஊ
    • Ψ΢εաఔͷ࿩͸ΧϧϚϯϑΟϧλͱࣅ
    ͍ͯΔ
    • ܚԠେֶͷΧϧϚϯϑΟϧλͷߨٛ4͕
    ໘ന͔ͬͨ
    • ಉ࣌ʹ࢖͏ํ๏΋ఏএ͞Ε͍ͯΔ༷ࢠ5
    (ະಡ)
    5 J. Ko and D. Fox: GP-BayesFilters: Bayesian filtering using
    Gaussian process prediction and observation models,
    Autonomous Robots, 27-1, 75/90 (2009)
    4 ܚጯେֶߨٛ Ԡ༻֬཰࿦ ୈेࡾճɹϕΠζͷํ๏ ΧϧϚϯϑΟϧλ̍
    https://www.youtube.com/watch?v=P85JCE3tZWY

    View Slide

  45. ໨࣍
    1.ϕΠζਪ࿦ʹΑΔػցֶशೖ໳
    2.Ψ΢εաఔ֓ཁ
    3.Ψ΢εաఔճؼϞσϧ
    4.Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ
    5.Ψ΢εաఔճؼͷҰൠԽ <-

    View Slide

  46. Ψ΢εաఔճؼͷҰൠԽ
    ಺༰ ߲໨
    1. ϩόετͳΨ΢εաఔճؼ Ψ΢εաఔͰίʔγʔ෼෍Λ༻͍Δ
    2. Ψ΢εաఔࣝผϞσϧ Ψ΢εաఔΛ෼ྨ໰୊ʹద༻͢Δ
    3. ϙΞιϯճؼϞσϧ Ψ΢εաఔΛΠϕϯτͷൃੜճ਺ͷ༧ଌ
    ʹద༻͢Δ
    ίϥϜ χϡʔϥϧωοτϫʔΫͱΨ΢ε
    աఔ
    χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

    View Slide

  47. ֓ཁ
    • ؍ଌϞσϧͱͯ͠Ψ΢ε෼෍Λ૝ఆ͍͕ͯͨ͠ɺੈͷதͦ͏Ͱ
    ͳ͍͜ͱ΋ଟ͍ (e.g. Ի੠΍୯ޠͷੜ੒֬཰)
    • Ψ΢εաఔʹ͓͚Δೖྗ ͔Β؍ଌ஋ ͕ੜ੒͞Ε
    Δ֬཰ ʹਖ਼ن෼෍Ҏ֎ͷ֬཰෼෍Λ༻͍Δ͜ͱ͸Մೳ
    • ͕ղੳతʹܭࢉͰ͖ͳ͍ͷͰɺMCMC ΍ม
    ෼ϕΠζͱ͍ͬͨۙࣅਪ࿦Ͱࣄޙ෼෍ΛٻΊΔ

    View Slide

  48. 1. ϩόετͳΨ΢εաఔճؼ
    • ੄ͷ޿͍෼෍Λ༻͍Δ͜ͱͰϩόετ
    ͳϞσϧ͕Ͱ͖Δ
    • Cauchy ෼෍ (t ෼෍) Λ༻͍Δ
    • ӈਤͰ͸֎Ε஋ʹϩόετͳϞσϧ͕
    Ͱ͖͍ͯΔ
    • ࣄޙ෼෍͸ղੳతʹٻΊΒΕͳ͍ͷͰ
    MCMC ͳͲͰۙࣅతʹٻΊΔ

    View Slide

  49. 2. Ψ΢εաఔࣝผϞσϧ
    • ؍ଌ஋ ͕ 2 ஋ͷͱ͖
    ͱ֬཰Λܭࢉ͍ͨ͠
    • ͱͯ͠γάϞΠυؔ਺Λ༻͍Δ
    • ϓϩϏοτؔ਺ (ਖ਼ن෼෍ͷྦྷੵີ
    ౓ؔ਺) ΛΑۙ͘ࣅ͢Δ
    • ਪఆ΋ෳࡶͳͷͰ୯ʹ෼ྨΛߦ͍͍ͨ
    ৔߹ʹ͸ϝϦοτ͸ͳ͍
    • ଞͷ֬཰աఔͱͷ૊Έ߹ΘͤΛߟ͑Δ
    ৔߹ʹ஌͓ͬͯ͘ͱྑ͍

    View Slide

  50. 3. ϙΞιϯճؼϞσϧ
    • ؍ଌ஋ ͕ࣗવ਺ͷͱ͖ʹΨ΢εաఔ
    Λ༻͍ͨճؼΛߦ͍͍ͨ
    • ύϥϝʔλʔ ͱೖྗ ͷؒʹ
    ΛԾఆ͢Δ

    • ࣄޙ෼෍͸΍͸Γෳࡶ

    View Slide

  51. χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ ཁ໿
    • ॏΈͷॳظ஋ʹখ͞ͳཚ਺Λ༻͍Δɺͱ͍͏ͷ͸Ұൠత
    • ʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ͸ɺظ଴஋ΛͱΔ
    ૢ࡞ͱΈͳͤɺ݁Ռ͸த৺ۃݶఆཧ͔ΒΨ΢ε෼෍ʹۙͮ͘
    • ωοτϫʔΫʹΑͬͯ͸Χʔωϧؔ਺͕ղੳతʹٻΊΒΕΔ
    • ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ24
    24 Deep Neural Networks as Gaussian Processes. 2017. https://arxiv.org/abs/1711.00165.

    View Slide

  52. Ψ΢εաఔճؼͷҰൠԽ Recap
    ಺༰ ߲໨
    1. ϩόετͳΨ΢εաఔճؼ ίʔγʔ෼෍Λ༻͍Δͱ֎Ε஋ʹڧ͘ͳ
    Δ
    2. Ψ΢εաఔࣝผϞσϧ ϩδεςΟοΫճؼΛΨ΢εաఔʹద༻
    Ͱ͖Δ
    3. ϙΞιϯճؼϞσϧ ϙΞιϯճؼΛΨ΢εաఔʹద༻Ͱ͖Δ
    χϡʔϥϧωοτϫʔΫͱΨ΢εաఔ χϡʔϥϧωοτϫʔΫ͸Ψ΢εաఔ

    View Slide

  53. Recap
    ֓ཁ ϙΠϯτ
    ϕΠζਪ࿦ʹΑΔػցֶशೖ໳ ϕΠζਪ࿦ʹ͓͚Δֶशͱਪ࿦
    Ψ΢εաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫ
    Ψ΢εաఔճؼϞσϧ Ψ΢εաఔʹ͓͚Δਪ࿦ํ๏
    Ψ΢εաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψ΢εաఔʹ͓͚Δֶशํ๏
    Ψ΢εաఔճؼͷҰൠԽ ਖ਼ن෼෍Ҏ֎ΛԾఆͨ͠Ψ΢εաఔ

    View Slide