「ガウス過程と機械学習」輪読会（リターンズ） #3 の発表資料です https://reading-circle-beginners.connpass.com/event/142115/
Ψεաఔͱػցֶश3.4 - 3.6
View Slide
ࣗݾհ• ਿࢁ Ѩ• Software Engineer @Repro• ػցֶशͱ͔౷ܭͱ͔։ൃͱ͔• ػցֶशਤؑ ڞஶ
ํ & ग़య• Ψεաఔͱػցֶशͷ 3.4 - 3.6Λத৺ʹѻ͍·͢• ग़యΛ໌ه͍ͯ͠ͳ͍ਤ͜ͷॻ੶͔ΒͷҾ༻Ͱ͢• ͚ͩ͜͜Λ͢ͷ͍͠ͷͰɺ෮श͔ΒೖΓ·͢• ϕΠζਪʹΑΔػցֶशೖ• 3.1 - 3.3• 3.4 - 3.6
༰֓ཁ ϙΠϯτϕΠζਪʹΑΔػցֶशೖ ϕΠζਪʹ͓͚ΔֶशͱਪΨεաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫΨεաఔճؼϞσϧ Ψεաఔʹ͓͚Δਪํ๏ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψεաఔʹ͓͚Δֶशํ๏ΨεաఔճؼͷҰൠԽ ਖ਼نҎ֎ΛԾఆͨ͠Ψεաఔ
࣍1.ϕΠζਪʹΑΔػցֶशೖ <-2.Ψεաఔ֓ཁ3.ΨεաఔճؼϞσϧ4.ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ5.ΨεաఔճؼͷҰൠԽ
ϕΠζਪʹΑΔػցֶशೖ• ஶऀ : ਢࢁರࢤ (@sammy_suyama)• ଞʹʮϕΠζਂֶशʯ• ϕΠζਪͷجૅʹ͍ͭͯͷຊ• ࣍ͷ༰Λ෮श͢Δ1.ϕΠζਪ2.MCMC (ΪϒεαϯϓϦϯά)3.ઢܗճؼ4.ϩδεςΟοΫճؼ
ϕΠζਪ܇࿅σʔλͷू߹Λ ɺϞσϧͷύϥϝʔλʔΛ ɺະ؍ଌͷσʔλΛ ͱͯ͠• Ϟσϧ :• ֶश :• ਪ :
MCMC (ΪϒεαϯϓϦϯά)͋Δ֬ ͔ΒαϯϓϧΛಘ͍ͨ߹ɺ࣍ͷΑ͏ʹ͖͔݅֬Βஞ࣍αϯϓϦϯά͢Δ͜ͱͰɺۙࣅతʹͱͷʹै͏αϯϓϧྻΛಘΒΕΔɻ
ઢܗճؼ• ೖྗΛ ग़ྗΛ ॏΈΛ , ϊΠζΛ ͱͯ͠ɺઢܗճؼ ͱఆࣜԽͰ͖Δ• ϊΠζʹ͍ͭͯ ΛԾఆ͢Δͱɺग़ྗ ͱਖ਼نʹै͏• ॏΈʹ͍ͭͯ ΛԾఆ͢Δͱɺࣄޙ͕ਖ਼نʹै͏ (ϕΠζਪͷҙຯͰֶशՄೳ)
ϩδεςΟοΫճؼ (1/3)ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦʹैͬͯग़ྗ͞ΕΔͷͱ͢Δɻ͜͜Ͱɺ ඇઢܗؔͰɺࠓճ Softmax ؔΛ༻͍Δɻ
ϩδεςΟοΫճؼ (2/3)• ֶशͷͨΊʹೖྗͱग़ྗͷσʔληοτ ͔ΒͷࣄޙΛܭࢉ• Softmax ͕ؔೖͬͯ͠·͍ͬͯΔͨΊʹࣄޙΛղੳతʹܭࢉͰ͖ͳ͍ͷͰมਪΛߦ͍ɺۙࣅղΛܭࢉ• ͱͯ͠ KL μΠόʔδΣϯε Λ࠷খԽ͢Δ (มਪ)
ϩδεςΟοΫճؼ (3/3)• ୈ 3 ߲ΛղੳతʹܭࢉͰ͖ͳ͍ͷͰޯ๏ͰۙࣅղΛٻΊΔ• ϞϯςΧϧϩ๏ʹ͓͍ͯɺ ͕ಘΒΕͨͷͩͱΈͳ͢( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) ࠶ύϥϝʔλʔԽτϦοΫʹΑΓޯ͕ܭࢉͰ͖Δ
ϕΠζਪʹΑΔػցֶशೖ Recap߲ ϙΠϯτ1. ϕΠζਪ ֶशͰਪͰ֬Λߟ͑Δ2. MCMC (ΪϒεαϯϓϦϯά) ෳࡶͳΛۙࣅ͢Δख๏͕͋Δ3. ઢܗճؼ ॏΈΛ֬มͩͱଊֶ͑ͯश͢Δ4. ϩδεςΟοΫճؼ ޯ߱Լ๏ΛϕΠζͰ͑Δ
༨ஊ ϕΠζਂֶश• ୈ 1 ষ ͡Ίʹ• ୈ 2 ষ χϡʔϥϧωοτϫʔΫͷجૅ• ୈ 3 ষ ϕΠζਪͷجૅ• ୈ 4 ষ ۙࣅϕΠζਪ• ୈ 5 ষ χϡʔϥϧωοτϫʔΫͷϕΠζਪ• ୈ 6 ষ ਂੜϞσϧ• ୈ 7 ষ ਂֶशͱΨεաఔ
࣍1.ϕΠζਪʹΑΔػցֶशೖ2.Ψεաఔ֓ཁ <-3.ΨεաఔճؼϞσϧ4.ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ5.ΨεաఔճؼͷҰൠԽ
Ψεաఔ֓ཁ߲ ϙΠϯτ1. Ψεաఔͷఆٛ ฏۉͱڞࢄߦྻͰܾ·Δ2. Χʔωϧؔͷಋೖ ΧʔωϧؔੵΛҰൠԽͨ͠ͷ3. ΧʔωϧؔͱάϥϜߦྻ άϥϜߦྻ͕Ψεաఔʹ͓͚ΔڞࢄߦྻʹͳΔ4. ؍ଌϊΠζͱΧʔωϧؔ ΧʔωϧؔʹΑΓΨεաఔͰ͞·͟·ͳϞσϧΛදݱͰ͖Δ
Ψεաఔͷఆٛ• Wikipedia (English) ͷఆٛ࣍ͷ௨Γ֬աఔ ͕࣍ͷ݅Λຬͨ͢ͱ͖ɺΨεաఔͱݺͿɻఴࣈू߹ ͷҙͷ༗ݶ෦ू߹ʹର͠ɺ͕ଟ࣍ݩਖ਼نʹै͏ɻ
Χʔωϧؔͷಋೖؔ ͕࣍Λຬͨ͢ͱ͖ɺਖ਼ఆΧʔωϧͱݴ͏ҙͷ ʹର͠1. (ରশੑ)2. (ਖ਼ఆੑ)ੵͷҰൠԽͰ͋ΓɺσʔλؒͷྨࣅΛද͢ (ཧ༝͋ͱͰ)
ΧʔωϧؔͱάϥϜߦྻҙͷσʔλྻ ͱΧʔωϧؔ ʹର͠ɺߦྻͷ Λ࣍Ͱఆٛͨ͠ͷΛάϥϜߦྻ·ͨΧʔωϧߦྻͱݺͿ• ΧʔωϧؔΛ༻͍ͨڞࢄߦྻͷҰൠԽ• Χʔωϧؔͷਖ਼ఆੑάϥϜߦྻͷݻ༗͕શͯ 0 Ҏ্Ͱ͋Δ͜ͱʹಉ͡
ิ Mercer ͷఆཧ• ਖ਼ఆΧʔωϧ ʹରͯ͠ɺ࣍Λຬͨ͢Α͏ͳಛۭؒͷࣹӨ ͕ଘࡏ͢Δɺͱ͍͏ఆཧ• ࣹӨ͢Δಛۭؒͷ࣍ݩҰൠʹ༗ݶͰͳ͍• ͭ·ΓຊʹӈͷΑ͏ʹͳ͍ͬͯΔͱࢥͬͯྑ͍ (ػցֶशਤ͔ؑΒൈਮ)
Ψεաఔͷఆٛ (Χʔωϧ๏)
؍ଌϊΠζͱΧʔωϧؔ• ઢܗճؼ ʹ͓͍ͯɺ ͱ͓͖ɺ ͱ ΛԾఆ͢Δ• ͜ͷͱ͖ Ͱ( ͱͨ͠)• ͕ਖ਼ఆͰ͋Δ͜ͱͱɺΧʔωϧؔʹด͍ͯ͡Δ͜ͱΛ༻͍Δͱ ͱ͍͏৽͍͠ΧʔωϧؔΛఆٛͨ͠ͱΈͳͤΔ
Ψεաఔ֓ཁ Recap߲ ϙΠϯτ1. Ψεաఔͷఆٛ ฏۉͱڞࢄߦྻͰܾ·Δ2. Χʔωϧؔͷಋೖ ΧʔωϧؔੵΛҰൠԽͨ͠ͷ3. ΧʔωϧؔͱάϥϜߦྻ άϥϜߦྻ͕Ψεաఔʹ͓͚ΔڞࢄߦྻʹͳΔ4. ؍ଌϊΠζͱΧʔωϧؔ ΧʔωϧؔʹΑΓΨεաఔͰ͞·͟·ͳϞσϧΛදݱͰ͖Δ
࣍1.ϕΠζਪʹΑΔػցֶशೖ2.Ψεաఔ֓ཁ3.ΨεաఔճؼϞσϧ <-4.ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ5.ΨεաఔճؼͷҰൠԽ
ΨεաఔճؼϞσϧ߲ ༰1. Ψεաఔͷ༧ଌ ΨεաఔͰͷਪํ๏2. Ψεաఔճؼͷܭࢉ ࣮ํ๏ͱܭࢉྔ3. Ψεճؼաఔͷཁૉදݱ ଞͷख๏ͱͷؔ࿈
Ψεաఔͷ༧ଌ• ֶशσʔλ Λͬͯະσʔλʹର͢Δग़ྗ Λ༧ଌ͍ͨ͠ ( ͱ͢Δ)• ͱ͍͏͕ؔ͋Γ ͱ͢Δ• ͷै͏άϥϜߦྻΛ༻͍Δͱɺ (ΨεաఔͷఆٛΑΓ)• ະσʔλͰͲ͏͖͔͢Λߟ͍͑ͨ
ະσʔλʹର͢Δਪ (1/2)• ະͷೖྗ ʹର͢Δग़ྗ ΛؚΊͯάϥϜߦྻΛܭࢉͯ͠ਪ͢Δ• ະσʔλΛՃ͑ͨग़ྗͱɺະσʔλΛՃ͑ͨάϥϜߦྻ Λܭࢉ͢Δ• ະσʔλΛؚΊͨग़ྗͷ (طσʔλͱະσʔλͷಉ࣌֬)͕ਪͰ͖Δ
ະσʔλʹର͢Δਪ (2/2)• ಉ࣌ ͔Β͖݅֬ ΛٻΊΔ• ଟ࣍ݩਖ਼نͷҰ෦͕༩͑ΒΕͨͱ͖ͷ݁ՌΛ༻͍Δ• ະσʔλ͕ෳ͋Δͱ͖ಉ༷
Ψεաఔճؼͷܭࢉ (1/2)• ֬ ͷύϥϝʔλͷܭࢉʹ͓͍ͯɺ ͷܭࢉ͕ඞཁ• ٯߦྻͷܭࢉͰϥϯΫ (͜͜Ͱσʔλྔ) ʹରͯ͠ܭࢉྔ͕ ඞཁʹͳΔͨΊͳΜͱ͔ͯ͠ճආ͍ͨ͠• ΨγΞϯΧʔωϧͰճආͰ͖Δ• ৄ͘͠ 5 ষͰ!
Ψεաఔճؼͷܭࢉ (2/2)• ۪ͳ࣮ͰؾʹͳΔՕॴΛݕ౼͢Δ• K[n, n'] ͷϝϞϦফඅྔ͕σʔλʹରͯ͠• ٯߦྻͷܭࢉྔ͕ߴ͍ ( )• άϥϜߦྻͷܭࢉྔߴ͍ ( )• train ʹ֘͢Δ෦͕ͳ͍• άϥϜߦྻΛهԱ͢Δ͚ͩ• ޙ΄Ͳ࠶ݕ౼
Ψεճؼաఔͷཁૉදݱ (1/3)• ฏۉʹ͍ͭͯݕ౼͢Δ• ͱ͓͘ͱɺ
Ψεճؼաఔͷཁૉදݱ (2/3)• Λݕ౼͢Δ( ݻఆͯ͠ߟ͑Δ)• ൪ͷσʔλͱະσʔλͷྨࣅ• ൪ͷσʔλͱͷ ൪ͷσʔλͷؔ࿈߹͍• ະσʔλ͕ ൪ͷطσʔλͱͲΕ͚ͩؔ࿈͢Δ͔ɺશମతͳฏۉΛͱͬͨͷ
Ψεճؼաఔͷཁૉදݱ (3/3)• , ͱఆٛ͢Δͱɺ࣍ͷΑ͏ʹॻ͚Δ*• ͜ͷܭࢉάϥϑߏͰ͔͚Δ* ӈਤͱผͷఆٛ
ΨεաఔճؼϞσϧ Recap߲ ϙΠϯτ1. Ψεաఔͷ༧ଌ ਪΧʔωϧؔΛ༻͍ͨطͷσʔλͱͷྨࣅܭࢉ͔ΒͰ͖Δ2. Ψεաఔճؼͷܭࢉ ۩ମతͳ࣮Ͱٯߦྻͷܭࢉ͕ܭࢉͷେΛΊΔ3. Ψεճؼաఔͷཁૉදݱ αϙʔτϕΫτϧϚγϯχϡʔϥϧωοτϫʔΫͱͷؔ࿈͕ࣔࠦ͞ΕΔ
༨ஊ Firebase• Firebase ͷυΩϡϝϯτʹʮߴͳϕΠζ౷ܭʯΛ༻͍ͯͱ͋Γ·͢Ͷ• Optimize1 Ͱ͍ͬͯΔΈ͍ͨͰ͢Ͷ• ࣄલʹ Beta(0, 0) Λ༻͍͍ͯΔͷͼͬ͘Γ͠·ͨ͠1 Google Analytics Λ༻͍ͨ Web αΠτͷ A/B ςετ༻αʔϏε
࣍1.ϕΠζਪʹΑΔػցֶशೖ2.Ψεաఔ֓ཁ3.ΨεաఔճؼϞσϧ4.ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ <-5.ΨεաఔճؼͷҰൠԽ
ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ߲ ༰1. ϋΠύʔύϥϝʔλͷ࠷దԽ Ψεաఔʹ͓͚Δޯ߱Լ๏2. ϋΠύʔύϥϝʔλͱہॴղ େҬղͱہॴղ3. Χʔωϧͷબ ΧʔωϧͷΈ߹Θͤํ
ϋΠύʔύϥϝʔλͷ࠷దԽ• Ψεաఔͷ࣮ʹ͓͍ͯɺֶशաఔͰάϥϜߦྻͷܭࢉ݁ՌΛهԱ͢Δ͚ͩͩͬͨ• ҰํɺΧʔωϧؔʹϋΠύʔύϥϝʔλΛ࣋ͭͷ͕ଟ͍• e.g. RBF Χʔωϧ• ͜ΕΒͷύϥϝʔλʹ͍ͭͯɺσʔλ͔Β࠷దԽͰ͖ͳ͍͔ݕ౼͢Δ
࠷దԽͷํ1.σʔλΛਖ਼نԽ͢Δ22.࠷దԽͷରΛର ͱ͢Δ3.ରͷޯΛܭࢉ͢Δ• ͜ͷࡍʹάϥϜߦྻΛύϥϝʔλͰඍ͢Δඞཁ͕͋Δ4.ޯ߱Լ๏ʹجͮ͘ԿΒ͔ͷΞϧΰϦζϜΛ༻͍ͯ࠷దԽ͢Δ2 ऍ 23 ΑΓɺ͜͜ͰฏۉΛ 0 ࢄΛ 1 ʹ͍ͯ͠Δ
ϋΠύʔύϥϝʔλͱہॴղ• େҬղͰͳ͘ہॴղʹؕΔ߹͕͋Δͷʹҙ• ͜ΕۙܭࢉʹҰൠͷੑ࣭• ϋΠύʔύϥϝʔλͷ࣍ݩ͕ߴ͍߹MCMC3 ͳͲΛͬͯܭࢉ͢Δͱྑ͍ͱओு͍ͯ͠Δ3 ͜͜Ͱݴ͏ MCMC Metropolis–Hastings ͰཚΛੜͯ͠ظΛܭࢉ͢Δͱ͍͏ҙຯͰͳ͘ɺͦΕΛϋΠύʔύϥϝʔλʔ୳ࡧʹ͏ͱ͍͏ҙຯ(ޮΑ͘ϥϯμϜαʔνΛΔΠϝʔδ) cf. ऍ 26
Χʔωϧͷબ• ΧʔωϧͷબΛߦ͏͜ͱͰɺ֎෦͔ΒࣝΛೖͰ͖Δ• RBF Χʔωϧ͚ͩΛ༻͍ͨਤ(a)Ͱɺσʔλͷ͋ΔՕॴͱ͔͘ɺӈ͕ո͍͠• ઢܗΧʔωϧΛՃ͑ͨਤ(b)ͰɺશମతʹҰ؏͕ͨ͋͠Δͱ͍͏݁ՌΛಘΒΕ͍ͯΔ
ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ Recap߲ ༰1. ϋΠύʔύϥϝʔλͷ࠷దԽ ޯ߱Լ๏Λ༻͍ͨ࠷దԽ͕Ͱ͖Δ(ΧʔωϧʹΑΔ)2. ϋΠύʔύϥϝʔλͱہॴղ େҬղʹ౸ୡ͢Δอূͳ͍ͷͰҙ͢Δ3. Χʔωϧͷબ RBF ΧʔωϧҎ֎ͷΧʔωϧซ༻͢Δͱྑ͘ͳΔ߹͕͋Δ
༨ஊ• ΨεաఔͷΧϧϚϯϑΟϧλͱࣅ͍ͯΔ• ܚԠେֶͷΧϧϚϯϑΟϧλͷߨٛ4͕໘ന͔ͬͨ• ಉ࣌ʹ͏ํ๏ఏএ͞Ε͍ͯΔ༷ࢠ5(ະಡ)5 J. Ko and D. Fox: GP-BayesFilters: Bayesian filtering usingGaussian process prediction and observation models,Autonomous Robots, 27-1, 75/90 (2009)4 ܚጯେֶߨٛ Ԡ༻֬ ୈेࡾճɹϕΠζͷํ๏ ΧϧϚϯϑΟϧλ̍https://www.youtube.com/watch?v=P85JCE3tZWY
࣍1.ϕΠζਪʹΑΔػցֶशೖ2.Ψεաఔ֓ཁ3.ΨεաఔճؼϞσϧ4.ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ5.ΨεաఔճؼͷҰൠԽ <-
ΨεաఔճؼͷҰൠԽ༰ ߲1. ϩόετͳΨεաఔճؼ ΨεաఔͰίʔγʔΛ༻͍Δ2. ΨεաఔࣝผϞσϧ ΨεաఔΛྨʹద༻͢Δ3. ϙΞιϯճؼϞσϧ ΨεաఔΛΠϕϯτͷൃੜճͷ༧ଌʹద༻͢ΔίϥϜ χϡʔϥϧωοτϫʔΫͱΨεաఔχϡʔϥϧωοτϫʔΫΨεաఔ
֓ཁ• ؍ଌϞσϧͱͯ͠ΨεΛఆ͍͕ͯͨ͠ɺੈͷதͦ͏Ͱͳ͍͜ͱଟ͍ (e.g. Ի୯ޠͷੜ֬)• Ψεաఔʹ͓͚Δೖྗ ͔Β؍ଌ ͕ੜ͞ΕΔ֬ ʹਖ਼نҎ֎ͷ֬Λ༻͍Δ͜ͱՄೳ• ͕ղੳతʹܭࢉͰ͖ͳ͍ͷͰɺMCMC มϕΠζͱ͍ͬͨۙࣅਪͰࣄޙΛٻΊΔ
1. ϩόετͳΨεաఔճؼ• ͷ͍Λ༻͍Δ͜ͱͰϩόετͳϞσϧ͕Ͱ͖Δ• Cauchy (t ) Λ༻͍Δ• ӈਤͰ֎ΕʹϩόετͳϞσϧ͕Ͱ͖͍ͯΔ• ࣄޙղੳతʹٻΊΒΕͳ͍ͷͰMCMC ͳͲͰۙࣅతʹٻΊΔ
2. ΨεաఔࣝผϞσϧ• ؍ଌ ͕ 2 ͷͱ͖ͱ֬Λܭࢉ͍ͨ͠• ͱͯ͠γάϞΠυؔΛ༻͍Δ• ϓϩϏοτؔ (ਖ਼نͷྦྷੵີؔ) ΛΑۙ͘ࣅ͢Δ• ਪఆෳࡶͳͷͰ୯ʹྨΛߦ͍͍ͨ߹ʹϝϦοτͳ͍• ଞͷ֬աఔͱͷΈ߹ΘͤΛߟ͑Δ߹ʹ͓ͬͯ͘ͱྑ͍
3. ϙΞιϯճؼϞσϧ• ؍ଌ ͕ࣗવͷͱ͖ʹΨεաఔΛ༻͍ͨճؼΛߦ͍͍ͨ• ύϥϝʔλʔ ͱೖྗ ͷؒʹΛԾఆ͢Δ•• ࣄޙΓෳࡶ
χϡʔϥϧωοτϫʔΫͱΨεաఔ ཁ• ॏΈͷॳظʹখ͞ͳཚΛ༻͍Δɺͱ͍͏ͷҰൠత• ʮଟͷॏΈΛ͔͚߹Θͤͯ͢ʯͱ͍͏ͷɺظΛͱΔૢ࡞ͱΈͳͤɺ݁Ռத৺ۃݶఆཧ͔ΒΨεʹۙͮ͘• ωοτϫʔΫʹΑͬͯΧʔωϧ͕ؔղੳతʹٻΊΒΕΔ• ࣮ࡍɺਂֶशΨεաఔͱΈͳͤΔ2424 Deep Neural Networks as Gaussian Processes. 2017. https://arxiv.org/abs/1711.00165.
ΨεաఔճؼͷҰൠԽ Recap༰ ߲1. ϩόετͳΨεաఔճؼ ίʔγʔΛ༻͍Δͱ֎Εʹڧ͘ͳΔ2. ΨεաఔࣝผϞσϧ ϩδεςΟοΫճؼΛΨεաఔʹద༻Ͱ͖Δ3. ϙΞιϯճؼϞσϧ ϙΞιϯճؼΛΨεաఔʹద༻Ͱ͖ΔχϡʔϥϧωοτϫʔΫͱΨεաఔ χϡʔϥϧωοτϫʔΫΨεաఔ
Recap֓ཁ ϙΠϯτϕΠζਪʹΑΔػցֶशೖ ϕΠζਪʹ͓͚ΔֶशͱਪΨεաఔͷఆٛ ఆٛͱΧʔωϧτϦοΫΨεաఔճؼϞσϧ Ψεաఔʹ͓͚Δਪํ๏ΨεաఔճؼͷϋΠύʔύϥϝʔλਪఆ Ψεաఔʹ͓͚Δֶशํ๏ΨεաఔճؼͷҰൠԽ ਖ਼نҎ֎ΛԾఆͨ͠Ψεաఔ
asei
ewolff
nasa_desu
nagiss
daikimori
cyberarchitect
irotoris
pistatium
miyashino
miyake
yoshiitaka
edwardkenfox
linedevth
bcantrill
bermonpainter
hatefulcrawdad
mraible
bryan
nonsquared
vanstee
rmw
notwaldorf
ufuk
maltzj
destraynor