Introduction to Bayesian Learning for Machine Learning 5.4 - 5.7

「ベイズ推論による機械学習入門」輪読会 #4 - connpass https://reading-circle-beginners.connpass.com/event/136714/ の発表資料です

Transcript

1. ʮϕΠζਪ࿦ʹΑΔػցֶशೖ໳ʯྠಡձ #4 5.4 - 5.7
2. ࣗݾ঺հ • ਿࢁ Ѩ੟ • Software Engineer (Machine Learning ؔ܎ͷॾʑ) • ػցֶशਤؑ ڞஶ
3. ͜͜ͰֶͿ͜ͱ • ҰൠʹػցֶशͰߦΘΕΔΞϧΰϦζϜΛϕΠζਪ࿦Ͱݟ௚͢ (͜͜Ͱ৮ΕΔେମͷΞϧΰϦζϜ͸ྫ͑͹ scikit-learn ʹ࣮૷͞Ε͍ͯΔ)
4. ํ਑ • ໰୊ઃఆͷ֬ೝΛߦ͏ • άϥϑΟΧϧϞσϧͷ֬ೝΛߦ͏ • ਺ࣜͷ֬ೝ͸௥͍ٻΊͳ͍ 1.ຊʹׂͱஸೡʹॻ͍ͯ͋ΔͨΊ 2.ຊΛهड़͕ͳ͍͜ͱΛ௥͍ٻΊΑ͏ͱ͢Δͱ্هͷϙΠϯτ ʹϑΥʔΧε͖͠Εͳ͍ͨΊ
5. ໨࣍ 1.τϐοΫϞσϧ (5.4) 2.ςϯιϧ෼ղ (5.5) 3.ϩδεςΟοΫճؼ (5.6) 4.χϡʔϥϧωοτϫʔΫ (5.7)
6. Point ಺༰ (section) Point τϐοΫϞσϧ (5.4) ࣗવݴޠॲཧͷάϥϑΟΧϧϞσϧ ςϯιϧ෼ղ (5.5) ࣌ܥྻσʔλʹରͯ͠ͷڠௐϑΟϧλ ϦϯάͷάϥϑΟΧϧϞσϧ ϩδεςΟοΫճؼ (5.6) ࠶ύϥϝʔλʔԽ χϡʔϥϧωοτϫʔΫ (5.7) ޡࠩٯ఻೻๏
7. τϐοΫϞσϧ (5.4)
8. τϐοΫϞσϧ (5.4) ཁ໿ 1.LDA (Latent Dirichlet Allocation) Λѻ͏ 2.LDA Ͱ͸࣍ͷ 2 ͭΛಉ࣌ʹߦ͏ • จষ͔ΒͷτϐοΫͷநग़ • ֤τϐοΫͰग़ݱ͢Δ୯ޠͷੜ੒Ϟσϧͷֶश 3.ֶश͸ม෼ਪ࿦ɾ่յܕΪϒεαϯϓϦϯάͰՄೳ
9. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
10. τϐοΫϞσϧͰѻ͏σʔλ • ࣗવݴޠͰॻ͔Εͨจষͷղੳ • จষ͸ू߹ͱͯ͠ѻ͍ɺ୯ޠͷग़ݱॱং͸ߟྀ͠ͳ͍ • χϡʔεهࣄͷจষͷΑ͏ʹจষʹ͸τϐοΫ (੓࣏ɺܳೳɺ etc.) ͕͋ΓɺτϐοΫ͝ͱʹग़ݱ͢Δޠ͕۟ҧ͏ͱ૝ఆ͢Δ • ྫ : ʮྟ࣌ࠃձʯ͸ʮ੓࣏ʯτϐοΫͰ͸ग़ݱ͠΍͘͢ɺ ʮܳೳʯτϐοΫͰ͸ग़ݱ͠ʹ͍͘ • τϐοΫ͕Կ͔͸ ۩ମతʹ͸஌Βͳ͍ ΋ͷͱ͢Δ
11. τϐοΫϞσϧͰୡ੒͍ͨ͜͠ͱ 1.จষͷଐ͢ΔτϐοΫʹ͍ͭͯɺ෼ੳऀ͕໌ࣔతʹࢦఆ͢Δ͜ ͱͳ͘σʔλͦͷ΋ͷ͔Βநग़͍ͨ͠ • நग़ͨ͠τϐοΫ͕ԿΛҙຯ͢Δͷ͔͸෼ੳऀ͕൑அ͢Δ • จষ͸ʮ੓࣏ 0.9, ܳೳ 0.1ʯͷΑ͏ʹෳ਺ͷτϐοΫʹ ଐ͢Δ΋ͷͱ͢Δ 2.୯ޠ͕ଐ͢ΔτϐοΫʹ͍ͭͯจ຺Λߟྀ͍ͨ͠ • ʮυϥΠϒʯ͸ं͔Β΋ςΫϊϩδʔ͔Β΋ग़ݱ͢Δ
12. એ఻ ػցֶशਤؑͰѻ͍ͬͯΔͷͰ಺༰Λ֬ೝ
13. ༨ஊ • ࿦จ1 Ͱ͸ूஂҨ఻ֶͰͷԠ༻ʹ͍ͭͯड़΂͍ͯΔ 1.ར֐ؔ܎Λ࣋ͭूஂΛݟ͚ͭɺͦΕΒͷؔ܎ੑΛௐ΂͍ͨ 2.֤ूஂ͔Β࠾औͨ͠ DNA ͔Βڞ௨ͷ૆ઌΛௐ΂͍ͨ • σʔλ͔Β෼ੳऀͷओ؍ʹΑΒͳ͍ʮӅ͞Εͨʯߏ଄Λநग़͠ ͍ͨɺͱ͍͏ͷ͕Ϟνϕʔγϣϯ 1 Pritchard, J. K.; Stephens, M.; Donnelly, P. (June 2000). "Inference of population structure using multilocus genotype data". Genetics. 155 (2): pp. 945–959. ISSN 0016-6731.
14. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
15. ه߸ͷ४උ
17. τϐοΫ਺ 1 ͷ৔߹ • ࣗ໌ͳྫΛѻͬͯɺه߸ͷ֬ೝΛ·ͣߦ͏ • τϐοΫ਺ 1 ͱ͢Δͱɺ1 ͭͷτϐοΫʹ͢΂ͯͷจষ͕ଐ ͢Δ͜ͱʹͳΔ • ͭ·ΓɺҰൠʹ೔ຊޠͷจষʹ͍ͭͯͷੜ੒ϞσϧΛѻ͏
19. τϐοΫ਺ 2 ͷ৔߹ • εύϜϝʔϧ൑ఆͷΑ͏ͳ΋ͷΛѻ͏ • ਖ਼͘͠͸࣍ 1.ϝʔϧ͕ 2 छྨʹ෼͚ΒΕͦ͏ͳ͜ͱ͸ͳ͔ͥ஌͍ͬͯΔ 2.݁Ռ͕Ͳ͏෼͔ΕΔ͔͸஌Βͳ͍ 3.্هͷঢ়ଶͰΫϥελϦϯάΛߦ͍͍ͨ
21. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
22. τϐοΫϞσϧͷֶश • ม෼ਪ࿦ʹ͍ͭͯ͸লུ • ॻ੶ʹׂͱஸೡʹهड़͞Ε͍ͯΔͨΊ • ่յܕΪϒεαϯϓϦϯάʹ͍ͭͯѻ͏
23. ΪϒεαϯϓϦϯά (4.2) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ
24. ่յܕΪϒεαϯϓϦϯά (4.2) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λ ಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹपลআڈ͔ͯ͠ΒαϯϓϦϯά͢Δɻ
25. τϐοΫϞσϧ΁ͷԠ༻ 1.่յܕΪϒεαϯϓϦϯάΛ༻͍ͯ ΛαϯϓϦϯά͠ɺ࣮ ݱ஋ ΛಘΔ 2.࣮ݱ஋ Λ࢖ͬͯ୯ޠΛτϐοΫʹ෼͚ɺ ൪໨ͷτϐοΫ ͔Βग़ݱͨ͠୯ޠू߹ ΛಘΔ 3. ͔Β Λߋ৽͢Δ 4. ͔Β֤จষͷτϐοΫൺ཰ΛٻΊɺ Λߋ ৽͢Δ
26. पลআڈͨ͠άϥϑΟ ΧϧϞσϧ • पลআڈ͢Δͱ׬શάϥϑ͕Ͱ͖Δ (ӈਤ) • τϐοΫϞσϧͰ΋पลআڈΛ͢Δͱ ׬શάϥϑ͕Ͱ͖͕͋Δ
27. Ϛϧίϑϒϥϯέοτ (1.5) • , , , , , , ͷؒʹ͸ґଘ ؔ܎͕͋Δ • ͜ͷઌʹ͋Δϊʔυ͸͢΂ͯ ͱಠཱ
28. ৚݅෇͖ಠཱੑͷ֬ೝ • ͱ , ͸৚݅෇͖ಠཱ • ਤ 4.8 ͱಉٞ͡࿦ • ͱ ͸৚݅෇͖ಠཱ • ڞಉ਌ͷؔ܎ʹͳ͍ͨΊ • ্هΛ࢖͏ͱ ͷ෼෍͸࣍ͷΑ͏ ʹͰ͖Δ
29. Ҏ߱লུ
30. ςϯιϧ෼ղ (5.4)
31. ςϯιϧ෼ղ ཁ໿ 1.τϨϯυΛߟྀͨ͠ڠௐϑΟϧλϦϯάΛѻ͏ 2.ڠௐϑΟϧλϦϯάͰ͸ϢʔβʔͱΞΠςϜͷ྆ํΛߟྀͨ͠ ϨʔςΟϯάΛߦ͏ 3.ֶश͸ม෼ਪ࿦ͰՄೳ (ΪϒεαϯϓϦϯά͸ݴٴͳ͠)
32. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
33. ໰୊ઃఆ: ۺ԰ͷधཁ༧ଌ2(1/2) • قॳͷ஫จͱաڈͷ஫จཤྺ͔Βࠓقͷधཁ༧ଌΛ͍ͨ͠ • ҠಈฏۉϞσϧ (ARMA) ͸࢖͑ͳ͍ɺͳͥͳΒ৽͍͠ΞΠςϜ ʹ͍ͭͯաڈͷσʔλ͸ͳ͍ • ճؼϞσϧ͸࢖͑ͳ͍ɺͳͥͳΒυϝΠϯ஌͕ࣝෳࡶ͗͢Δ͠ ϙϦγʔʹ൓͢Δ (?) 2 L.Xiong,X.Chen,T.K.Huang,J.Schneider,andJ.G.Carbonell.Temporal collaborative filtering with Bayesian probabilistic tensor factorization. In Proceeding sof the 2010 SIAM International Conferenceon Data Mining, pages 211-222, 2010.
34. ໰୊ઃఆ: ۺ԰ͷधཁ༧ଌ (2/2) • యܕతͳڠௐϑΟϧλϦϯάͰ͸ෆे෼ɺͳͥͳΒσβΠϯ΍ ফඅऀͷ޷ΈͷྲྀߦΛߟྀͰ͖ͳ͍ • ͦ͜Ͱզʑ͸࣌ܥྻΛߟྀͨ͠ BPTF (Bayesian Probabilistic Tensor Factorization) ΛఏҊ͢Δ • Netflix ͷࢹௌཤྺσʔλ3Ͱݕূͨ͠ͱ͜Ζɺ࣌ܥྻΛߟྀ ͠ͳ͍Ϟσϧʹൺ΂͔ͯ֬ʹվળ͞Εͨ 3 Netflix Prise data https://www.kaggle.com/netflix-inc/netflix-prize-data
35. ༨ஊ • ڠௐϑΟϧλϦϯά͸ɺΞΠςϜͱϢʔβʔΛ ࣍ݩϕΫτϧ ʹຒΊࠐΜͰ͍ΔͱղऍͰ͖Δ • ਂ૚ֶश੎͔Β͸ embedding Λಘ͍ͨͷͳΒ auto encoder ͱ͔ word2vec ͱ͔࢖͑͹͍͍Μ͡Όͳ͍͔ɺͱ ͳΔ (͔΋) • ࣮ࡍɺචऀ͕ VAE ͱͷؔ࿈ʹ͍ͭͯϒϩάهࣄ4Λॻ͍͍ͯΔ 4 ઢܗճؼΛ̍ͭ̍ͭվ଄ͯ͠ม෼ΦʔτΤϯίʔμʢVAEʣΛ࡞Δ - ࡞ͬͯ༡Ϳػցֶशɻ
36. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
37. ڠௐϑΟϧλϦϯά (1/2) • ԣํ޲ʹΞΠςϜɺॎํ޲ʹϢʔβʔΛฒ΂ͨߦྻ Λѻ͏ • ͸Ϣʔβʔ ͷΞΠςϜ ʹର͢ΔϨʔςΟϯά • ػցֶशʹ͓͍ͯ࣍ͷΑ͏ʹߟ͑Δ͜ͱ͕ଟ͍ (ཁग़య) • ϕΫτϧ : 1 ࣍ݩ഑ྻ • ߦྻ : දɺςʔϒϧ • ςϯιϧ : ෳ਺ͷද (ϛχόονͱ͔)
38. ڠௐϑΟϧλϦϯά (2/2) • ϨʔςΟϯάΛ࣍ͷΑ͏ʹ෼ղ͢Δ • , , ͱͯ͠ • ੒෼Ͱॻ͘ͱ࣍ͷࣜ • ࣍ݩ࡟ݮʹΑΔܽଛ஋ͷิ׬ʹಉ͡ (5.1)
39. ࣌ܥྻ΁ͷ֦ு • ͋Δ࣌ؒ ʹ͓͚Δಛ௃ ͷྲྀߦ౓ ͷΑ͏ͳ΋ͷ (ݪจϚϚ) Λಋೖ ͢Δ • ϢʔβʔͱΞΠςϜͷ಺ੵΛɺྲྀߦ౓ʹ ΑΔॏΈ෇͖Ͱܭࢉ͍ͯ͠Δ
41. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
42. ֶश (লུ) • ม෼ਪ࿦ͰՄೳ (ৄࡉ͸লུ) • ࣍ͷ݁Ռʹ஫໨͢Δ • ͸Ϣʔβʔ͝ͱʹݸผͷ஋ֶ͕श͞ΕΔ • ͸Ϣʔβʔ͝ͱʹڞ௨ͷ஋ֶ͕श͞ΕΔ • ΋ಉ༷ • ਫ਼౓ߦྻ , , ͸ʮେ͖͘ʯͳ͍ͬͯΔ
43. ϩδεςΟοΫճؼ (5.6)
44. ϩδεςΟοΫճؼ ཁ໿ 1.ϩδεςΟοΫճؼͰ͸ Softmax ؔ਺Λ༻͍ΔͨΊɺࠓ·Ͱ ͷΑ͏ʹղੳղ͕ٻΊΒΕͳ͍ 2.࠷దͳύϥϝʔλʔΛٻΊΔͨΊʹɺ৽ͨʹޯ഑๏Λಋೖ͢Δ 3.ޯ഑ͷܭࢉΛۙࣅతʹߦ͏ͨΊɺ࠶ύϥϝʔλʔԽτϦοΫΛ ߦͬͯܭࢉ͢Δ
45. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
46. ϩδεςΟοΫճؼ (ඇϕΠζ) ػցֶशਤؑͰѻ͍ͬͯΔͷͰ֬ೝ
47. ϕΠζʹ͢ΔͱԿ͕خ͍͠ͷ͔ • ਤ 5.15 • Կݸ΋ϩδεςΟοΫճؼϞσϧΛ࡞ͬͯΞϯαϯϒϧ͢Δ͜ ͱͰ͍͍ײ͡ͷग़ྗ͕ಘΒΕΔ
48. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
49. ϩδεςΟοΫճؼ ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε Δ΋ͷͱ͢Δɻ ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ
50. ༨ஊ ιϑτϚοΫεؔ਺ͷඍ෼
52. ϩδεςΟοΫճؼ ֶश • ೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β ͷࣄޙ෼෍Λ ܭࢉ ϩδεςΟοΫճؼ ਪ࿦ • ৽نͷೖྗσʔλ ͕༩͑ΒΕͨͱ͖ͷग़ྗ஋ ͷܭࢉ
53. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश
54. ࠓ͔Βઆ໌͢Δ಺༰ • ม෼ਪ࿦Λߦ͍͍͕ͨɺ୯७ͳฏۉ৔ۙࣅͰ͸ෆՄೳ • ϞϯςΧϧϩ๏Ͱ΋ՄೳͰ͸͋Δ͕ɺ͏·͍͔͘ͳ͍͜ͱ͕஌ ΒΕ͍ͯΔ • ࠶ύϥϝʔλʔԽτϦοΫΛ࢖ͬͨޯ഑๏ͰɺϞϯςΧϧϩ๏ Λճආ͢Δ
55. ม෼ਪ࿦ • ͱ͢Δ • KLμΠόʔδΣϯε Λ࠷খԽ͢Δ
56. ղੳతͳղΛಘΒΕͳ͍߲ͷܭࢉ • ࠷ޙͷ໬౓ͷظ଴஋Λͱ͍ͬͯΔ߲ͷܭࢉ͕ࠔ೉ • ϞϯςΧϧϩ๏ʹΑΔܭࢉ͕ՄೳͰ͸͋Δ • ͔͠͠ɺ ΛαϯϓϦϯά͢Δͱ࠷దԽ͍ͨ͠ύϥϝʔλʔ ͕࢒Βͳ͍
57. ࠶ύϥϝʔλʔԽτϦοΫ • ΛαϯϓϦϯάͯ͠ Λಘͨͱ͢Δ • ͔ΒαϯϓϦϯάͨ͠ͱߟ͑Δͱɺ࠷దԽͨ͠ ͍ύϥϝʔλʔ͕͔ࣜΒফ͑ͯޯ഑๏͕࣮ߦͰ͖ͳ͍ • ͷ࣮ݱ஋ ͕ಘΒΕͨͷͩͱΈͳ͢ ( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) • 1ճͷαϯϓϦϯάͰޯ഑ͷܭࢉͱɺॏΈͷߋ৽͕Ͱ͖Δ
59. ࣜ 5.236 Ҏ߱ͷهड़ʹ͍ͭͯ • ޯ഑͕ܭࢉͰ͖ͨͷͰɺύϥϝʔλʔΛߋ৽Ͱ͖Δ • ͋ͱ͸Կ౓΋αϯϓϦϯάͱύϥϝʔλʔͷߋ৽ΛؤுΔ
60. ਪ࿦ • ࠷దͳύϥϝʔλʔ͕ٻΊΒΕͨͷͰ࣍ͷΑ͏ʹۙࣅͰ͖Δ • ϥϕϧͷظ଴஋͸࣍ͷΑ͏ʹۙࣅͰ͖Δ
61. χϡʔϥϧωοτϫʔΫ (5.7)
62. লུ
63. লུ͢Δཧ༝ 1.໰୊ઃఆ͸ϩδεςΟοΫճؼʹ΄΅ಉ͡ 2.Ϟσϧ͸ϩδεςΟοΫճؼΛॏͶΔ͚ͩ 3.ֶशͰಋೖ͢Δޡࠩٯ఻೻๏ʹ͍ͭͯɺ͜Ε͚ͩͷઆ໌ͰΘ͔ Δਓ͸͍ͳ͍
64. ༨ஊ • χϡʔϥϧωοτϫʔΫͷॏΈΛখ͞ͳཚ਺ͰॳظԽ͠ޯ഑߱ Լ๏Ͱܭࢉͤ͞Δɺͱ͍͏ͷ͸Ұൠత • ͜͜·ͰདྷΔͱʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ ͸ɺظ଴஋ΛͱΔૢ࡞ʹݟ͑ͯ͘Δ • ޯ഑๏Λ༻͍ͯߋ৽ͨ͠ॏΈͷ஋Λར༻͢Δͷ͸ɺࣄޙ෼෍͔ ΒαϯϓϦϯά͍ͯ͠ΔΑ͏ʹݟ͑ͯ͘Δ • ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ͜ͱ͕஌ΒΕ͍ͯΔ
65. Recap ಺༰ (section) Point τϐοΫϞσϧ (5.4) ࣗવݴޠॲཧͷάϥϑΟΧϧϞσϧ ςϯιϧ෼ղ (5.5) ࣌ܥྻσʔλʹରͯ͠ͷڠௐϑΟϧλ ϦϯάͷάϥϑΟΧϧϞσϧ ϩδεςΟοΫճؼ (5.6) ࠶ύϥϝʔλʔԽ χϡʔϥϧωοτϫʔΫ (5.7) ޡࠩٯ఻೻๏ (লུ)