Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Bayesian Learning for Machine Learning 5.4 - 5.7

Introduction to Bayesian Learning for Machine Learning 5.4 - 5.7

「ベイズ推論による機械学習入門」輪読会 #4 - connpass https://reading-circle-beginners.connpass.com/event/136714/ の発表資料です

8fa31051503b09846584c49cd53d2f80?s=128

Asei Sugiyama

July 07, 2019
Tweet

Transcript

  1. ʮϕΠζਪ࿦ʹΑΔػցֶशೖ໳ʯྠಡձ #4 5.4 - 5.7

  2. ࣗݾ঺հ • ਿࢁ Ѩ੟ • Software Engineer (Machine Learning ؔ܎ͷॾʑ)

    • ػցֶशਤؑ ڞஶ
  3. ͜͜ͰֶͿ͜ͱ • ҰൠʹػցֶशͰߦΘΕΔΞϧΰϦζϜΛϕΠζਪ࿦Ͱݟ௚͢ (͜͜Ͱ৮ΕΔେମͷΞϧΰϦζϜ͸ྫ͑͹ scikit-learn ʹ࣮૷͞Ε͍ͯΔ)

  4. ํ਑ • ໰୊ઃఆͷ֬ೝΛߦ͏ • άϥϑΟΧϧϞσϧͷ֬ೝΛߦ͏ • ਺ࣜͷ֬ೝ͸௥͍ٻΊͳ͍ 1.ຊʹׂͱஸೡʹॻ͍ͯ͋ΔͨΊ 2.ຊΛهड़͕ͳ͍͜ͱΛ௥͍ٻΊΑ͏ͱ͢Δͱ্هͷϙΠϯτ ʹϑΥʔΧε͖͠Εͳ͍ͨΊ

  5. ໨࣍ 1.τϐοΫϞσϧ (5.4) 2.ςϯιϧ෼ղ (5.5) 3.ϩδεςΟοΫճؼ (5.6) 4.χϡʔϥϧωοτϫʔΫ (5.7)

  6. Point ಺༰ (section) Point τϐοΫϞσϧ (5.4) ࣗવݴޠॲཧͷάϥϑΟΧϧϞσϧ ςϯιϧ෼ղ (5.5) ࣌ܥྻσʔλʹରͯ͠ͷڠௐϑΟϧλ

    ϦϯάͷάϥϑΟΧϧϞσϧ ϩδεςΟοΫճؼ (5.6) ࠶ύϥϝʔλʔԽ χϡʔϥϧωοτϫʔΫ (5.7) ޡࠩٯ఻೻๏
  7. τϐοΫϞσϧ (5.4)

  8. τϐοΫϞσϧ (5.4) ཁ໿ 1.LDA (Latent Dirichlet Allocation) Λѻ͏ 2.LDA Ͱ͸࣍ͷ

    2 ͭΛಉ࣌ʹߦ͏ • จষ͔ΒͷτϐοΫͷநग़ • ֤τϐοΫͰग़ݱ͢Δ୯ޠͷੜ੒Ϟσϧͷֶश 3.ֶश͸ม෼ਪ࿦ɾ่յܕΪϒεαϯϓϦϯάͰՄೳ
  9. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  10. τϐοΫϞσϧͰѻ͏σʔλ • ࣗવݴޠͰॻ͔Εͨจষͷղੳ • จষ͸ू߹ͱͯ͠ѻ͍ɺ୯ޠͷग़ݱॱং͸ߟྀ͠ͳ͍ • χϡʔεهࣄͷจষͷΑ͏ʹจষʹ͸τϐοΫ (੓࣏ɺܳೳɺ etc.) ͕͋ΓɺτϐοΫ͝ͱʹग़ݱ͢Δޠ͕۟ҧ͏ͱ૝ఆ͢Δ

    • ྫ : ʮྟ࣌ࠃձʯ͸ʮ੓࣏ʯτϐοΫͰ͸ग़ݱ͠΍͘͢ɺ ʮܳೳʯτϐοΫͰ͸ग़ݱ͠ʹ͍͘ • τϐοΫ͕Կ͔͸ ۩ମతʹ͸஌Βͳ͍ ΋ͷͱ͢Δ
  11. τϐοΫϞσϧͰୡ੒͍ͨ͜͠ͱ 1.จষͷଐ͢ΔτϐοΫʹ͍ͭͯɺ෼ੳऀ͕໌ࣔతʹࢦఆ͢Δ͜ ͱͳ͘σʔλͦͷ΋ͷ͔Βநग़͍ͨ͠ • நग़ͨ͠τϐοΫ͕ԿΛҙຯ͢Δͷ͔͸෼ੳऀ͕൑அ͢Δ • จষ͸ʮ੓࣏ 0.9, ܳೳ 0.1ʯͷΑ͏ʹෳ਺ͷτϐοΫʹ

    ଐ͢Δ΋ͷͱ͢Δ 2.୯ޠ͕ଐ͢ΔτϐοΫʹ͍ͭͯจ຺Λߟྀ͍ͨ͠ • ʮυϥΠϒʯ͸ं͔Β΋ςΫϊϩδʔ͔Β΋ग़ݱ͢Δ
  12. એ఻ ػցֶशਤؑͰѻ͍ͬͯΔͷͰ಺༰Λ֬ೝ

  13. ༨ஊ • ࿦จ1 Ͱ͸ूஂҨ఻ֶͰͷԠ༻ʹ͍ͭͯड़΂͍ͯΔ 1.ར֐ؔ܎Λ࣋ͭूஂΛݟ͚ͭɺͦΕΒͷؔ܎ੑΛௐ΂͍ͨ 2.֤ूஂ͔Β࠾औͨ͠ DNA ͔Βڞ௨ͷ૆ઌΛௐ΂͍ͨ • σʔλ͔Β෼ੳऀͷओ؍ʹΑΒͳ͍ʮӅ͞Εͨʯߏ଄Λநग़͠

    ͍ͨɺͱ͍͏ͷ͕Ϟνϕʔγϣϯ 1 Pritchard, J. K.; Stephens, M.; Donnelly, P. (June 2000). "Inference of population structure using multilocus genotype data". Genetics. 155 (2): pp. 945–959. ISSN 0016-6731.
  14. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  15. ه߸ͷ४උ

  16. None
  17. τϐοΫ਺ 1 ͷ৔߹ • ࣗ໌ͳྫΛѻͬͯɺه߸ͷ֬ೝΛ·ͣߦ͏ • τϐοΫ਺ 1 ͱ͢Δͱɺ1 ͭͷτϐοΫʹ͢΂ͯͷจষ͕ଐ

    ͢Δ͜ͱʹͳΔ • ͭ·ΓɺҰൠʹ೔ຊޠͷจষʹ͍ͭͯͷੜ੒ϞσϧΛѻ͏
  18. None
  19. τϐοΫ਺ 2 ͷ৔߹ • εύϜϝʔϧ൑ఆͷΑ͏ͳ΋ͷΛѻ͏ • ਖ਼͘͠͸࣍ 1.ϝʔϧ͕ 2 छྨʹ෼͚ΒΕͦ͏ͳ͜ͱ͸ͳ͔ͥ஌͍ͬͯΔ

    2.݁Ռ͕Ͳ͏෼͔ΕΔ͔͸஌Βͳ͍ 3.্هͷঢ়ଶͰΫϥελϦϯάΛߦ͍͍ͨ
  20. None
  21. τϐοΫϞσϧ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  22. τϐοΫϞσϧͷֶश • ม෼ਪ࿦ʹ͍ͭͯ͸লུ • ॻ੶ʹׂͱஸೡʹهड़͞Ε͍ͯΔͨΊ • ่յܕΪϒεαϯϓϦϯάʹ͍ͭͯѻ͏

  23. ΪϒεαϯϓϦϯά (4.2) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹ৚݅෇͖֬཰෼෍͔Βஞ࣍αϯϓϦϯά ͢Δ͜ͱͰɺۙࣅతʹ΋ͱͷ෼෍ʹै͏αϯϓϧྻΛಘΒΕΔɻ

  24. ่յܕΪϒεαϯϓϦϯά (4.2) ͋Δ֬཰෼෍ ͔Βαϯϓϧ Λ ಘ͍ͨ৔߹ɺ࣍ͷΑ͏ʹपลআڈ͔ͯ͠ΒαϯϓϦϯά͢Δɻ

  25. τϐοΫϞσϧ΁ͷԠ༻ 1.่յܕΪϒεαϯϓϦϯάΛ༻͍ͯ ΛαϯϓϦϯά͠ɺ࣮ ݱ஋ ΛಘΔ 2.࣮ݱ஋ Λ࢖ͬͯ୯ޠΛτϐοΫʹ෼͚ɺ ൪໨ͷτϐοΫ ͔Βग़ݱͨ͠୯ޠू߹ ΛಘΔ

    3. ͔Β Λߋ৽͢Δ 4. ͔Β֤จষͷτϐοΫൺ཰ΛٻΊɺ Λߋ ৽͢Δ
  26. पลআڈͨ͠άϥϑΟ ΧϧϞσϧ • पลআڈ͢Δͱ׬શάϥϑ͕Ͱ͖Δ (ӈਤ) • τϐοΫϞσϧͰ΋पลআڈΛ͢Δͱ ׬શάϥϑ͕Ͱ͖͕͋Δ

  27. Ϛϧίϑϒϥϯέοτ (1.5) • , , , , , , ͷؒʹ͸ґଘ

    ؔ܎͕͋Δ • ͜ͷઌʹ͋Δϊʔυ͸͢΂ͯ ͱಠཱ
  28. ৚݅෇͖ಠཱੑͷ֬ೝ • ͱ , ͸৚݅෇͖ಠཱ • ਤ 4.8 ͱಉٞ͡࿦ •

    ͱ ͸৚݅෇͖ಠཱ • ڞಉ਌ͷؔ܎ʹͳ͍ͨΊ • ্هΛ࢖͏ͱ ͷ෼෍͸࣍ͷΑ͏ ʹͰ͖Δ
  29. Ҏ߱লུ

  30. ςϯιϧ෼ղ (5.4)

  31. ςϯιϧ෼ղ ཁ໿ 1.τϨϯυΛߟྀͨ͠ڠௐϑΟϧλϦϯάΛѻ͏ 2.ڠௐϑΟϧλϦϯάͰ͸ϢʔβʔͱΞΠςϜͷ྆ํΛߟྀͨ͠ ϨʔςΟϯάΛߦ͏ 3.ֶश͸ม෼ਪ࿦ͰՄೳ (ΪϒεαϯϓϦϯά͸ݴٴͳ͠)

  32. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  33. ໰୊ઃఆ: ۺ԰ͷधཁ༧ଌ2(1/2) • قॳͷ஫จͱաڈͷ஫จཤྺ͔Βࠓقͷधཁ༧ଌΛ͍ͨ͠ • ҠಈฏۉϞσϧ (ARMA) ͸࢖͑ͳ͍ɺͳͥͳΒ৽͍͠ΞΠςϜ ʹ͍ͭͯաڈͷσʔλ͸ͳ͍ •

    ճؼϞσϧ͸࢖͑ͳ͍ɺͳͥͳΒυϝΠϯ஌͕ࣝෳࡶ͗͢Δ͠ ϙϦγʔʹ൓͢Δ (?) 2 L.Xiong,X.Chen,T.K.Huang,J.Schneider,andJ.G.Carbonell.Temporal collaborative filtering with Bayesian probabilistic tensor factorization. In Proceeding sof the 2010 SIAM International Conferenceon Data Mining, pages 211-222, 2010.
  34. ໰୊ઃఆ: ۺ԰ͷधཁ༧ଌ (2/2) • యܕతͳڠௐϑΟϧλϦϯάͰ͸ෆे෼ɺͳͥͳΒσβΠϯ΍ ফඅऀͷ޷ΈͷྲྀߦΛߟྀͰ͖ͳ͍ • ͦ͜Ͱզʑ͸࣌ܥྻΛߟྀͨ͠ BPTF (Bayesian

    Probabilistic Tensor Factorization) ΛఏҊ͢Δ • Netflix ͷࢹௌཤྺσʔλ3Ͱݕূͨ͠ͱ͜Ζɺ࣌ܥྻΛߟྀ ͠ͳ͍Ϟσϧʹൺ΂͔ͯ֬ʹվળ͞Εͨ 3 Netflix Prise data https://www.kaggle.com/netflix-inc/netflix-prize-data
  35. ༨ஊ • ڠௐϑΟϧλϦϯά͸ɺΞΠςϜͱϢʔβʔΛ ࣍ݩϕΫτϧ ʹຒΊࠐΜͰ͍ΔͱղऍͰ͖Δ • ਂ૚ֶश੎͔Β͸ embedding Λಘ͍ͨͷͳΒ auto

    encoder ͱ͔ word2vec ͱ͔࢖͑͹͍͍Μ͡Όͳ͍͔ɺͱ ͳΔ (͔΋) • ࣮ࡍɺචऀ͕ VAE ͱͷؔ࿈ʹ͍ͭͯϒϩάهࣄ4Λॻ͍͍ͯΔ 4 ઢܗճؼΛ̍ͭ̍ͭվ଄ͯ͠ม෼ΦʔτΤϯίʔμʢVAEʣΛ࡞Δ - ࡞ͬͯ༡Ϳػցֶशɻ
  36. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  37. ڠௐϑΟϧλϦϯά (1/2) • ԣํ޲ʹΞΠςϜɺॎํ޲ʹϢʔβʔΛฒ΂ͨߦྻ Λѻ͏ • ͸Ϣʔβʔ ͷΞΠςϜ ʹର͢ΔϨʔςΟϯά •

    ػցֶशʹ͓͍ͯ࣍ͷΑ͏ʹߟ͑Δ͜ͱ͕ଟ͍ (ཁग़య) • ϕΫτϧ : 1 ࣍ݩ഑ྻ • ߦྻ : දɺςʔϒϧ • ςϯιϧ : ෳ਺ͷද (ϛχόονͱ͔)
  38. ڠௐϑΟϧλϦϯά (2/2) • ϨʔςΟϯάΛ࣍ͷΑ͏ʹ෼ղ͢Δ • , , ͱͯ͠ • ੒෼Ͱॻ͘ͱ࣍ͷࣜ

    • ࣍ݩ࡟ݮʹΑΔܽଛ஋ͷิ׬ʹಉ͡ (5.1)
  39. ࣌ܥྻ΁ͷ֦ு • ͋Δ࣌ؒ ʹ͓͚Δಛ௃ ͷྲྀߦ౓ ͷΑ͏ͳ΋ͷ (ݪจϚϚ) Λಋೖ ͢Δ •

    ϢʔβʔͱΞΠςϜͷ಺ੵΛɺྲྀߦ౓ʹ ΑΔॏΈ෇͖Ͱܭࢉ͍ͯ͠Δ
  40. None
  41. ςϯιϧ෼ղ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  42. ֶश (লུ) • ม෼ਪ࿦ͰՄೳ (ৄࡉ͸লུ) • ࣍ͷ݁Ռʹ஫໨͢Δ • ͸Ϣʔβʔ͝ͱʹݸผͷ஋ֶ͕श͞ΕΔ •

    ͸Ϣʔβʔ͝ͱʹڞ௨ͷ஋ֶ͕श͞ΕΔ • ΋ಉ༷ • ਫ਼౓ߦྻ , , ͸ʮେ͖͘ʯͳ͍ͬͯΔ
  43. ϩδεςΟοΫճؼ (5.6)

  44. ϩδεςΟοΫճؼ ཁ໿ 1.ϩδεςΟοΫճؼͰ͸ Softmax ؔ਺Λ༻͍ΔͨΊɺࠓ·Ͱ ͷΑ͏ʹղੳղ͕ٻΊΒΕͳ͍ 2.࠷దͳύϥϝʔλʔΛٻΊΔͨΊʹɺ৽ͨʹޯ഑๏Λಋೖ͢Δ 3.ޯ഑ͷܭࢉΛۙࣅతʹߦ͏ͨΊɺ࠶ύϥϝʔλʔԽτϦοΫΛ ߦͬͯܭࢉ͢Δ

  45. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  46. ϩδεςΟοΫճؼ (ඇϕΠζ) ػցֶशਤؑͰѻ͍ͬͯΔͷͰ֬ೝ

  47. ϕΠζʹ͢ΔͱԿ͕خ͍͠ͷ͔ • ਤ 5.15 • Կݸ΋ϩδεςΟοΫճؼϞσϧΛ࡞ͬͯΞϯαϯϒϧ͢Δ͜ ͱͰ͍͍ײ͡ͷग़ྗ͕ಘΒΕΔ

  48. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  49. ϩδεςΟοΫճؼ ଟ࣍ݩϕΫτϧ ͕࣍ͷΑ͏ͳΧςΰϦ෼෍ʹैͬͯग़ྗ͞Ε Δ΋ͷͱ͢Δɻ ͜͜Ͱɺ ͸ඇઢܗؔ਺Ͱɺࠓճ͸ Softmax ؔ਺Λ༻͍Δɻ

  50. ༨ஊ ιϑτϚοΫεؔ਺ͷඍ෼

  51. None
  52. ϩδεςΟοΫճؼ ֶश • ೖྗ஋ͱग़ྗ஋ͷσʔληοτ ͔Β ͷࣄޙ෼෍Λ ܭࢉ ϩδεςΟοΫճؼ ਪ࿦ •

    ৽نͷೖྗσʔλ ͕༩͑ΒΕͨͱ͖ͷग़ྗ஋ ͷܭࢉ
  53. ϩδεςΟοΫճؼ ಺༰ 1.എܠɾ໰୊ઃఆ 2.Ϟσϧͷఆٛ 3.ֶश

  54. ࠓ͔Βઆ໌͢Δ಺༰ • ม෼ਪ࿦Λߦ͍͍͕ͨɺ୯७ͳฏۉ৔ۙࣅͰ͸ෆՄೳ • ϞϯςΧϧϩ๏Ͱ΋ՄೳͰ͸͋Δ͕ɺ͏·͍͔͘ͳ͍͜ͱ͕஌ ΒΕ͍ͯΔ • ࠶ύϥϝʔλʔԽτϦοΫΛ࢖ͬͨޯ഑๏ͰɺϞϯςΧϧϩ๏ Λճආ͢Δ

  55. ม෼ਪ࿦ • ͱ͢Δ • KLμΠόʔδΣϯε Λ࠷খԽ͢Δ

  56. ղੳతͳղΛಘΒΕͳ͍߲ͷܭࢉ • ࠷ޙͷ໬౓ͷظ଴஋Λͱ͍ͬͯΔ߲ͷܭࢉ͕ࠔ೉ • ϞϯςΧϧϩ๏ʹΑΔܭࢉ͕ՄೳͰ͸͋Δ • ͔͠͠ɺ ΛαϯϓϦϯά͢Δͱ࠷దԽ͍ͨ͠ύϥϝʔλʔ ͕࢒Βͳ͍

  57. ࠶ύϥϝʔλʔԽτϦοΫ • ΛαϯϓϦϯάͯ͠ Λಘͨͱ͢Δ • ͔ΒαϯϓϦϯάͨ͠ͱߟ͑Δͱɺ࠷దԽͨ͠ ͍ύϥϝʔλʔ͕͔ࣜΒফ͑ͯޯ഑๏͕࣮ߦͰ͖ͳ͍ • ͷ࣮ݱ஋ ͕ಘΒΕͨͷͩͱΈͳ͢

    ( ΛαϯϓϦϯάͨ͠ͷͩͱߟ͑Δ) • 1ճͷαϯϓϦϯάͰޯ഑ͷܭࢉͱɺॏΈͷߋ৽͕Ͱ͖Δ
  58. None
  59. ࣜ 5.236 Ҏ߱ͷهड़ʹ͍ͭͯ • ޯ഑͕ܭࢉͰ͖ͨͷͰɺύϥϝʔλʔΛߋ৽Ͱ͖Δ • ͋ͱ͸Կ౓΋αϯϓϦϯάͱύϥϝʔλʔͷߋ৽ΛؤுΔ

  60. ਪ࿦ • ࠷దͳύϥϝʔλʔ͕ٻΊΒΕͨͷͰ࣍ͷΑ͏ʹۙࣅͰ͖Δ • ϥϕϧͷظ଴஋͸࣍ͷΑ͏ʹۙࣅͰ͖Δ

  61. χϡʔϥϧωοτϫʔΫ (5.7)

  62. লུ

  63. লུ͢Δཧ༝ 1.໰୊ઃఆ͸ϩδεςΟοΫճؼʹ΄΅ಉ͡ 2.Ϟσϧ͸ϩδεςΟοΫճؼΛॏͶΔ͚ͩ 3.ֶशͰಋೖ͢Δޡࠩٯ఻೻๏ʹ͍ͭͯɺ͜Ε͚ͩͷઆ໌ͰΘ͔ Δਓ͸͍ͳ͍

  64. ༨ஊ • χϡʔϥϧωοτϫʔΫͷॏΈΛখ͞ͳཚ਺ͰॳظԽ͠ޯ഑߱ Լ๏Ͱܭࢉͤ͞Δɺͱ͍͏ͷ͸Ұൠత • ͜͜·ͰདྷΔͱʮଟ਺ͷॏΈΛ͔͚߹Θͤͯ଍͢ʯͱ͍͏ͷ ͸ɺظ଴஋ΛͱΔૢ࡞ʹݟ͑ͯ͘Δ • ޯ഑๏Λ༻͍ͯߋ৽ͨ͠ॏΈͷ஋Λར༻͢Δͷ͸ɺࣄޙ෼෍͔ ΒαϯϓϦϯά͍ͯ͠ΔΑ͏ʹݟ͑ͯ͘Δ

    • ࣮ࡍɺਂ૚ֶश͸Ψ΢εաఔͱΈͳͤΔ͜ͱ͕஌ΒΕ͍ͯΔ
  65. Recap ಺༰ (section) Point τϐοΫϞσϧ (5.4) ࣗવݴޠॲཧͷάϥϑΟΧϧϞσϧ ςϯιϧ෼ղ (5.5) ࣌ܥྻσʔλʹରͯ͠ͷڠௐϑΟϧλ

    ϦϯάͷάϥϑΟΧϧϞσϧ ϩδεςΟοΫճؼ (5.6) ࠶ύϥϝʔλʔԽ χϡʔϥϧωοτϫʔΫ (5.7) ޡࠩٯ఻೻๏ (লུ)