輪読 / topic model3.1, 3.2

D490d541e3d1ab04d5203e8b210b2233?s=47 ysekky
December 22, 2015

輪読 / topic model3.1, 3.2

D490d541e3d1ab04d5203e8b210b2233?s=128

ysekky

December 22, 2015
Tweet

Transcript

  1. τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97

    2015.12.21
  2. 3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢Δֶशͷ࿮૊Έ ؍ଌσʔλ ؍ଌσʔλΛੜ੒ͨ֬͠཰෼෍ ੜ੒Ϟσϧ ɹʹͰ͖Δ͚͍ͩۙ֬཰෼෍ ɹΛਪఆ͢Δ

  3. KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬཰෼෍Λਪఆ͢Δͱ͍͏໰୊͸KLΛ ࠷খԽ͢Δͱ͍͏໰୊ʹͳΔ

  4. KL-divegenceͷ࠷খԽ ͷظ଴஋Λ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲͸ແࢹͰ͖ΔͷͰ࠷খԽ໰୊͸ҎԼͷΑ͏ʹͳΔ

  5. ظ଴஋ܭࢉͷۙࣅ ͸ະ஌ͳͷͰ؍ଌσʔλΛਅͷ෼෍͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏͸࠷໬ਪఆ(Maximum Likelihood estimation)ͱݺ͹Ε, ࠷໬ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ

  6. ੜ੒Ϟσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ੒֬཰ ࠷໬ਪఆ͸͜ͷੜ੒֬཰ͷର਺Λ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ

  7. MAPਪఆ ͱ͢Δͱੜ੒֬཰͸ ͱͳΓ࠷దԽ໰୊͸ҎԼ ͷΑ͏ʹ͔͚Δ ͸աֶशΛ๷͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷໬ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظ଴Ͱ͖Δɽ ͜ΕΛࣄޙ֬཰࠷େ(Maxmux a Posteriori,

    MAP)ਪఆͱݺͿɽ
  8. ࣄޙ֬཰ ࣄޙ֬཰͸ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ   MAPਪఆ͸͜ͷࣄޙ֬཰͕࠷େͱͳΔ ΛٻΊΔ໰୊ͱͳΔ

  9. ϕΠζਪఆ ࠷໬ਪఆ΍MAPਪఆ͸ύϥϝʔλͷ஋Λਪఆ͢ΔͨΊ఺ਪఆͱݺ͹ΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ෼෍ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ֬཰෼෍͔ΒॏΈ෇͚͞Εͨ༧ଌ෼෍ΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ΋֬཰෼෍ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵ෼ܭࢉ͸ղੳతʹٻΊΔ͜ͱ͕େ఍Ͱ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ

    ͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ
  10. LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม਺: • જࡏม਺ͷऔΓ͏Δ஋: • જࡏม਺ͷऔΓ͏Δ஋ͷ֬཰ม਺: •

    ֤જࡏม਺͸֬཰ϕΫτϧ ʹجͮ͘ଟ߲෼෍ʹै͏ • \pi͸σΟϦΫΤ෼෍ʹΑͬͯੜ੒͞ΕΔ
  11. LDAʹ͓͚ΔఆࣜԽ • ͱ ͸ϋΠύʔύϥϝʔλ • ͱɹ ͸ಉ͡

  12. LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌ෼෍ΛٻΊΔͷ͕໨తͰ͋Δ

  13. 3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ෼෍͔ΒαϯϓϦϯά͞Εͨෳ਺ͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά

  14. αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ෼෍͔ΒͷαϯϓϧΛSݸੜ੒͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ෼෍͔Βͷαϯϓϧੜ੒͕Ͱ͖Ε͹ۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜ੒͸ଟ͘ͷ৔߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ৔߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ

  15. ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰ͸໨తͷࣄޙ෼෍͔Βͷαϯϓϧੜ੒Λߦ͏୅ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕௿͍৚݅෇͖֬཰෼෍Λߏ੒͠ɼ֬཰ม਺Λ ަޓʹαϯϓϧੜ੒͢Δ͜ͱͰɼ໨తͷࣄޙ෼͔ΒͷαϯϓϧΛੜ੒͢Δ LDAͰ͸જࡏม਺ ΛαϯϓϦϯάର৅ͱ͢Δ͜ͱͰܭࢉίετͷ௿͍ ৚݅෇͖෼෍Λߏ੒͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ෼෍]

    => [݁߹෼෍] => [ϕΠζͷఆཧʹΑΓల։] => [ఆ਺ҼࢠΛ আ֎]
  16. z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏม਺ू߹Λ ͱදه͢Δ Ҏ֎ͷ͢΂ͯͷ֬཰ม਺Λط஌ͱݻఆͯ͠৚݅෇͖֬཰ΛٻΊ Δ

  17. • ʹؔ܎ͳ͍߲͸আڈͯ͠ߟ͑Δ • ݁߹֬཰ΛϕΠζͷఆཧͰల։͢Δ

  18. (3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍΋ͷΛ੔ཧ -ɹ ʹ͍ͭͯల։

  19. • ʹد༩͠ͳ͍΋ͷΛ੔ཧ • ʹ͍ͭͯల։

  20. • د༩͠ͳ͍΋ͷΛ੔ཧ • ల։ͯ͠ ʹؔΘΔ΋ͷ, ʹؔΘΔ΋ͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔ΋ͷ͚ͩʹ͢Δ

  21. ਖ਼نԽ߲Λܭࢉ͢Δ • ෼ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹Θͤͯ෼฼Λઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏Δ஋Λ͢΂ͯͱͬͯ૯࿨Λͱ͍ͬͯΔͷͰଟ෼ཧ ૝తʹ͸1ʹͳΔ

  22. ͷ৚݅෇͖෼෍

  23. 3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵ෼ফڈ͢Δ͜ͱͰ௚઀ ΛαϯϓϦϯά͢Δ • ֬཰ม਺ͷੵ෼আڈ͸पลԽͱݺ͹ΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ

  24. ࣄޙ෼෍ͷల։

  25. पลԽͷੵ෼

  26. ੵ෼ܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹ͸ղੳతʹੵ෼ܭࢉ͕Ͱ͖ͳ ͚Ε͹ͳΒͳ͍ ੵ෼ࣜ͸ࣄޙ֬཰෼෍ʹΑΔظ଴஋ܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉର৅ͷ֬཰෼෍ͷڞ໾ࣄલ෼෍Λ༻͍ͯࣄલ෼෍Λߏ੒͢Δ͜ͱ Ͱੵ෼ܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ৔߹͸σΟϦΫϨ෼෍ͳͷͰ,ҎԼͷఆཧʹै͏

  27. ࠷ॳͷ͜Ζͷσʔλ͸ഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλ͸ॳظ஋ʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ