輪読 / topic model3.1, 3.2

Transcript

1. τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97 2015.12.21
2. 3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢Δֶशͷ࿮૊Έ ؍ଌσʔλ ؍ଌσʔλΛੜ੒ͨ֬͠཰෼෍ ੜ੒Ϟσϧ ɹʹͰ͖Δ͚͍ͩۙ֬཰෼෍ ɹΛਪఆ͢Δ
3. KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬཰෼෍Λਪఆ͢Δͱ͍͏໰୊͸KLΛ ࠷খԽ͢Δͱ͍͏໰୊ʹͳΔ
4. KL-divegenceͷ࠷খԽ ͷظ଴஋Λ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲͸ແࢹͰ͖ΔͷͰ࠷খԽ໰୊͸ҎԼͷΑ͏ʹͳΔ
5. ظ଴஋ܭࢉͷۙࣅ ͸ະ஌ͳͷͰ؍ଌσʔλΛਅͷ෼෍͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏͸࠷໬ਪఆ(Maximum Likelihood estimation)ͱݺ͹Ε, ࠷໬ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ
6. ੜ੒Ϟσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ੒֬཰ ࠷໬ਪఆ͸͜ͷੜ੒֬཰ͷର਺Λ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ
7. MAPਪఆ ͱ͢Δͱੜ੒֬཰͸ ͱͳΓ࠷దԽ໰୊͸ҎԼ ͷΑ͏ʹ͔͚Δ ͸աֶशΛ๷͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷໬ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظ଴Ͱ͖Δɽ ͜ΕΛࣄޙ֬཰࠷େ(Maxmux a Posteriori, MAP)ਪఆͱݺͿɽ
8. ࣄޙ֬཰ ࣄޙ֬཰͸ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ 　 MAPਪఆ͸͜ͷࣄޙ֬཰͕࠷େͱͳΔ ΛٻΊΔ໰୊ͱͳΔ
9. ϕΠζਪఆ ࠷໬ਪఆ΍MAPਪఆ͸ύϥϝʔλͷ஋Λਪఆ͢ΔͨΊ఺ਪఆͱݺ͹ΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ෼෍ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ֬཰෼෍͔ΒॏΈ෇͚͞Εͨ༧ଌ෼෍ΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ΋֬཰෼෍ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵ෼ܭࢉ͸ղੳతʹٻΊΔ͜ͱ͕େ఍Ͱ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ ͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ
10. LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม਺: • જࡏม਺ͷऔΓ͏Δ஋: • જࡏม਺ͷऔΓ͏Δ஋ͷ֬཰ม਺: • ֤જࡏม਺͸֬཰ϕΫτϧ ʹجͮ͘ଟ߲෼෍ʹै͏ • \pi͸σΟϦΫΤ෼෍ʹΑͬͯੜ੒͞ΕΔ
11. LDAʹ͓͚ΔఆࣜԽ • ͱ ͸ϋΠύʔύϥϝʔλ • ͱɹ ͸ಉ͡
12. LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌ෼෍ΛٻΊΔͷ͕໨తͰ͋Δ
13. 3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ෼෍͔ΒαϯϓϦϯά͞Εͨෳ਺ͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά
14. αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ෼෍͔ΒͷαϯϓϧΛSݸੜ੒͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ෼෍͔Βͷαϯϓϧੜ੒͕Ͱ͖Ε͹ۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜ੒͸ଟ͘ͷ৔߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ৔߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ
15. ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰ͸໨తͷࣄޙ෼෍͔Βͷαϯϓϧੜ੒Λߦ͏୅ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕௿͍৚݅෇͖֬཰෼෍Λߏ੒͠ɼ֬཰ม਺Λ ަޓʹαϯϓϧੜ੒͢Δ͜ͱͰɼ໨తͷࣄޙ෼͔ΒͷαϯϓϧΛੜ੒͢Δ LDAͰ͸જࡏม਺ ΛαϯϓϦϯάର৅ͱ͢Δ͜ͱͰܭࢉίετͷ௿͍ ৚݅෇͖෼෍Λߏ੒͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ෼෍] => [݁߹෼෍] => [ϕΠζͷఆཧʹΑΓల։] => [ఆ਺ҼࢠΛ আ֎]
16. z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏม਺ू߹Λ ͱදه͢Δ Ҏ֎ͷ͢΂ͯͷ֬཰ม਺Λط஌ͱݻఆͯ͠৚݅෇͖֬཰ΛٻΊ Δ
17. • ʹؔ܎ͳ͍߲͸আڈͯ͠ߟ͑Δ • ݁߹֬཰ΛϕΠζͷఆཧͰల։͢Δ
18. (3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍΋ͷΛ੔ཧ -ɹ ʹ͍ͭͯల։
19. • ʹد༩͠ͳ͍΋ͷΛ੔ཧ • ʹ͍ͭͯల։
20. • د༩͠ͳ͍΋ͷΛ੔ཧ • ల։ͯ͠ ʹؔΘΔ΋ͷ, ʹؔΘΔ΋ͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔ΋ͷ͚ͩʹ͢Δ
21. ਖ਼نԽ߲Λܭࢉ͢Δ • ෼ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹Θͤͯ෼฼Λઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏Δ஋Λ͢΂ͯͱͬͯ૯࿨Λͱ͍ͬͯΔͷͰଟ෼ཧ ૝తʹ͸1ʹͳΔ
22. ͷ৚݅෇͖෼෍
23. 3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵ෼ফڈ͢Δ͜ͱͰ௚઀ ΛαϯϓϦϯά͢Δ • ֬཰ม਺ͷੵ෼আڈ͸पลԽͱݺ͹ΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ
24. ࣄޙ෼෍ͷల։
25. पลԽͷੵ෼
26. ੵ෼ܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹ͸ղੳతʹੵ෼ܭࢉ͕Ͱ͖ͳ ͚Ε͹ͳΒͳ͍ ੵ෼ࣜ͸ࣄޙ֬཰෼෍ʹΑΔظ଴஋ܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉର৅ͷ֬཰෼෍ͷڞ໾ࣄલ෼෍Λ༻͍ͯࣄલ෼෍Λߏ੒͢Δ͜ͱ Ͱੵ෼ܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ৔߹͸σΟϦΫϨ෼෍ͳͷͰ,ҎԼͷఆཧʹै͏
27. ࠷ॳͷ͜Ζͷσʔλ͸ഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλ͸ॳظ஋ʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ