Tweet
Tweet

Slide 1

Slide 1 text

τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97 2015.12.21

Slide 2

Slide 2 text

3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢Δֶशͷ࿮૊Έ ؍ଌσʔλ ؍ଌσʔλΛੜ੒ͨ֬͠཰෼෍ ੜ੒Ϟσϧ ɹʹͰ͖Δ͚͍ͩۙ֬཰෼෍ ɹΛਪఆ͢Δ

Slide 3

Slide 3 text

KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬཰෼෍Λਪఆ͢Δͱ͍͏໰୊͸KLΛ ࠷খԽ͢Δͱ͍͏໰୊ʹͳΔ

Slide 4

Slide 4 text

KL-divegenceͷ࠷খԽ ͷظ଴஋Λ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲͸ແࢹͰ͖ΔͷͰ࠷খԽ໰୊͸ҎԼͷΑ͏ʹͳΔ

Slide 5

Slide 5 text

ظ଴஋ܭࢉͷۙࣅ ͸ະ஌ͳͷͰ؍ଌσʔλΛਅͷ෼෍͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏͸࠷໬ਪఆ(Maximum Likelihood estimation)ͱݺ͹Ε, ࠷໬ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ

Slide 6

Slide 6 text

ੜ੒Ϟσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ੒֬཰ ࠷໬ਪఆ͸͜ͷੜ੒֬཰ͷର਺Λ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ

Slide 7

Slide 7 text

MAPਪఆ ͱ͢Δͱੜ੒֬཰͸ ͱͳΓ࠷దԽ໰୊͸ҎԼ ͷΑ͏ʹ͔͚Δ ͸աֶशΛ๷͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷໬ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظ଴Ͱ͖Δɽ ͜ΕΛࣄޙ֬཰࠷େ(Maxmux a Posteriori, MAP)ਪఆͱݺͿɽ

Slide 8

Slide 8 text

ࣄޙ֬཰ ࣄޙ֬཰͸ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ 　 MAPਪఆ͸͜ͷࣄޙ֬཰͕࠷େͱͳΔ ΛٻΊΔ໰୊ͱͳΔ

Slide 9

Slide 9 text

ϕΠζਪఆ ࠷໬ਪఆ΍MAPਪఆ͸ύϥϝʔλͷ஋Λਪఆ͢ΔͨΊ఺ਪఆͱݺ͹ΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ෼෍ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ֬཰෼෍͔ΒॏΈ෇͚͞Εͨ༧ଌ෼෍ΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ΋֬཰෼෍ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵ෼ܭࢉ͸ղੳతʹٻΊΔ͜ͱ͕େ఍Ͱ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ ͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ

Slide 10

Slide 10 text

LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม਺: • જࡏม਺ͷऔΓ͏Δ஋: • જࡏม਺ͷऔΓ͏Δ஋ͷ֬཰ม਺: • ֤જࡏม਺͸֬཰ϕΫτϧ ʹجͮ͘ଟ߲෼෍ʹै͏ • \pi͸σΟϦΫΤ෼෍ʹΑͬͯੜ੒͞ΕΔ

Slide 11

Slide 11 text

LDAʹ͓͚ΔఆࣜԽ • ͱ ͸ϋΠύʔύϥϝʔλ • ͱɹ ͸ಉ͡

Slide 12

Slide 12 text

LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌ෼෍ΛٻΊΔͷ͕໨తͰ͋Δ

Slide 13

Slide 13 text

3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ෼෍͔ΒαϯϓϦϯά͞Εͨෳ਺ͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά

Slide 14

Slide 14 text

αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ෼෍͔ΒͷαϯϓϧΛSݸੜ੒͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ෼෍͔Βͷαϯϓϧੜ੒͕Ͱ͖Ε͹ۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜ੒͸ଟ͘ͷ৔߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ৔߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ

Slide 15

Slide 15 text

ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰ͸໨తͷࣄޙ෼෍͔Βͷαϯϓϧੜ੒Λߦ͏୅ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕௿͍৚݅෇͖֬཰෼෍Λߏ੒͠ɼ֬཰ม਺Λ ަޓʹαϯϓϧੜ੒͢Δ͜ͱͰɼ໨తͷࣄޙ෼͔ΒͷαϯϓϧΛੜ੒͢Δ LDAͰ͸જࡏม਺ ΛαϯϓϦϯάର৅ͱ͢Δ͜ͱͰܭࢉίετͷ௿͍ ৚݅෇͖෼෍Λߏ੒͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ෼෍] => [݁߹෼෍] => [ϕΠζͷఆཧʹΑΓల։] => [ఆ਺ҼࢠΛ আ֎]

Slide 16

Slide 16 text

z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏม਺ू߹Λ ͱදه͢Δ Ҏ֎ͷ͢΂ͯͷ֬཰ม਺Λط஌ͱݻఆͯ͠৚݅෇͖֬཰ΛٻΊ Δ

Slide 17

Slide 17 text

• ʹؔ܎ͳ͍߲͸আڈͯ͠ߟ͑Δ • ݁߹֬཰ΛϕΠζͷఆཧͰల։͢Δ

Slide 18

Slide 18 text

(3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍΋ͷΛ੔ཧ -ɹ ʹ͍ͭͯల։

Slide 19

Slide 19 text

• ʹد༩͠ͳ͍΋ͷΛ੔ཧ • ʹ͍ͭͯల։

Slide 20

Slide 20 text

• د༩͠ͳ͍΋ͷΛ੔ཧ • ల։ͯ͠ ʹؔΘΔ΋ͷ, ʹؔΘΔ΋ͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔ΋ͷ͚ͩʹ͢Δ

Slide 21

Slide 21 text

ਖ਼نԽ߲Λܭࢉ͢Δ • ෼ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹Θͤͯ෼฼Λઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏Δ஋Λ͢΂ͯͱͬͯ૯࿨Λͱ͍ͬͯΔͷͰଟ෼ཧ ૝తʹ͸1ʹͳΔ

Slide 22

Slide 22 text

ͷ৚݅෇͖෼෍

Slide 23

Slide 23 text

3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵ෼ফڈ͢Δ͜ͱͰ௚઀ ΛαϯϓϦϯά͢Δ • ֬཰ม਺ͷੵ෼আڈ͸पลԽͱݺ͹ΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ

Slide 24

Slide 24 text

ࣄޙ෼෍ͷల։

Slide 25

Slide 25 text

पลԽͷੵ෼

Slide 26

Slide 26 text

ੵ෼ܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹ͸ղੳతʹੵ෼ܭࢉ͕Ͱ͖ͳ ͚Ε͹ͳΒͳ͍ ੵ෼ࣜ͸ࣄޙ֬཰෼෍ʹΑΔظ଴஋ܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉର৅ͷ֬཰෼෍ͷڞ໾ࣄલ෼෍Λ༻͍ͯࣄલ෼෍Λߏ੒͢Δ͜ͱ Ͱੵ෼ܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ৔߹͸σΟϦΫϨ෼෍ͳͷͰ,ҎԼͷఆཧʹै͏

Slide 27

Slide 27 text

࠷ॳͷ͜Ζͷσʔλ͸ഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλ͸ॳظ஋ʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ