Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
輪読 / topic model3.1, 3.2
Search
ysekky
December 22, 2015
Research
0
320
輪読 / topic model3.1, 3.2
ysekky
December 22, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.6k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
750
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.7k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.4k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.3k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Other Decks in Research
See All in Research
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
130
メールからの名刺情報抽出におけるLLM活用 / Use of LLM in extracting business card information from e-mails
sansan_randd
2
430
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
190
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
360
Global Evidence Summit (GES) 参加報告
daimoriwaki
0
240
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
140
PostgreSQLにおける分散トレーシングの現在 - 第50回PostgreSQLアンカンファレンス
seinoyu
0
250
書き手はどこを訪れたか? - 言語モデルで訪問行動を読み取る -
hiroki13
0
150
EBPMにおける生成AI活用について
daimoriwaki
0
280
CUNY DHI_Lightning Talks_2024
digitalfellow
0
520
Whoisの闇
hirachan
3
310
ダイナミックプライシング とその実例
skmr2348
3
610
Featured
See All Featured
What's in a price? How to price your products and services
michaelherold
244
12k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
51k
Bash Introduction
62gerente
611
210k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Adopting Sorbet at Scale
ufuk
75
9.2k
Rails Girls Zürich Keynote
gr2m
94
13k
GitHub's CSS Performance
jonrohan
1030
460k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Transcript
τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97
2015.12.21
3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢ΔֶशͷΈ ؍ଌσʔλ ؍ଌσʔλΛੜͨ֬͠ ੜϞσϧ ɹʹͰ͖Δ͚͍ͩۙ֬ ɹΛਪఆ͢Δ
KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬Λਪఆ͢Δͱ͍͏KLΛ ࠷খԽ͢Δͱ͍͏ʹͳΔ
KL-divegenceͷ࠷খԽ ͷظΛ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲ແࢹͰ͖ΔͷͰ࠷খԽҎԼͷΑ͏ʹͳΔ
ظܭࢉͷۙࣅ ະͳͷͰ؍ଌσʔλΛਅͷ͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏࠷ਪఆ(Maximum Likelihood estimation)ͱݺΕ, ࠷ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ
ੜϞσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ֬ ࠷ਪఆ͜ͷੜ֬ͷରΛ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ
MAPਪఆ ͱ͢Δͱੜ֬ ͱͳΓ࠷దԽҎԼ ͷΑ͏ʹ͔͚Δ աֶशΛ͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظͰ͖Δɽ ͜ΕΛࣄޙ֬࠷େ(Maxmux a Posteriori,
MAP)ਪఆͱݺͿɽ
ࣄޙ֬ ࣄޙ֬ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ MAPਪఆ͜ͷࣄޙ͕֬࠷େͱͳΔ ΛٻΊΔͱͳΔ
ϕΠζਪఆ ࠷ਪఆMAPਪఆύϥϝʔλͷΛਪఆ͢ΔͨΊਪఆͱݺΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ͔֬ΒॏΈ͚͞Εͨ༧ଌΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ֬ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵܭࢉղੳతʹٻΊΔ͜ͱ͕େͰ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ
͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ
LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม: • જࡏมͷऔΓ͏Δ: • જࡏมͷऔΓ͏Δͷ֬ม: •
֤જࡏม֬ϕΫτϧ ʹجͮ͘ଟ߲ʹै͏ • \piσΟϦΫΤʹΑͬͯੜ͞ΕΔ
LDAʹ͓͚ΔఆࣜԽ • ͱ ϋΠύʔύϥϝʔλ • ͱɹ ಉ͡
LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌΛٻΊΔͷ͕తͰ͋Δ
3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ͔ΒαϯϓϦϯά͞Εͨෳͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά
αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ͔ΒͷαϯϓϧΛSݸੜ͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ͔Βͷαϯϓϧੜ͕Ͱ͖Εۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜଟ͘ͷ߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ
ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰతͷࣄޙ͔ΒͷαϯϓϧੜΛߦ͏ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕͍͖݅֬Λߏ͠ɼ֬มΛ ަޓʹαϯϓϧੜ͢Δ͜ͱͰɼతͷࣄޙ͔ΒͷαϯϓϧΛੜ͢Δ LDAͰજࡏม ΛαϯϓϦϯάରͱ͢Δ͜ͱͰܭࢉίετͷ͍ ͖݅Λߏ͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ]
=> [݁߹] => [ϕΠζͷఆཧʹΑΓల։] => [ఆҼࢠΛ আ֎]
z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏมू߹Λ ͱදه͢Δ Ҏ֎ͷͯ͢ͷ֬มΛطͱݻఆ͖ͯ݅֬͠ΛٻΊ Δ
• ʹؔͳ͍߲আڈͯ͠ߟ͑Δ • ݁߹֬ΛϕΠζͷఆཧͰల։͢Δ
(3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍ͷΛཧ -ɹ ʹ͍ͭͯల։
• ʹد༩͠ͳ͍ͷΛཧ • ʹ͍ͭͯల։
• د༩͠ͳ͍ͷΛཧ • ల։ͯ͠ ʹؔΘΔͷ, ʹؔΘΔͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔͷ͚ͩʹ͢Δ
ਖ਼نԽ߲Λܭࢉ͢Δ • ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹ΘͤͯΛઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏ΔΛͯ͢ͱͬͯ૯Λͱ͍ͬͯΔͷͰଟཧ తʹ1ʹͳΔ
ͷ͖݅
3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵফڈ͢Δ͜ͱͰ ΛαϯϓϦϯά͢Δ • ֬มͷੵআڈपลԽͱݺΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ
ࣄޙͷల։
पลԽͷੵ
ੵܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹղੳతʹੵܭࢉ͕Ͱ͖ͳ ͚ΕͳΒͳ͍ ੵࣜࣄޙ֬ʹΑΔظܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉରͷ֬ͷڞࣄલΛ༻͍ͯࣄલΛߏ͢Δ͜ͱ ͰੵܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ߹σΟϦΫϨͳͷͰ,ҎԼͷఆཧʹै͏
࠷ॳͷ͜Ζͷσʔλഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλॳظʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ