Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
輪読 / topic model3.1, 3.2
Search
ysekky
December 22, 2015
Research
0
320
輪読 / topic model3.1, 3.2
ysekky
December 22, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
2k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.6k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
2k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
750
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.7k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.4k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
1.1k
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.2k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.9k
Other Decks in Research
See All in Research
Weekly AI Agents News! 10月号 論文のアーカイブ
masatoto
1
510
Tiaccoon: コンテナネットワークにおいて複数トランスポート方式で統一的なアクセス制御
hiroyaonoe
0
420
JSAI NeurIPS 2024 参加報告会(AI アライメント)
akifumi_wachi
5
840
医療支援AI開発における臨床と情報学の連携を円滑に進めるために
moda0
0
150
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
330
セミコン地域における総合交通戦略
trafficbrain
0
120
知識強化言語モデルLUKE @ LUKEミートアップ
ikuyamada
0
230
国際会議ACL2024参加報告
chemical_tree
1
440
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
120
博士学位論文予備審査 / Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining
yuukit
1
1.7k
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
satai
3
140
Segment Any Change
satai
3
210
Featured
See All Featured
Speed Design
sergeychernyshev
27
800
A better future with KSS
kneath
238
17k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Optimising Largest Contentful Paint
csswizardry
34
3.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
What's in a price? How to price your products and services
michaelherold
244
12k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.4k
How STYLIGHT went responsive
nonsquared
98
5.4k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Practical Orchestrator
shlominoach
186
10k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Transcript
τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97
2015.12.21
3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢ΔֶशͷΈ ؍ଌσʔλ ؍ଌσʔλΛੜͨ֬͠ ੜϞσϧ ɹʹͰ͖Δ͚͍ͩۙ֬ ɹΛਪఆ͢Δ
KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬Λਪఆ͢Δͱ͍͏KLΛ ࠷খԽ͢Δͱ͍͏ʹͳΔ
KL-divegenceͷ࠷খԽ ͷظΛ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲ແࢹͰ͖ΔͷͰ࠷খԽҎԼͷΑ͏ʹͳΔ
ظܭࢉͷۙࣅ ະͳͷͰ؍ଌσʔλΛਅͷ͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏࠷ਪఆ(Maximum Likelihood estimation)ͱݺΕ, ࠷ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ
ੜϞσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ֬ ࠷ਪఆ͜ͷੜ֬ͷରΛ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ
MAPਪఆ ͱ͢Δͱੜ֬ ͱͳΓ࠷దԽҎԼ ͷΑ͏ʹ͔͚Δ աֶशΛ͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظͰ͖Δɽ ͜ΕΛࣄޙ֬࠷େ(Maxmux a Posteriori,
MAP)ਪఆͱݺͿɽ
ࣄޙ֬ ࣄޙ֬ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ MAPਪఆ͜ͷࣄޙ͕֬࠷େͱͳΔ ΛٻΊΔͱͳΔ
ϕΠζਪఆ ࠷ਪఆMAPਪఆύϥϝʔλͷΛਪఆ͢ΔͨΊਪఆͱݺΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ͔֬ΒॏΈ͚͞Εͨ༧ଌΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ֬ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵܭࢉղੳతʹٻΊΔ͜ͱ͕େͰ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ
͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ
LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม: • જࡏมͷऔΓ͏Δ: • જࡏมͷऔΓ͏Δͷ֬ม: •
֤જࡏม֬ϕΫτϧ ʹجͮ͘ଟ߲ʹै͏ • \piσΟϦΫΤʹΑͬͯੜ͞ΕΔ
LDAʹ͓͚ΔఆࣜԽ • ͱ ϋΠύʔύϥϝʔλ • ͱɹ ಉ͡
LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌΛٻΊΔͷ͕తͰ͋Δ
3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ͔ΒαϯϓϦϯά͞Εͨෳͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά
αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ͔ΒͷαϯϓϧΛSݸੜ͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ͔Βͷαϯϓϧੜ͕Ͱ͖Εۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜଟ͘ͷ߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ
ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰతͷࣄޙ͔ΒͷαϯϓϧੜΛߦ͏ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕͍͖݅֬Λߏ͠ɼ֬มΛ ަޓʹαϯϓϧੜ͢Δ͜ͱͰɼతͷࣄޙ͔ΒͷαϯϓϧΛੜ͢Δ LDAͰજࡏม ΛαϯϓϦϯάରͱ͢Δ͜ͱͰܭࢉίετͷ͍ ͖݅Λߏ͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ]
=> [݁߹] => [ϕΠζͷఆཧʹΑΓల։] => [ఆҼࢠΛ আ֎]
z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏมू߹Λ ͱදه͢Δ Ҏ֎ͷͯ͢ͷ֬มΛطͱݻఆ͖ͯ݅֬͠ΛٻΊ Δ
• ʹؔͳ͍߲আڈͯ͠ߟ͑Δ • ݁߹֬ΛϕΠζͷఆཧͰల։͢Δ
(3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍ͷΛཧ -ɹ ʹ͍ͭͯల։
• ʹد༩͠ͳ͍ͷΛཧ • ʹ͍ͭͯల։
• د༩͠ͳ͍ͷΛཧ • ల։ͯ͠ ʹؔΘΔͷ, ʹؔΘΔͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔͷ͚ͩʹ͢Δ
ਖ਼نԽ߲Λܭࢉ͢Δ • ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹ΘͤͯΛઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏ΔΛͯ͢ͱͬͯ૯Λͱ͍ͬͯΔͷͰଟཧ తʹ1ʹͳΔ
ͷ͖݅
3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵফڈ͢Δ͜ͱͰ ΛαϯϓϦϯά͢Δ • ֬มͷੵআڈपลԽͱݺΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ
ࣄޙͷల։
पลԽͷੵ
ੵܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹղੳతʹੵܭࢉ͕Ͱ͖ͳ ͚ΕͳΒͳ͍ ੵࣜࣄޙ֬ʹΑΔظܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉରͷ֬ͷڞࣄલΛ༻͍ͯࣄલΛߏ͢Δ͜ͱ ͰੵܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ߹σΟϦΫϨͳͷͰ,ҎԼͷఆཧʹै͏
࠷ॳͷ͜Ζͷσʔλഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλॳظʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ