Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
輪読 / topic model3.1, 3.2
Search
ysekky
December 22, 2015
Research
0
300
輪読 / topic model3.1, 3.2
ysekky
December 22, 2015
Tweet
Share
More Decks by ysekky
See All by ysekky
スタートアップの開発サイクルに学ぶ 研究活動の進め方 / research practices inspired by startup business strategy
ysekky
0
1.7k
[論文紹介] A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys2020) / recsys20-reading-gunosy-datapub
ysekky
3
2.4k
JSAI2020 OS-12 広告とAI オープニング / JSAI2020-OS-12-ads-and-ai-opening
ysekky
0
1.8k
JSAI2020インダストリアルセッション - Gunosyにおける研究開発 / jsai2020-gunosy-rd-examples
ysekky
1
710
ウェブサービス事業者における研究開発インターン[株式会社Gunosy] - テキストアナリティクスシンポジウム2019 / research-intern-case-study-at-gunosy
ysekky
0
2.4k
Gunosyにおけるニュース記事推薦/ news-recommendation-in-gunosy-webdbf2019
ysekky
1
1.3k
DEIM2019技術報告セッション - Gunosyの研究開発 / deim-2019-sponsor-session-gunosy-research
ysekky
0
860
Analysis of Bias in Gathering Information Between User Attributes in News Application (ABCCS 2018)
ysekky
1
2.1k
世代による政治ニュース記事の閲覧傾向の違いの分析 - JSAI2018 / Analysis of differences in viewing behavior of politics news by age
ysekky
0
3.7k
Other Decks in Research
See All in Research
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
150
説明可能AI:代表的手法と最近の動向
yuyay
1
590
[2023 CCSE] ZOZOTOWN検索における 研究開発の取り組みについて
tomoyayama
0
130
20240209 データを肴に熊本の交通を考える会「車1割削減、渋滞半減、公共交通2倍」をめざし世界に学ぼう
trafficbrain
0
810
第14回対話システムシンポジウム EMNLP 2023 参加報告
atsumoto
0
150
VAR モデルによる OSS プロジェクト同士が生存性に与える 影響の分析
noppoman
0
130
200名の育児中男性の声 「僕たちは、キャリアとライフをトレードオフにしたくない」共働き3.0世代の男性が 本当に求める働き方とは【ワーキングペアレンツの転職意識調査2023|XTalent株式会社】
xtalent
0
470
LiDARセキュリティ最前線
kentaroy47
0
280
Generative AI - practice and theory
gpeyre
1
560
研究効率化Tips_2024 / Research Efficiency Tips 2024
ryo_nakamura
5
2.7k
待機電力を削減したネットワーク更新型電子ペーパーサイネージの開発と評価 / IOT64
yumulab
0
100
Cross-Media Information Spaces and Architectures
signer
PRO
0
120
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
Designing the Hi-DPI Web
ddemaree
276
33k
[RailsConf 2023] Rails as a piece of cake
palkan
23
3.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
648
58k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
6
1.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
659
120k
Rails Girls Zürich Keynote
gr2m
91
13k
Building Flexible Design Systems
yeseniaperezcruz
319
37k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Rebuilding a faster, lazier Slack
samanthasiow
73
8.2k
Transcript
τϐοΫϞσϧʹΑΔ౷ܭతજࡏҙຯ ղੳ 3ষ ֶशΞϧΰϦζϜ(3.1 ~ 3.2.2) Yoshifumi Seki GunosyσʔλϚΠχϯάݚڀձ #97
2015.12.21
3.1 ౷ܭతֶशΞϧΰϦζϜ ౷ܭతֶश: ؍ଌσʔλͷഎޙʹજΉϧʔϧɾنଇΛ౷ܭతʹهड़ ͠ɼσʔλ͔Βࣗಈతʹ֫ಘ͢ΔֶशͷΈ ؍ଌσʔλ ؍ଌσʔλΛੜͨ֬͠ ੜϞσϧ ɹʹͰ͖Δ͚͍ͩۙ֬ ɹΛਪఆ͢Δ
KL-divergence ౷ܭϞσϧͷۙ͞Λද͢ࢦඪ ͜ΕʹΑΓɼ ʹ͍ۙ֬Λਪఆ͢Δͱ͍͏KLΛ ࠷খԽ͢Δͱ͍͏ʹͳΔ
KL-divegenceͷ࠷খԽ ͷظΛ ͱ͢ΔͱҎԼͷΑ͏ʹల։Ͱ͖Δ ͷ߲ແࢹͰ͖ΔͷͰ࠷খԽҎԼͷΑ͏ʹͳΔ
ظܭࢉͷۙࣅ ະͳͷͰ؍ଌσʔλΛਅͷ͔ΒಘΒΕͨαϯϓϧͱͯۙ͠ࣅΛߦ͏ɽ ͜ͷํ๏࠷ਪఆ(Maximum Likelihood estimation)ͱݺΕ, ࠷ਪఆʹΑͬͯΒΕΔղΛ ͱ͢Δ
ੜϞσϧͱͯ͠ߟ͑Δ σʔλ ͷੜ֬ ࠷ਪఆ͜ͷੜ֬ͷରΛ࠷େʹ͢Δ ΛٻΊΔ͜ͱͰ ͋Δͱ͍͑Δɽ
MAPਪఆ ͱ͢Δͱੜ֬ ͱͳΓ࠷దԽҎԼ ͷΑ͏ʹ͔͚Δ աֶशΛ͙ͨΊͷਖ਼ଇԽ߲ͱͯ͠ػೳ͍ͯ͠ΔͨΊ, ࠷ਪ ఆΑΓ൚Խੑೳ͕ߴֶ͍श͕ظͰ͖Δɽ ͜ΕΛࣄޙ֬࠷େ(Maxmux a Posteriori,
MAP)ਪఆͱݺͿɽ
ࣄޙ֬ ࣄޙ֬ϕΠζͷఆཧʹΑͬͯҎԼͷΑ͏ʹٻΊΒΕΔɽ MAPਪఆ͜ͷࣄޙ͕֬࠷େͱͳΔ ΛٻΊΔͱͳΔ
ϕΠζਪఆ ࠷ਪఆMAPਪఆύϥϝʔλͷΛਪఆ͢ΔͨΊਪఆͱݺΕΔ ਪఆ͞ΕͨύϥϝʔλʹΑͬͯ৽ͨͳσʔλ ͷ༧ଌ ΛٻΊΔ͜ͱ ͕Ͱ͖Δ ͦΕʹ͍ͨͯ͠ύϥϝʔλͷࣄޙ͔֬ΒॏΈ͚͞Εͨ༧ଌΛٻΊΔํ ๏ΛϕΠζਪఆͱݺͿ ͭ·Γύϥϝʔλࣗମ֬ͱͯ͠දݱ͢Δɽ ͜ͷΑ͏ͳੵܭࢉղੳతʹٻΊΔ͜ͱ͕େͰ͖ͳ͍ͨΊɼ͜ͷۙࣅղΛͲΑ
͏ʹٻΊΔ͔ͱ͍͏ΞϧΰϦζϜ͕ଘࡏ͢Δ
LDAʹ͓͚ΔఆࣜԽ • ؍ଌσʔλ: • ֤σʔλͷજࡏม: • જࡏมͷऔΓ͏Δ: • જࡏมͷऔΓ͏Δͷ֬ม: •
֤જࡏม֬ϕΫτϧ ʹجͮ͘ଟ߲ʹै͏ • \piσΟϦΫΤʹΑͬͯੜ͞ΕΔ
LDAʹ͓͚ΔఆࣜԽ • ͱ ϋΠύʔύϥϝʔλ • ͱɹ ಉ͡
LDAʹ͓͚ΔϕΠζਪఆ ҎԼͷ༧ଌΛٻΊΔͷ͕తͰ͋Δ
3.2 αϯϓϦϯάۙࣅ๏ • αϯϓϦϯάۙࣅ๏ ࣄޙ͔ΒαϯϓϦϯά͞Εͨෳͷύϥϝʔλͷฏۉʹਲ ͬͯ༧ଌΛߦ͏ • ΪϒεαϯϓϦϯά • पลԽΪϒεαϯϓϦϯά
αϯϓϦϯά͔Βͷۙࣅܭࢉ ͱͯ͠ࣄޙ͔ΒͷαϯϓϧΛSݸੜ͢Δͱɼ ͱͯۙ͠ࣅܭࢉΛߦ͏͜ͱ͕Ͱ͖Δɽ ࣄޙ͔Βͷαϯϓϧੜ͕Ͱ͖Εۙࣅܭࢉ͕ՄೳͰ͋Δ͕, αϯϓ ϧੜଟ͘ͷ߹ίετ͕ߴ͍ɽ ͜ͷΑ͏ͳ߹ʹଟ͘༻͍ΒΕΔͷ͕ΪϒεαϯϓϦϯάͰ͋Δ
ΪϒεαϯϓϦϯά ΪϒεαϯϓϦϯάͰతͷࣄޙ͔ΒͷαϯϓϧੜΛߦ͏ΘΓ ʹɼαϯϓϧͷܭࢉίετ͕͍͖݅֬Λߏ͠ɼ֬มΛ ަޓʹαϯϓϧੜ͢Δ͜ͱͰɼతͷࣄޙ͔ΒͷαϯϓϧΛੜ͢Δ LDAͰજࡏม ΛαϯϓϦϯάରͱ͢Δ͜ͱͰܭࢉίετͷ͍ ͖݅Λߏ͍ͯ͠Δɽ • ΪϒεαϯϓϦϯάͷྲྀΕ [ࣄޙ]
=> [݁߹] => [ϕΠζͷఆཧʹΑΓల։] => [ఆҼࢠΛ আ֎]
z_iͷαϯϓϦϯά ͔Β ΛऔΓআ͍ͨજࡏมू߹Λ ͱදه͢Δ Ҏ֎ͷͯ͢ͷ֬มΛطͱݻఆ͖ͯ݅֬͠ΛٻΊ Δ
• ʹؔͳ͍߲আڈͯ͠ߟ͑Δ • ݁߹֬ΛϕΠζͷఆཧͰల։͢Δ
(3.18)͔Β(3.19)ʹ͍ͭͯ • ʹ͍ͭͯల։ • ʹରͯ͠د༩͠ͳ͍ͷΛཧ -ɹ ʹ͍ͭͯల։
• ʹد༩͠ͳ͍ͷΛཧ • ʹ͍ͭͯల։
• د༩͠ͳ͍ͷΛཧ • ల։ͯ͠ ʹؔΘΔͷ, ʹؔΘΔͷ͚ͩʹ͢Δ • z_i=kʹؔΘΔͷ͚ͩʹ͢Δ
ਖ਼نԽ߲Λܭࢉ͢Δ • ࢠ͕ܭࢉͰ͖ͨͷͰɼͦΕʹ߹ΘͤͯΛઃఆ͍ͯ͠ Δɻ • z_iͷऔΓ͏ΔΛͯ͢ͱͬͯ૯Λͱ͍ͬͯΔͷͰଟཧ తʹ1ʹͳΔ
ͷ͖݅
3.2.2 पลԽΪϒεαϯϓϦϯά • Λੵফڈ͢Δ͜ͱͰ ΛαϯϓϦϯά͢Δ • ֬มͷੵআڈपลԽͱݺΕΔ͜ͱ͔ΒɼपลԽΪ ϒεαϯϓϦϯάͱݺͿ
ࣄޙͷల։
पลԽͷੵ
ੵܭࢉΛղੳతʹٻΊΔ पลԽΪϒεαϯϓϦϯάΛߦ͏ͨΊʹղੳతʹੵܭࢉ͕Ͱ͖ͳ ͚ΕͳΒͳ͍ ੵࣜࣄޙ֬ʹΑΔظܭࢉͱΈͳ͢͜ͱ͕Ͱ͖ɼ ܭࢉରͷ֬ͷڞࣄલΛ༻͍ͯࣄલΛߏ͢Δ͜ͱ ͰੵܭࢉΛղੳతʹٻΊΔ͜ͱ͕Ͱ͖Δɽ LDAͷ߹σΟϦΫϨͳͷͰ,ҎԼͷఆཧʹै͏
࠷ॳͷ͜Ζͷσʔλഁغ͢Δඞཁ͕͋Δ αϯϓϦϯάͰॳظͷࠒͷσʔλॳظʹґଘ͢ΔͷͰഁغ ͢Δඞཁ͕͋Δɽ ͜ͷظؒͷ͜ͱΛburn-in periodͱݺͿ