Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【論文ゼミ】SSE-PT: Sequential Recommendation Via Per...
Search
Yamato Hara
October 07, 2021
Research
0
130
【論文ゼミ】SSE-PT: Sequential Recommendation Via Personalized Transformer
計算知能・マルチメディア研究室 論文ゼミ
紹介論文:
https://dl.acm.org/doi/10.1145/3383313.3412258
Yamato Hara
October 07, 2021
Tweet
Share
More Decks by Yamato Hara
See All by Yamato Hara
【IR Reading2022秋】 CPFair: Personalized Consumer and Producer Fairness Re-ranking for Recommender Systems
yamato0811
1
340
【論文ゼミ】Personalized Transfer of User Preferences for Cross-domain Recommendation
yamato0811
0
290
Other Decks in Research
See All in Research
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
160
SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
satai
3
260
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
430
Delta Airlines® Customer Care in the U.S.: How to Reach Them Now
bookingcomcustomersupportusa
0
110
Language Models Are Implicitly Continuous
eumesy
PRO
0
150
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
140
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
260
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
190
数理最適化と機械学習の融合
mickey_kubo
16
9.2k
業界横断 副業・兼業者の実態調査
fkske
0
230
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.3k
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
3k
Featured
See All Featured
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Making Projects Easy
brettharned
117
6.3k
Visualization
eitanlees
147
16k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
BBQ
matthewcrist
89
9.8k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Rails Girls Zürich Keynote
gr2m
95
14k
Designing for humans not robots
tammielis
253
25k
Building Applications with DynamoDB
mza
96
6.6k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
論⽂紹介 原 弥⿇⼈ 0 SSE-PT: Sequential Recommendation Via Personalized Transformer
⽬次 • 論⽂の概要 • どんな分野か • 先⾏研究 • 提案⼿法 •
実験 • まとめ・疑問点 1
論⽂の概要 2 論⽂情報 タイトル : SSE-PT: Sequential Recommendation Via Personalized
Transformer 引⽤数 : 22回 学会 : RecSys September 22-26, 2020 レコメンド分野のトップカンファレンス 著者情報 著者 : Liwei Wu, Shuqing Li, Cho-Jui Hsieh, James Sharpnack 所属 : University of California, Davis University of California, Los Angles
論⽂の概要 3 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
どんな分野か 4 Recommendationの種類 • General Recommendation • Graph Recommendation •
Knowledge Aware Recommendation • Sequential Recommendation ユーザーの好み・嗜好は固定ではなく変化するものという仮定
どんな分野か 5 猿 も ⽊ から 落ちる Sequential Recommendation NLP
次単語予測
どんな分野か 6 ⾃然⾔語処理の発展に伴うレコメンドシステムの遷移
先⾏研究 7 Kang, Wang-Cheng, and Julian McAuley. "Self-attentive sequential recommendation."
ICDM2018 SASRec Sequential RecommendationにTransformerを適⽤したモデル ユーザーにパーソナライズされていない︕ Transformer
提案⼿法 8 SSE-PT ユーザーベクトルを追加︕
提案⼿法 9 Embedding Layer 𝑣 ∶ アイテム 𝑢 ∶ ユーザー
ベクトル化 ⻑さ𝑇に満たないときはpaddingとして𝟎で埋める
提案⼿法 10 Transformer Encoder
提案⼿法 11 Transformer Encoder ⼊⼒ 出⼒
提案⼿法 12 Transformer Encoder • Wは学習によって変化していく • Wによって柔軟に
提案⼿法 13 Transformer Encoder ⼆層のニューラルネットワーク
提案⼿法 14 Prediction Layer ︓Transformer encoderの最後の タイムスタンプにおけるoutput : 時間 𝑡
でユーザー 𝑖 がアイテム 𝑙 を選ぶ確率 : loss関数 次に選んだであろうアイテム Log(1) = 0 Log(1-0) = 0 類似度
提案⼿法 15 SSE-PT ベクトル化 前後関係を考慮したベクトル
提案⼿法 16 Stochastic Shared Embeddings 2019年に同著者らが発表した⼿法 Wu, Liwei, et al.
"Stochastic shared embeddings: Data-driven regularization of embedding layers.” (2019) ある⼀定の確率でエンベディングを他のものと置き換える
実験 18 環境 CPU : 40-core Intel Xeon E5-2630 v4
@2.20GHz GPU : GTX 1080 データセット • Steam dataset • Movielens1M, Movielens10M • Amazon product review dataset(Beauty, Games) 評価指標 • Recall ・・・ユーザが実際に嗜好したアイテムのうちレコメンドリストでカバーした割合 • NDCG・・・おすすめ順の適合度を合計し,正規化したもの
実験 19 SSE-PTを⻑いシーケンスでも対応できるようにした版 (性能⽐較)
実験 20 (アテンションの可視化)
実験 21 (Training Speed)
疑問点 22 • 未知のユーザーが来たら推論がうまくいかないのではないか • Positive itemとnegative itemのリストはどのように作成しているのか
まとめ 23 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ •
5つのデータセットにおいてSoTAを達成
Appendix 24