Slide 1

Slide 1 text

論⽂紹介 原 弥⿇⼈ 0 SSE-PT: Sequential Recommendation Via Personalized Transformer

Slide 2

Slide 2 text

⽬次 • 論⽂の概要 • どんな分野か • 先⾏研究 • 提案⼿法 • 実験 • まとめ・疑問点 1

Slide 3

Slide 3 text

論⽂の概要 2 論⽂情報 タイトル : SSE-PT: Sequential Recommendation Via Personalized Transformer 引⽤数 : 22回 学会 : RecSys September 22-26, 2020 レコメンド分野のトップカンファレンス 著者情報 著者 : Liwei Wu, Shuqing Li, Cho-Jui Hsieh, James Sharpnack 所属 : University of California, Davis University of California, Los Angles

Slide 4

Slide 4 text

論⽂の概要 3 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ • 5つのデータセットにおいてSoTAを達成

Slide 5

Slide 5 text

どんな分野か 4 Recommendationの種類 • General Recommendation • Graph Recommendation • Knowledge Aware Recommendation • Sequential Recommendation ユーザーの好み・嗜好は固定ではなく変化するものという仮定

Slide 6

Slide 6 text

どんな分野か 5 猿 も ⽊ から 落ちる Sequential Recommendation NLP 次単語予測

Slide 7

Slide 7 text

どんな分野か 6 ⾃然⾔語処理の発展に伴うレコメンドシステムの遷移

Slide 8

Slide 8 text

先⾏研究 7 Kang, Wang-Cheng, and Julian McAuley. "Self-attentive sequential recommendation." ICDM2018 SASRec Sequential RecommendationにTransformerを適⽤したモデル ユーザーにパーソナライズされていない︕ Transformer

Slide 9

Slide 9 text

提案⼿法 8 SSE-PT ユーザーベクトルを追加︕

Slide 10

Slide 10 text

提案⼿法 9 Embedding Layer 𝑣 ∶ アイテム 𝑢 ∶ ユーザー ベクトル化 ⻑さ𝑇に満たないときはpaddingとして𝟎で埋める

Slide 11

Slide 11 text

提案⼿法 10 Transformer Encoder

Slide 12

Slide 12 text

提案⼿法 11 Transformer Encoder ⼊⼒ 出⼒

Slide 13

Slide 13 text

提案⼿法 12 Transformer Encoder • Wは学習によって変化していく • Wによって柔軟に

Slide 14

Slide 14 text

提案⼿法 13 Transformer Encoder ⼆層のニューラルネットワーク

Slide 15

Slide 15 text

提案⼿法 14 Prediction Layer ︓Transformer encoderの最後の タイムスタンプにおけるoutput : 時間 𝑡 でユーザー 𝑖 がアイテム 𝑙 を選ぶ確率 : loss関数 次に選んだであろうアイテム Log(1) = 0 Log(1-0) = 0 類似度

Slide 16

Slide 16 text

提案⼿法 15 SSE-PT ベクトル化 前後関係を考慮したベクトル

Slide 17

Slide 17 text

提案⼿法 16 Stochastic Shared Embeddings 2019年に同著者らが発表した⼿法 Wu, Liwei, et al. "Stochastic shared embeddings: Data-driven regularization of embedding layers.” (2019) ある⼀定の確率でエンベディングを他のものと置き換える

Slide 18

Slide 18 text

実験 18 環境 CPU : 40-core Intel Xeon E5-2630 v4 @2.20GHz GPU : GTX 1080 データセット • Steam dataset • Movielens1M, Movielens10M • Amazon product review dataset(Beauty, Games) 評価指標 • Recall ・・・ユーザが実際に嗜好したアイテムのうちレコメンドリストでカバーした割合 • NDCG・・・おすすめ順の適合度を合計し,正規化したもの

Slide 19

Slide 19 text

実験 19 SSE-PTを⻑いシーケンスでも対応できるようにした版 (性能⽐較)

Slide 20

Slide 20 text

実験 20 (アテンションの可視化)

Slide 21

Slide 21 text

実験 21 (Training Speed)

Slide 22

Slide 22 text

疑問点 22 • 未知のユーザーが来たら推論がうまくいかないのではないか • Positive itemとnegative itemのリストはどのように作成しているのか

Slide 23

Slide 23 text

まとめ 23 • SSE-PTと呼ばれるTransformerベースのモデルでsequential recommendationの問題を解決した • ユーザーエンベディングを追加することでパーソナライズ • SSE正則化を⽤いて過学習を防ぐ • 5つのデータセットにおいてSoTAを達成

Slide 24

Slide 24 text

Appendix 24