RecSys23参加報告：推薦システムに関する最新研究

社内制度で RecSys2023 に現地参加してきました。気になった発表について社内勉強会で報告したときの資料です。

Transcript

1. AI 2023.11.30 村上 直輝 株式会社ディー・エヌ・エー RecSys23参加報告 推薦システムに関する最新研究
2. AI 2 ▪ 村上 直輝 ▪ 2023年4月にDeNAに新卒入社 ▪ 学生時代 ▪ 研究：大規模グラフに対するGNN ▪ Kaggle：BirdCLEF2021で優勝 ▪ 受託開発：個人事業主→起業 ▪ 趣味 ▪ コンペティションへの参加 ▪ Kaggle, atmaCup, AtCoder ▪ ゲーム ▪ PCゲーム系メイン ▪ エルデンリング良かったです ▪ コンペが忙しくてアーマード・コア６をま だ買っていない ▪ スキー 自己紹介 旧アイコン
3. AI 3 項目 01｜RecSys23 02｜LLMを使ったレコメンド 04｜気になった論文 Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation 03｜対話型推薦システム
4. AI 4 01 RecSys23
5. AI 5 https://recsys.acm.org/recsys23/
6. AI 6 参加者 引用元：https://x.com/mzhang_bj/status/1704521339716219387?s=20
7. AI 7 トピック 引用元：https://x.com/mzhang_bj/status/1704521339716219387?s=20
8. AI 8 02 LLMを使ったレコメンド
9. AI 9 LLMを推薦に使う応用例 引用元：[Fan, W., Zhao, Z., Li, J., Liu, Y., Mei, X., Wang, Y., Tang, J. and Li, Q., 2023. Recommender systems in the era of large language models (llms).] 自然言語の形にすることで 様々な形式の推薦タスクを解くこ とが可能になりそう！？
10. AI 10 具体例：ChatGPT で様々な推薦タスクを解く 引用元：[Liu, J., Liu, C., Lv, R., Zhou, K. and Zhang, Y., 2023. Is chatgpt a good recommender? a preliminary study. ]
11. AI 11 具体例：ChatGPT で様々な推薦タスクを解く 引用元：[Liu, J., Liu, C., Lv, R., Zhou, K. and Zhang, Y., 2023. Is chatgpt a good recommender? a preliminary study. ]
12. AI 12 使われ方の分類 推薦システムのどこで LLM を使う？ • LLM in RecSys：部分的に使う ◦ Feature Generation ▪ Feature Engineering ▪ Feature Encoder ◦ Scoring/Ranking Function • LLM as RecSys：丸投げする ◦ Pipeline Controller ▪ function calling 等を利用 引用元：[Lin, J., Dai, X., Xi, Y., Liu, W., Chen, B., Li, X., Zhu, C., Guo, H., Yu, Y., Tang, R. and Zhang, W., 2023. How Can Recommender Systems Benefit from Large Language Models: A Survey.]
13. AI 13 論文紹介1: LLM Based Generation of Item-Description for Recommendation System 映画のタイトルからBERTに入れる説明文を生成 → 幻覚の影響を受けやすい 引用元：[Acharya, A., Singh, B. and Onoe, N., 2023, September. LLM Based Generation of Item-Description for Recommendation System] LLMの事前学習データに映画が含まれているからある程度うまくいっている？ タイトルからFeature Generation
14. AI 14 論文紹介2: Heterogeneous Knowledge Fusion: A Novel Approach for Personalized Recommendation via LLM 行動ログから 自然言語で特徴量 を生成 LLMで好みを 自然言語で出力 引用元：[Yin, B., Xie, J., Qin, Y., Ding, Z., Feng, Z., Li, X. and Lin, W., 2023, September. Heterogeneous Knowledge Fusion: A Novel Approach for Personalized Recommendation via LLM.] 行動ログからFeature Generation & Scoring/Ranking
15. AI 15 論文紹介3: Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation 引用元：[Zhang, J., Bao, K., Zhang, Y., Wang, W., Feng, F. and He, X., 2023. Is chatgpt fair for recommendation? evaluating fairness in large language model recommendation] 推薦タスクでのLLMの学習
16. AI 16 03 対話型推薦システム
17. AI 17 対話型推薦システムとは 対話型推薦システム Conversational Recommender System (CRS) • 対話を通して自分の好みに合ったコンテン ツを推薦してくれる新しい体験 • ユーザーとのインタラクティブなやり取り を通して、より良い推薦を行うことを 目的 にしている いわゆるLLMを使ったものが最近は多いが、 BERT等でやるものもある 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]
18. AI 18 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems ロングテール用の対話型推薦システム (CRS)：問題意識 出現頻度の低いアイテムを推薦できない問題を解決したい 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]
19. AI 19 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems テンプレートから擬似的な会話データを作成 （出現頻度の低いアイテムも同様に生成できる） データの生成 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]
20. AI 20 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems 生成した 疑似会話データ 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]
21. AI 21 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]
22. AI 22 04 気になった論文 Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation [Pan, Yunzhu, et al, 2023]
23. AI 23 • 概要 ◦ Sequential recommendationの論文。short-video でのラベルをどのように作るべきかの分 析と、実際にそれらを用いてモデル構築と実験を行っている • 背景 ◦ Sequential recommendation はユーザーの行動履歴から次の item をレコメンド ▪ 今まではクリック・視聴・購入有無などの positive feedback が得られていた ◦ short-video を扱うプラットフォームでは明確な positive feedback すら得られるとは 限らない ◦ 興味がなければスライドして現在の動画をスキップ→次の動画へ 概要・背景 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ] 視聴完了やスキップなどの受動的なフィードバック(passive feedback)から 学習する必要がある
24. AI 24 ラベルについて ユーザーからの明示的なアクションがある • active negative feedback：ユーザーが明示的に「Not Like」とアクション • active positive feedback：ユーザーが明示的に「Like」とアクション → 数が少ない ユーザーからの明示的なアクションがない • passive negative feedback：ユーザーがスキップして最後まで動画を見なかった • passive positive feedback：ユーザーがスキップせずに動画を見た → random negative feedback も使わないと性能が落ちることがある [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]
25. AI 25 ラベルの扱い • passive-negative feedback をそのまま利用すると性能が落ちることもある ◦ SASRec: ランダムにサンプルして negative item とする ◦ SASRec-N: passive-negative feedback を negative item とする [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]
26. AI 26 passive feedback と random sample の性質の違い ※True Negative: passive negative のこと positiveと negative のペア数をケースごとにカウント • Case1: level-1カテゴリ(例: 音楽）が違う • Case2: level-1 が同じで 2 (例: インスト）が違う • Case3: level-1&2 が同じで 3 (例: ピアノ）が違う • Case4: level-3 が同じ ギャップが存在 random negative より passive negative の方が positive に近い性質 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]
27. AI 27 提案手法：SINE 入力：視聴した動画系列 ＋ feedback の内容 出力：次のアイテムの確率 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]
28. AI 28 Joint Optimization • 視聴した negative feedback と 視聴しなかった random negative sample を利用して損失を計算 • sub-interest 同士が分離するようにもしたい [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]
29. AI 29 結果 random negative のみだと 性能悪化 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]