AI 2023.11.30 村上 直輝 株式会社ディー・エヌ・エー RecSys23参加報告 推薦システムに関する最新研究

AI 2 ▪ 村上 直輝 ▪ 2023年4月にDeNAに新卒入社 ▪ 学生時代 ▪ 研究：大規模グラフに対するGNN ▪ Kaggle：BirdCLEF2021で優勝 ▪ 受託開発：個人事業主→起業 ▪ 趣味 ▪ コンペティションへの参加 ▪ Kaggle, atmaCup, AtCoder ▪ ゲーム ▪ PCゲーム系メイン ▪ エルデンリング良かったです ▪ コンペが忙しくてアーマード・コア６をま だ買っていない ▪ スキー 自己紹介 旧アイコン

AI 3 項目 01｜RecSys23 02｜LLMを使ったレコメンド 04｜気になった論文 Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation 03｜対話型推薦システム

AI 4 01 RecSys23

AI 5 https://recsys.acm.org/recsys23/

AI 6 参加者 引用元：https://x.com/mzhang_bj/status/1704521339716219387?s=20

AI 7 トピック 引用元：https://x.com/mzhang_bj/status/1704521339716219387?s=20

AI 8 02 LLMを使ったレコメンド

AI 9 LLMを推薦に使う応用例 引用元：[Fan, W., Zhao, Z., Li, J., Liu, Y., Mei, X., Wang, Y., Tang, J. and Li, Q., 2023. Recommender systems in the era of large language models (llms).] 自然言語の形にすることで 様々な形式の推薦タスクを解くこ とが可能になりそう！？

AI 10 具体例：ChatGPT で様々な推薦タスクを解く 引用元：[Liu, J., Liu, C., Lv, R., Zhou, K. and Zhang, Y., 2023. Is chatgpt a good recommender? a preliminary study. ]

AI 11 具体例：ChatGPT で様々な推薦タスクを解く 引用元：[Liu, J., Liu, C., Lv, R., Zhou, K. and Zhang, Y., 2023. Is chatgpt a good recommender? a preliminary study. ]

AI 12 使われ方の分類 推薦システムのどこで LLM を使う？ ● LLM in RecSys：部分的に使う ○ Feature Generation ■ Feature Engineering ■ Feature Encoder ○ Scoring/Ranking Function ● LLM as RecSys：丸投げする ○ Pipeline Controller ■ function calling 等を利用 引用元：[Lin, J., Dai, X., Xi, Y., Liu, W., Chen, B., Li, X., Zhu, C., Guo, H., Yu, Y., Tang, R. and Zhang, W., 2023. How Can Recommender Systems Benefit from Large Language Models: A Survey.]

AI 13 論文紹介1: LLM Based Generation of Item-Description for Recommendation System 映画のタイトルからBERTに入れる説明文を生成 → 幻覚の影響を受けやすい 引用元：[Acharya, A., Singh, B. and Onoe, N., 2023, September. LLM Based Generation of Item-Description for Recommendation System] LLMの事前学習データに映画が含まれているからある程度うまくいっている？ タイトルからFeature Generation

AI 14 論文紹介2: Heterogeneous Knowledge Fusion: A Novel Approach for Personalized Recommendation via LLM 行動ログから 自然言語で特徴量 を生成 LLMで好みを 自然言語で出力 引用元：[Yin, B., Xie, J., Qin, Y., Ding, Z., Feng, Z., Li, X. and Lin, W., 2023, September. Heterogeneous Knowledge Fusion: A Novel Approach for Personalized Recommendation via LLM.] 行動ログからFeature Generation & Scoring/Ranking

AI 15 論文紹介3: Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large Language Model Recommendation 引用元：[Zhang, J., Bao, K., Zhang, Y., Wang, W., Feng, F. and He, X., 2023. Is chatgpt fair for recommendation? evaluating fairness in large language model recommendation] 推薦タスクでのLLMの学習

AI 16 03 対話型推薦システム

AI 17 対話型推薦システムとは 対話型推薦システム Conversational Recommender System (CRS) ● 対話を通して自分の好みに合ったコンテン ツを推薦してくれる新しい体験 ● ユーザーとのインタラクティブなやり取り を通して、より良い推薦を行うことを 目的 にしている いわゆるLLMを使ったものが最近は多いが、 BERT等でやるものもある 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]

AI 18 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems ロングテール用の対話型推薦システム (CRS)：問題意識 出現頻度の低いアイテムを推薦できない問題を解決したい 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]

AI 19 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems テンプレートから擬似的な会話データを作成 （出現頻度の低いアイテムも同様に生成できる） データの生成 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]

AI 20 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems 生成した 疑似会話データ 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]

AI 21 論文紹介4: Alleviating the Long-Tail Problem in Conversational Recommender Systems 引用元：[Zhao, Z., Zhou, K., Wang, X., Zhao, W.X., Pan, F., Cao, Z. and Wen, J.R., 2023, September. Alleviating the Long-Tail Problem in Conversational Recommender Systems.]

AI 22 04 気になった論文 Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation [Pan, Yunzhu, et al, 2023]

AI 23 ● 概要 ○ Sequential recommendationの論文。short-video でのラベルをどのように作るべきかの分 析と、実際にそれらを用いてモデル構築と実験を行っている ● 背景 ○ Sequential recommendation はユーザーの行動履歴から次の item をレコメンド ■ 今まではクリック・視聴・購入有無などの positive feedback が得られていた ○ short-video を扱うプラットフォームでは明確な positive feedback すら得られるとは 限らない ○ 興味がなければスライドして現在の動画をスキップ→次の動画へ 概要・背景 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ] 視聴完了やスキップなどの受動的なフィードバック(passive feedback)から 学習する必要がある

AI 24 ラベルについて ユーザーからの明示的なアクションがある ● active negative feedback：ユーザーが明示的に「Not Like」とアクション ● active positive feedback：ユーザーが明示的に「Like」とアクション → 数が少ない ユーザーからの明示的なアクションがない ● passive negative feedback：ユーザーがスキップして最後まで動画を見なかった ● passive positive feedback：ユーザーがスキップせずに動画を見た → random negative feedback も使わないと性能が落ちることがある [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]

AI 25 ラベルの扱い ● passive-negative feedback をそのまま利用すると性能が落ちることもある ○ SASRec: ランダムにサンプルして negative item とする ○ SASRec-N: passive-negative feedback を negative item とする [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]

AI 26 passive feedback と random sample の性質の違い ※True Negative: passive negative のこと positiveと negative のペア数をケースごとにカウント ● Case1: level-1カテゴリ(例: 音楽）が違う ● Case2: level-1 が同じで 2 (例: インスト）が違う ● Case3: level-1&2 が同じで 3 (例: ピアノ）が違う ● Case4: level-3 が同じ ギャップが存在 random negative より passive negative の方が positive に近い性質 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]

AI 27 提案手法：SINE 入力：視聴した動画系列 ＋ feedback の内容 出力：次のアイテムの確率 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]

AI 28 Joint Optimization ● 視聴した negative feedback と 視聴しなかった random negative sample を利用して損失を計算 ● sub-interest 同士が分離するようにもしたい [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]

AI 29 結果 random negative のみだと 性能悪化 [Pan, Y., Gao, C., Chang, J., Niu, Y., Song, Y., Gai, K., Jin, D. and Li, Y., 2023, September. Understanding and Modeling Passive-Negative Feedback for Short-video Sequential Recommendation. ]