[最強DB講義]推薦システム | 基礎編

最強DB講義 #39-1 推薦システム | 基礎編での講義資料です。
https://dblectures.connpass.com/event/390208/

Transcript

1. 推薦システム 基礎編 奥 健太
2. 推薦システムとは 2
3. 推薦システムとは 出典：https://www.amazon.co.jp/（2026年4月参照） 出典：https://www.youtube.com/（2026年4月参照） Amazon YouTube 推薦システム（recommender system） ユーザの嗜好に合ったアイテム（商品や映画、音楽、本、動画、画像、ニュース 記事など）を提示するシステム 3
4. なぜ推薦システムが必要か 4
5. 膨大なコンテンツ 世界の本の数： ※2010年8月現在 129,864,880冊 http://booksearch.blogspot.com/2010/08/books-of-world-stand-up-and-be-counted.html（2026年4月参照） Spotifyでの配信楽曲数： ※2026年4月現在 100,000,000曲 https://www.businessofapps.com/data/spotify-statistics/#4（2026年4月参照） YouTube： ※2019年5月現在 毎分 500 時間以上もの動画投稿 https://www.tubefilter.com/2019/05/07/number-hours-video-uploaded-to-youtube-per-minute/（2026年4月参照） https://www.youtube.com/intl/ALL_jp/howyoutubeworks/product-features/search/（2026年4月参照） 5
6. コンテンツ過多（content overload） 面白いコンテンツ、感動するコンテンツが埋もれている どのようにしてそのコンテンツに巡り合うか？ 6
7. 推薦システム ユーザの行動履歴（購買履歴や閲覧履歴、評価履歴など）を基にユーザの 興味に合うコンテンツの候補を推薦リストとして提示 7
8. ロングテール（long tail）[アンダーソン2014] ヒットコンテンツ ニッチコンテンツ 推薦システムは テールを押し上げる役割 [アンダーソン2014] クリス・アンダーソン: ロングテール‐「売れない商品」を宝の山に変える新戦略, 早川書房, 2014. 8
9. ユーザ、アイテム、評価値 9
10. ユーザ（user） 推薦システムの利用者 ➢ 推薦を受けようとしているユーザを対象ユーザ（active user）とよぶ ユーザ集合 ユーザ ユーザ数 ユーザに関するデータ ユーザID ユーザ名 年齢 性別 1 Alice 20 女 2 Bruno 22 男 3 Chiara 21 女 4 Dhruv 21 男 5 Emi 20 女 デモグラフィック属性（demographic attribute） 10
11. ➢ 評価値の予測対象となるアイテムを対象アイテム（target item）とよぶ アイテム（item） 推薦システムにおいて扱う商品やコンテンツ 推薦システムが保有するアイテムデータベース アイテム アイテム集合 アイテム数 アイテムID アイテム名 トッピング いちご ラズベリー バナナ チョコ ホイップ カスタード 1 いちごクレープ 1 0 0 0 1 0 2 ラズベリークレープ 0 1 0 0 1 0 : : : : : : : : 13 ラズベリーチョコバナナクレープ 0 1 1 1 1 0 11
12. 特徴ベクトル（feature vector） アイテム i の特徴ベクトル（feature vector） アイテムID アイテム名 トッピング いちご ラズベリー バナナ チョコ ホイップ カスタード 1 いちごクレープ 1 0 0 0 1 0 2 ラズベリークレープ 0 1 0 0 1 0 : : : : : : : : 13 ラズベリーチョコバナナクレープ 0 1 1 1 1 0 12
13. ユーザ u のアイテム i に対する 評価値（rating） 評価履歴（rating history） ユーザ アイテム 評価値 1: Alice 2: マグロ 4 1: Alice 3: 中トロ 3 1: Alice 4: タイ 1 1: Alice 5: ヒラメ 2 2: Bruno 1: カツオ 5 : : : 5: Emi 6: スズキ 3 ユーザがこれまでに利用してきたアイテムに対する評価値の履歴 評価履歴 13
14. 評価履歴から評価値行列へ ユーザ アイテム 評価値 1: Alice 2: マグロ 4 1: Alice 3: 中トロ 3 1: Alice 4: タイ 1 1: Alice 5: ヒラメ 2 2: Bruno 1: カツオ 5 : : : 5: Emi 6: スズキ 3 評価履歴 評価値行列 ユーザ u アイテム i 14
15. 評価値行列（rating matrix） ユーザとアイテムの評価値の関係を表した行列 R ユーザ u アイテム i ユーザ u のアイテム i に対する評価値 欠損値（missing value） 観測値数 15
16. 推薦問題の定義 16
17. 対象ユーザ u の対象アイテム i への予測評価値（predicted rating） (1) 嗜好予測問題（preference prediction problem） 与えられたユーザ集合 U およびアイテム集合 I において、対象ユーザ u によって 未評価である対象アイテム i への評価値 ru,i を予測する問題 推薦問題（recommendation problem） (2) 上位 K 推薦問題（top-K recommendation problem） 上位 K 件の推薦リストを生成する問題 17
18. 推薦サイクル（recommendation cycle） 18
19. 推薦システムの歴史 19
20. 協調フィルタリング 推薦システムの歴史 [Amatriain2025] 行列因子分解 1997 MovieLens v0 1990 2000 2010 2020 DLベース推薦 LLMベース推 薦 2006-2009 Netflix Prize 2017 Transformers [Amatriain2025] X. Amatriain, Recommending in the Age of AI: How We Got Here and What Comes Next, RecSys2025 - Keynote. 2026 2007 1st RecSys 20
21. 協調フィルタリング 推薦システムの歴史 [Amatriain2025] 行列因子分解 1997 MovieLens v0 1990 2000 2010 2020 DLベース推薦 LLMベース推 薦 2006-2009 Netflix Prize 2017 Transformers 2026 2007 1st RecSys 21 本講義（基礎編）の対象 [Amatriain2025] X. Amatriain, Recommending in the Age of AI: How We Got Here and What Comes Next, RecSys2025 - Keynote.
22. 本講義（基礎編）で学ぶ主なトピック 内容ベース推薦 ❏ 類似度に基づく推薦 ❏ k 近傍法 ❏ モデルベース方式 協調ベース推薦 ❏ 協調フィルタリング ❏ 行列因子分解 知識ベース推薦 ❏ 制約ベース推薦 ❏ 事例ベース推薦 ハイブリッド型推薦 ❏ 並列型 ❏ 直列型 ❏ Factorizatin Machine ❏ 混合型 22
23. 内容ベース推薦システム （content-based recommender system） 23
24. 内容ベース推薦システム 近傍ベース方式 （neighborhood-based method） モデルベース方式 （model-based method） ユーザが過去に好んだアイテムと類似するアイテムを推薦 24
25. 内容ベース推薦システム 近傍ベース方式 （neighborhood-based method） モデルベース方式 （model-based method） ユーザが過去に好んだアイテムと類似するアイテムを推薦 25
26. アイテムID アイテム名 辛さ 甘さ 評価値 1 5辛3甘 5 3 +1 2 6辛2甘 6 2 +1 3 4辛1甘 4 1 +1 4 8辛5甘 8 5 -1 5 2辛4甘 2 4 -1 6 3辛6甘 3 6 -1 7 7辛6甘 7 6 -1 8 4辛2甘 4 2 ? 9 5辛1甘 5 1 ? 10 8辛6甘 8 6 ? 11 3辛4甘 3 4 ? 12 4辛7甘 4 7 ? 13 4辛4甘 4 4 ? 特徴空間（feature space） 特徴空間 Aliceの評価履歴 10 12 6 5 11 13 4 7 1 2 8 3 9 26
27. ユーザプロファイル（user profile） ユーザのアイテムに対する嗜好を表したもの ➢ 近傍ベース方式においては、アイテムと同じ特徴空間における特徴ベクトル で表現 ユーザ u のユーザプロファイル 27
28. 直接指定によるユーザプロファイルの作成 対象ユーザ自身で好みの程度を直接指定することでユーザプロファイルを作成 Aliceさん、好みの辛さ、甘さを選んでください。 28
29. 平均によるユーザプロファイルの作成 対象ユーザがこれまでに好んできたアイテムの特徴ベクトルの平均をユーザプロ ファイルとする ユーザ u が「好き」と 評価したアイテム集合 1 2 3 29
30. ユーザプロファイルとの類似度に基づきアイテムを推薦 類似度に基づく推薦 コサイン類似度（cosine similarity） アイテムID アイテム名 辛さ 甘さ スコア 8 4辛2甘 4 2 0.997 9 5辛1甘 5 1 0.983 10 8辛6甘 8 6 0.966 11 3辛4甘 3 4 0.854 12 4辛7甘 4 7 0.783 13 4辛4甘 4 4 0.919 12 8 30
31. 10 12 6 5 11 13 4 7 1 2 8 3 9 k 近傍法（k-nearest neighbor algorithm） 対象アイテムに近傍する k 個の評価済みのアイテムの情報を基に対象アイ テムの評価値を予測 好き1 嫌い2 < 好き3 嫌い0 > ユークリッド距離 （Euclidean distance） 31
32. 内容ベース推薦システム 近傍ベース方式 （neighborhood-based method） モデルベース方式 （model-based method） ユーザが過去に好んだアイテムと類似するアイテムを推薦 32
33. モデルベース方式の基本 「いちごが含まれている クレープは好き」 「バナナが含まれている クレープは嫌い」 ユーザプロファイル 学習 アイテム ID アイテム名 トッピング 評価値 いちご ラズ ベリー バナナ チョコ ホイッ プ カス タード 1 いちごクレープ 1 0 0 0 1 0 +1 2 ラズベリークレープ 0 1 0 0 1 0 +1 3 ダブルベリークレープ 1 1 0 0 1 0 +1 4 いちごチョコクレープ 1 0 0 1 1 0 +1 5 いちごカスタード 1 0 0 0 0 1 +1 6 ラズベリーチョコカスタード 0 1 0 1 0 1 +1 7 バナナクレープ 0 0 1 0 1 0 -1 8 チョコバナナクレープ 0 0 1 1 1 0 -1 9 ラズベリーダブルクリーム 0 1 0 0 1 1 -1 10 バナナカスタード 0 0 1 0 0 1 -1 11 ダブルベリーチョコクレープ 1 1 0 1 1 0 ? 12 バナナダブルクリーム 0 0 1 0 1 1 ? 13 ラズベリーチョコバナナクレープ 0 1 1 1 1 0 ? 予測 33
34. 訓練データからアイテムに対する好き嫌いに関するルールを発見し、その ルールを使って、未知のアイテムの好き嫌いを予測 i Xi r1,i 1 {いちご, ホイップ} +1 2 {ラズベリー, ホイップ} +1 3 {いちご, ラズベリー, ホイップ} +1 4 {いちご, チョコ, ホイップ} +1 5 {いちご, カスタード} +1 6 {ラズベリー, チョコ, カスタード} +1 7 {バナナ, ホイップ} -1 8 {バナナ, チョコ, ホイップ} -1 9 {ラズベリー, ホイップ, カスタード} -1 10 {バナナ, カスタード} -1 ルールベース分類器（rule-based classifier） 学習モデル = ユーザプロファイル 学習 i Xi 11 {いちご, ラズベリー, チョコ, ホイップ} 12 {バナナ, ホイップ, カスタード} 13 {ラズベリー, バナナ, チョコ, ホイップ} 訓練データ 予測対象データ 予測 +1 -1 -1 34
35. i xi,1 xi,2 xi,3 xi,4 xi,5 xi,6 r1,i 1 1 0 0 0 1 0 +1 2 0 1 0 0 1 0 +1 3 1 1 0 0 1 0 +1 4 1 0 0 1 1 0 +1 5 1 0 0 0 0 1 +1 6 0 1 0 1 0 1 +1 7 0 0 1 0 1 0 -1 8 0 0 1 1 1 0 -1 9 0 1 0 0 1 1 -1 10 0 0 1 0 0 1 -1 予測対象データ 単純ベイズ分類器（naive Bayes classifier） i xi,1 xi,2 xi,3 xi,4 xi,5 xi,6 11 1 1 0 1 1 0 12 0 0 1 0 1 1 13 0 1 1 1 1 0 訓練データ 訓練データからアイテムに対する好き嫌いの確率を計算し、その確率を使 って、未知のアイテムの好き嫌いを予測 学習モデル = ユーザプロファイル 学習 +1 -1 -1 予測 35
36. i xi,1 xi,2 xi,3 xi,4 xi,5 xi,6 r1,i 1 1 0 0 0 1 0 +1 2 0 1 0 0 1 0 +1 3 1 1 0 0 1 0 +1 4 1 0 0 1 1 0 +1 5 1 0 0 0 0 1 +1 6 0 1 0 1 0 1 +1 7 0 0 1 0 1 0 -1 8 0 0 1 1 1 0 -1 9 0 1 0 0 1 1 -1 10 0 0 1 0 0 1 -1 決定木（decision tree） 訓練データ 訓練データから決定木を学習し、その決定木を使って、未知のアイテムの 好き嫌いを予測 学習モデル = ユーザプロファイル 学習 予測対象データ i xi,1 xi,2 xi,3 xi,4 xi,5 xi,6 11 1 1 0 1 1 0 12 0 0 1 0 1 1 13 0 1 1 1 1 0 +1 -1 -1 予測 36
37. 協調ベース推薦システム （collaborative-based recommender system） 37
38. 協調ベース推薦システム 近傍ベースCF （neighborhood-based collaborative filtering） モデルベースCF （model-based collaborative filtering） 協調フィルタリング（collaborative filtering; CF） 好みが似ている他者の嗜好を手がかりに、対象ユーザの好き嫌いを予測し、アイ テムを推薦 38
39. 行列補完問題（matrix completion problem） ? ? ? ? ? ? ? ? 不完全な評価値行列から欠損値に入るべき評価値を予測する問題 39
40. 協調ベース推薦システム 近傍ベースCF （neighborhood-based collaborative filtering） モデルベースCF （model-based collaborative filtering） 協調フィルタリング（collaborative filtering; CF） 好みが似ている他者の嗜好を手がかりに、対象ユーザの好き嫌いを予測し、アイ テムを推薦 40
41. ユーザベースCF （user-based collaborative filtering） 対象ユーザと嗜好が類似するユーザを選定し、そのユーザの評価値を基に 対象アイテムに対する評価値を予測 ? ? ? ? ? ? ? ? 対象ユーザ 類似ユーザ ①類似ユーザの選定 ②評価値の予測 41
42. アイテムベースCF （item-based collaborative filtering） 対象アイテムの類似アイテムを選定し、そのアイテムの評価値を基に対象 ユーザの対象アイテムに対する評価値を予測 ? ? ? ? ? ? ? ? 対象アイテム 類似アイテム ①類似アイテムの選定 ②評価値の予測 42
43. 推薦システムにおいて扱う全アイテム数、全ユーザ数に対して、評価付け されたアイテム数が少なすぎる問題 疎性問題（sparsity problem） 疎性（sparsity） 疎行列 （sparse matrix） 43
44. 協調ベース推薦システム 近傍ベースCF （neighborhood-based collaborative filtering） モデルベースCF （model-based collaborative filtering） 協調フィルタリング（collaborative filtering; CF） 好みが似ている他者の嗜好を手がかりに、対象ユーザの好き嫌いを予測し、アイ テムを推薦 44
45. 内容ベース推薦システム （モデルベース方式） 内容ベース推薦システムと モデルベースCFの学習と予測の違い ? ? ? ? ? ? ? ? 評価値行列 学習モデル 訓練データ 予測対象データ 学習 学習モデル 学習 予測 モデルベースCF 予測 45
46. 潜在因子モデル（latent factor model） ユーザ因子行列 評価値行列 R を、ユーザ因子行列 P とアイテム因子行列 Q の積としてモ デル化 アイテム因子行列 46
47. 行列因子分解（matrix factorization; MF） 評価値行列 R に近似するような二つの行列、ユーザ因子行列 P とアイテ ム因子行列 Q を見つける ユーザ因子（user factor） アイテム因子（item factor） 47
48. 知識ベース推薦システム （knowledge-based recommender system） 48
49. 内容ベース推薦、協調ベース推薦の課題 内容ベース推薦システム、協調ベース推薦システム 日常的なコンテンツ （映画、音楽、書籍など） ➢ 評価履歴や評価値行列が蓄積されやすい 非日常的なコンテンツ （自動車、不動産、旅行、宿泊施設など） ➢ 評価履歴や評価値行列がほとんど蓄積されない ➢ 十分な評価履歴や評価値行列が蓄積されていることが前提 コールドスタート問題 49
50. コールドスタート問題（cold-start problem） カルビ ハラミ ロース タン イチボ Alice +1 -1 ? ? ? Bruno +1 -1 ? +1 ? Chiara +1 -1 -1 +1 ? Dhruv ? -1 -1 -1 ? Emi +1 ? -1 -1 ? Faye -1 -1 +1 -1 ? Gilles -1 +1 -1 ? ? Howard ? ? ? ? ? 評価値が与えられていない新規ユーザや新規アイテムに対して適切な推薦 が生成できないような問題 ユーザ-焼肉評価値行列 新規ユーザ問題（new user problem） 新規アイテム問題（new item problem） 50
51. 知識ベース推薦システム 制約ベース推薦システム （constraint-based recommender system） 事例ベース推薦システム （case-based recommender system） ユーザ自身が要求を推薦システムに明示的に入力し、適宜要求を修正しな がら、最終的に満足のいくアイテムを見つける 51
52. 知識ベース推薦システム 制約ベース推薦システム （constraint-based recommender system） 事例ベース推薦システム （case-based recommender system） ユーザ自身が要求を推薦システムに明示的に入力し、適宜要求を修正しな がら、最終的に満足のいくアイテムを見つける 52
53. 制約ベース推薦システム ユーザ要求を制約という形で表し、その制約を満たすアイテムをアイテム データベースから検索するシステム 要求の 緩和・追加 選択クエリ アイテムDB 53
54. 知識ベース推薦システム 制約ベース推薦システム （constraint-based recommender system） 事例ベース推薦システム （case-based recommender system） ユーザ自身が要求を推薦システムに明示的に入力し、適宜要求を修正しな がら、最終的に満足のいくアイテムを見つける 54
55. 事例ベース推薦システム 「このアイテムと類似したアイテムがほしい」というように、ユーザ要求 を事例となるアイテムとして提示し、その事例に類似するアイテムをアイ テムデータベースから見つけるシステム 選択 アイテムDB 類似検索 批評 55
56. ハイブリッド型推薦システム （hybrid recommender system） 56
57. ユーザベース vs. アイテムベースCF ユーザベースCF アイテムベースCF 正確性 セレンディピテ ィ 説明性 計算効率性 57
58. 近傍ベース vs. モデルベースCF 近傍ベースCF モデルベースCF 正確性 シンプルさ 説明性 計算効率性 モデル表現 58
59. 内容ベース vs. 協調ベース推薦システム 内容ベース 推薦システム 協調ベース 推薦システム 新規ユーザ 新規アイテム 特徴量の抽出 正確性 セレンディピテ ィ 説明性 59
60. 知識ベース 推薦システム 内容・協調ベース 推薦システム コールドスター ト 個人化 制御性 特徴量の抽出 知識獲得 知識ベース vs. 内容・協調ベース推薦システム 60
61. ハイブリッド型推薦システム 各推薦システムの長所を生かすように複数の推薦システムを組み合わせた 推薦システム アンサンブル型ハイブリッド （ensemble-based hybrid） 混合型ハイブリッド （mixed hybrid） モノリシック型ハイブリッド （monolithic hybrid） 61
62. ハイブリッド型推薦システム 各推薦システムの長所を生かすように複数の推薦システムを組み合わせた 推薦システム アンサンブル型ハイブリッド （ensemble-based hybrid） 混合型ハイブリッド （mixed hybrid） モノリシック型ハイブリッド （monolithic hybrid） 62
63. 並列型ハイブリッド（parallel hybrid） q 個の異なる推薦システムによる予測評価値を結合し、一つの予測評価値 として出力 推薦システム k による 予測評価値行列 最終的な 予測評価値行列 評価値行列 63
64. 直列型ハイブリッド（sequential hybrid） q 個の異なる推薦システムを直列に並べ、前の推薦システムによる予測評 価値を次の推薦システムへの入力とし、q 番目の推薦システムによる予測 評価値を最終的な予測評価値として出力 64
65. ハイブリッド型推薦システム 各推薦システムの長所を生かすように複数の推薦システムを組み合わせた 推薦システム アンサンブル型ハイブリッド （ensemble-based hybrid） 混合型ハイブリッド （mixed hybrid） モノリシック型ハイブリッド （monolithic hybrid） 65
66. 疎な評価値行列 R に対して、特徴間の相互関係を潜在ベクトルの内積と して学習 Factorization Machines; FM [Rendle2010] A B C D E カ ツ オ マ グ ロ 中 ト ロ タ イ ブ リ ハ マ チ サ バ ア ジ イ ワ シ 赤 身 白 身 光 物 評 価 値 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 4 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 3 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 1 … … … … 0 1 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 5 0 1 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 5 … … … … 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 1 2 ユーザ アイテム 特徴 [Rendle2010] S. Rendle: Factorization Machines, ICDM2010, pp.995–1000, 2010. 66
67. ハイブリッド型推薦システム 各推薦システムの長所を生かすように複数の推薦システムを組み合わせた 推薦システム アンサンブル型ハイブリッド （ensemble-based hybrid） 混合型ハイブリッド （mixed hybrid） モノリシック型ハイブリッド （monolithic hybrid） 67
68. 混合型ハイブリッド 個々の推薦システムにより推薦されたアイテムをインタフェース上に並べて提示 68
69. まとめ 69
70. 本講義（基礎編）で学ぶ主なトピック 内容ベース推薦 ❏ 類似度に基づく推薦 ❏ k 近傍法 ❏ モデルベース方式 協調ベース推薦 ❏ 協調フィルタリング ❏ 行列因子分解 知識ベース推薦 ❏ 制約ベース推薦 ❏ 事例ベース推薦 ハイブリッド型推薦 ❏ 並列型 ❏ 直列型 ❏ Factorizatin Machine ❏ 混合型 70
71. 協調フィルタリング 推薦システムの歴史 [Amatriain2025] 行列因子分解 1997 MovieLens v0 1990 2000 2010 2020 DLベース推薦 LLMベース推 薦 2006-2009 Netflix Prize 2017 Transformers 2026 2007 1st RecSys 71 本講義（基礎編）の対象 [Amatriain2025] X. Amatriain, Recommending in the Age of AI: How We Got Here and What Comes Next, RecSys2025 - Keynote.
72. 本講義（基礎編）で学ぶ主なトピック 内容ベース推薦 ❏ 類似度に基づく推薦 ❏ k 近傍法 ❏ モデルベース方式 協調ベース推薦 ❏ 協調フィルタリング ❏ 行列因子分解 知識ベース推薦 ❏ 制約ベース推薦 ❏ 事例ベース推薦 ハイブリッド型推薦 ❏ 並列型 ❏ 直列型 ❏ Factorizatin Machine ❏ 混合型 近似最近傍探索 DL、LLMによる特徴抽出 Neural CF LLMベース対話型推薦 Wide & Deep DL for YouTube DeepFM 72
73. さらなる学習に向けて 推薦システムの基礎 ❏ 奥健太，『基礎から学ぶ推薦システム ～情報技術で嗜好を予測する～』，コロナ社，2022． ❏ 廣瀬英雄，『推薦システム ―マトリクス分解の多彩なすがた―』，共立出版，2022． ❏ Charu C. Aggarwal, “Recommender Systems: The Textbook”, Springer, 2016. ❏ Joseph A. Konstan et al, Recommender Systems | Coursera, https://www.coursera.org/specializations/recommender-systems. 推薦システムの実装 ❏ 風間正弘，飯塚洸二郎，松村優也，『推薦システム実践入門 ―仕事で使える導入ガイド』，オライリー・ジャパン， 2022． ❏ 与謝秀作，『特集3 最新レコメンドエンジン総実装 協調フィルタリングから深層学習まで』，WEB+DB PRESS Vol.129，pp.69-100，技術評論社，2022． ❏ Kim Falk, “Practical Recommender Systems”, MANNING, 2019. 推薦システムの先端的トピック ❏ Ricci, F. et al., “Recommender Systems Handbook”, 3rd ed., Springer, 2022. ❏ Zhang, S. et al., Deep Learning Based Recommender System: A Survey and New Perspectives. ACM Computing Surveys. 52, 1, pp.1–38, 2019. ❏ Wang, Q. et al., Towards Next-Generation LLM-based Recommender Systems: A Survey and Beyond. arXiv, 2024. 73