Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights AMEY POROBO DHARWADKER – ENGINEERING MANAGER, MACHINE LEARNING AT META 1 メタ（フェイスブック）の機械学習エンジニアリン グ・マネージャー。世界中の何⼗億ものユーザーが使 ⽤するパーソナライゼーション・モデルを開発するビ デオ・レコメンデーション・ランキング・チームを担 当。 Facebookでは、ニュースフィード、広告、動画ラン キングの組織に関する仕事を通じて、同社のユーザー エンゲージメントと収益の⼤幅な向上に貢献。レコメ ンダーシステムと機械学習の分野で国際的な出版物や 特許をいくつか発表しており、トップクラスのMLカン ファレンスやジャーナルのプログラム委員や査読者を 務めている。 また、ハッカソン、エンジェルシンジケート、スター トアップアクセラレーターへの参加を通じて、学⽣、 エンジニア、データサイエンティスト、アーリーステ ージ企業の指導にも携わっている。ソートリーダーと して、AIやMLに関する専⾨的な⾒識を提供するイベン トに招かれ講演を⾏うほか、著名な技術コンテストの 審査員も務める。 発表内容 〜⼤規模⾔語モデルによる次世代レコメンド システムの構築︓その 戦略と洞察〜 • レコメンドシステム（RecSys）の紹介 • RecSysにおけるLLM • RecSysにおけるLLMのモデリング・パラダ イム • LLMのRecSysへの適応 • 業界での挑戦 • 将来の⽅向性

2 Recommender System (RecSys)の紹介 レコメンドシステム（RecSys）は⼀般的に、以下の特徴を持ちま す︓ 1. ユーザー情報を活⽤: RecSysは、ユーザーに関する情報（コメ ントや視聴時間など）を収集し、その情報を基にパーソナライ ズされたレコメンデーションを作成します。 2. ユーザー・インタラクションの記録: RecSysはユーザーがお勧 めされたアイテムとのインタラクションを記録します。これに より、ユーザーの嗜好や反応を学習し、将来のレコメンデーシ ョンの向上に寄与します。 3. ユーザー満⾜度の特定と最適化: RecSysはユーザーの満⾜度を 評価し、そのフィードバックを元にシステムを最適化します。 ユーザーが提供した評価やフィードバックを利⽤して、より精 緻なお勧めを提供することが⽬指されています。 このように、RecSysはユーザー体験の向上やサービスの最適 化を通じて、個々のニーズに合わせた有益なアイテムを推薦す ることを⽬的としています。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

3 Recommender System (RecSys)の紹介 現在のRecSysにはいくつかの重要な挑戦が存在します。以下に、 それらの主な課題を整理しました。 1. 暗黙のフィードバックと嗜好の把握: l 認識された情報だけでなく、ユーザーが気に⼊らなかった場 合の暗黙のフィードバックを取得することが課題です。 l ユーザーの短期および⻑期の傾向を理解し、これを基に正確 で持続可能な嗜好モデルを構築する必要があります。 2. ⼤規模で多様なコンテンツカタログの管理: l 特にMetaのカタログのような巨⼤かつ多様なデータセットの 中で、情報を効果的に管理する必要があります。 l 数⼗億ものアイテムがあり、毎⽉⼤量の情報が追加される場 合、データ処理と更新の効率が重要です。 3. 新しいアイテムやユーザーのコールドスタート問題: l 新規登録のユーザーやシステムが⼗分な情報を持たない状況 において、適切なレコメンデーションを提供することが難し い問題があります。 l カスタージャーニーなどの⼿法を活⽤して、ユーザーの特徴 や好みを推測し、適切な対応を⾏う必要があります。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

4 Recommender System (RecSys)の紹介 4. 周囲や環境の情報を考慮したパーソナライズ: l ユーザーの周囲や環境に関する情報を取り⼊れ、これらの要素を 考慮したより⾼度で精密なパーソナライズを実現することが求め られます。 5. ⼈気コンテンツとニッチコンテンツのバランス: l レコメンデーションシステムは、⼀般的な⼈気コンテンツだけで なく、ニッチなコンテンツもバランスよく提供する必要がありま す。 l ユーザーの多様な嗜好や興味を考慮して、個別の利⽤者に最適な バラエティ豊かな推薦を⾏うことが重要です。 6. 解釈性の向上: l レコメンデーションがなされた理由をユーザーに理解しやすく伝 えるために、モデルの解釈性を⾼めることが重要です。透明性や 説明可能性を向上させる⼿法が求められます。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

5 RecSysにおけるLLM LLMは、さまざまな重要な役割を果たします。以下に、その主な 機能と役割を要約します。 1. 知識の暗記: l Language Modelは膨⼤な知識を暗記する能⼒があります。 ⼤量のデータを学習し、⽂脈に基づいて⾔語の構造や意味を 理解します。 2. 知識の理解: l Language Modelは構造化された情報を活⽤して、タスクの ⽬的を理解します。⽂脈や関連性を考慮しながら、⼊⼒デー タを理解し、それに対する適切な応答を⽣成します。 3. 知識の応⽤（マルチホップ推論）: l マルチホップ推論を⽤いて、記憶された知識と理解した内容 から複雑な情報や関係を結合し、タスクに対する適切な応答 を⽣成します。 4. 限られた情報での強⼒な学習機能: l ゼロショットおよび数ショット学習において、他の情報から 蓄積された知識を利⽤して、⼀般的なスパース性の問題を克 服し、新しいタスクに対応します。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

6 RecSysにおけるLLM 5. 察知機能: l Language Modelは与えられた情報から察知し、意図を理解し ます。例えば、地名だけから何をしたいかを察知し、適切な情 報を提供します。 l 直接的な質問と意図が違うものは多数ある。 例︓「渋⾕にいったことある︖」→「渋⾕の楽しいところ教え て」の意味の場合もある 6. ユーザーの意図の包括的理解とパーソナライゼーションの向上: l ユーザーの発⾔やクエリから意図を包括的かつ正確に理解し、 ⾼品質な表現を構築します。これにより、パーソナライゼーシ ョンを向上させ、ユーザーに適切な情報やサービスを提供しま す。従来のアプローチよりも抽象的で解釈しにくいIDベースの 情報を処理できます。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

7 RecSysにおけるLLMのモデリング・パラダイム LLMをRecSysに統合するための3つの異なるモデリング・パラ ダイムが現在提案されています。以下に、それぞれのステージ について簡潔にまとめます。 1. LLM Embeddings + RecSys: l アプローチ: LLMを使⽤して、特徴量からユーザーとアイ テムの埋め込みを⼀般化します。 l 結果の利⽤: ⽣成されたエンベディング（単語や⽂章等を ベクトル表現に変換したもの）は、残りの下流業務で特徴 量として使⽤されます。つまり、LLMがユーザーとアイテ ムの特徴表現を⽣成し、これがレコメンデーションのため の⼊⼒として他のモデルやシステムに供給されます。 2. LLM Tokens + RecSys: 1.アプローチ: LLMからユーザーの特徴と嗜好を捉えたセマ ンティック・トークン（特定のコンテキストに関連した 値）を⽣成します。 2.結果の利⽤: ⽣成されたセマンティック・トークンは、 RecSysスタックに統合されます。これは、レコメンデーシ ョンのための⼊⼒として使⽤され、ユーザーの好みやコン テキストをより意味的な形で表現します。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

8 RecSysにおけるLLMのモデリング・パラダイム 3. LLM as RecSys: l アプローチ: LLMを直接レコメンデーションシステム として使⽤します。他のランキングモデルは使⽤しな い。 l ⼊出⼒: プロファイルの説明、プロンプト、タスク指 ⽰などが⼊⼒として与えられ、LLMが直接レコメンデ ーションの結果を出⼒します。つまり、LLM⾃体がレ コメンデーションタスクを遂⾏します。 これらのアプローチは、LLMが⾔語理解とユーザー・ア イテムの特徴表現⽣成に優れているため、RecSysにお いてより効果的なモデリングを提供することを⽬指し ています。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

9 RecSysにおけるLLMのモデリング・パラダイム RecSysにおけるLLMのモデリング・パラダイムとして、「LLMカテゴライ ゼーション」が提案されています。以下にその要点をまとめます。 • 識別系LLM: アプローチ: BERTスタイルモデルのエンコーダ部分のみを使⽤するモデル。 利⽤⽬的: 下流モデルのための埋め込みバックボーンとして主に利⽤されま す。 微調整: ドメイン固有のデータに合わせるために、BERT学習済みモデルの 表現を微調整します。 このアプローチでは、BERTスタイルモデルのエンコーダを取り出し、特定 のレコメンデーションシステムのために適した埋め込みバックボーンとし て利⽤します。微調整により、既存の⾔語モデルが特定のドメインやタス クに適応するようになります。これにより、⾔語モデルがユーザーやアイ テムに関する表現を抽出し、その情報をレコメンデーションの下流モデル に供給します。 このアプローチは、識別系LLMを利⽤することで、⾔語モデルの強⼒な特 徴抽出能⼒をRecSysに統合し、タスク固有の要件に適応させることを可能 にします。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

10 以下は、LLMのチューニングの代表的な⽅法の紹介です。 • ファインチューニング: • アプローチ: 事前に学習されたLLMのパラメータを、特定の下 流のレコメンドタスクに特化したデータでチューニングします。 • プロセス: ある程度の事前学習が⾏われたLLMモデルを、ター ゲットタスクに関連するデータセットで追加のトレーニングを ⾏います。これにより、モデルは特定のタスクに適応し、より 精密な予測が可能になります。 • プロンプトチューニング: • アプローチ: 事前に訓練されたパラメータを持たない場合、下 流タスクの⽬的損失と事前獲得損失を整合させることでモデル をチューニングします。 • プロセス: 未学習のLLMを、ターゲットタスクにおける⽬的損 失関数を最⼩化するようにトレーニングします。これにより、 モデルはタスク特有のパターンや特徴を獲得し、特定のタスク に対して有効な表現を学習します。 これらのチューニング⼿法は、⾔語モデルを特定のレコメンデーショ ンタスクに適応させるために使⽤されます。ファインチューニングは、 既に学習された知識を保持しながら特定のタスクに適応させるのに対 し、プロンプトチューニングは未学習のモデルを特定のタスクに適応 させるために⽤いられます。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

■ファインチューニング 事前に訓練されたモデルの⼀部または全体を、新しいデータセットで追加学習する⼿法。このプ ロセスにより、モデルは新しいタスクやデータセットの特性に合わせて調整され、パフォーマン スが向上する。 ■プロンプトエンジニアリング（チューニング） 事前学習済みモデルをそのまま使⽤しつつ⼊⼒となるデータ（プロンプト）を⼯夫することで、 特定のタスクに対するモデルの反応を最適化する⽅法。このアプローチではモデル⾃体の再学習 や調整は⾏わず、どのように⼊⼒を構成するか（例えば、質問の仕⽅や情報の提⽰⽅法）に焦点 を当てる。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

12 RecSysにおけるLLMのモデリング・パラダイム LLMカテゴライゼーション 「⽣成LLM」として有名なモデルには、GPT（Generative Pre- trained Transformer）があります。これは、⾃然⾔語⽣成タス クにおいて⾮常に優れた性能を発揮するモデルです。 • システム全体が、⾃然⾔語モデルタスクとして定式化された RecSys（レコメンデーションシステム）として機能していま す。⽣成LLMをRecSysに組み込む際の利⽤範囲として以下の 点が挙げられます︓ • プロンプトチューニング: • アプローチ: 既存のモデルに特定のプロンプトを与え、ター ゲットタスクに適応させることで、レコメンデーションに関 する知識をチューニングします。 • 利⽤⽬的: 特定のレコメンデーションタスクにおいてモデル が有⽤であるように微調整します。 • インストラクションチューニング: • アプローチ: レコメンデーション⽣成の際に特定の指⽰や制 約を与え、それに基づいて⽣成される結果を調整します。 • 利⽤⽬的: ユーザーの要求や制約に基づいて、より適切でカ スタマイズされたレコメンデーションを⽣成します。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

13 RecSysにおけるLLMのモデリング・パラダイム LLMカテゴライゼーション • ⽂脈内学習（レコメンデーション⽣成のための⽂脈内学 習）: • アプローチ: レコメンデーション⽣成のための⽂脈内学習 を⾏い、特定の⽂脈において最適なレコメンデーションを ⽣成するように学習します。 • 利⽤⽬的: 特定の⽂脈や状況に応じて、より適切で意味の あるレコメンデーションを⽣成します。 ⽣成LLMをRecSysに導⼊することで、柔軟性とカスタマイズ 性が向上し、ユーザーに対してよりパーソナライズされたレコ メンデーションを提供することが期待されます。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

14 業界の挑戦 RecSys分野において、LLMの活⽤には以下のような課題が存在しています。 1. トレーニングの効率性向上︓ 現在の課題として、 LLMのサイズ増加、データ量の増⼤、お よびモデルの⾼い更新頻度が挙げられます。これに対処するためには、パラメータの効率 的な微調整が必要であり、LLMの更新頻度を緩和する⼀⽅で、RecSysスタックの更新頻度 を向上させる必要があります。 2. 待ち時間の短縮化 ︓RecSysのレイテンシは数ミリ秒ですが、LLMのトレーニングには⻑い 待ち時間がかかります。この課題に対処するためには、LLMにキャッシュを密に埋め込み、 ディスティレーション化（より⼩さなモデルへの転送）や量⼦化、フィーチャーエンジニ アリングのみでのLLM活⽤などが検討されます。 3. ⻑⽂テキスト対応 ︓RecSysでは⻑⽂テキストの⼊⼒処理が⼀般的ですが、LLMは学習デー タの分布とメモリ制限により、⼤きなテキスト⼊⼒では効果が制約されることがあります。 この課題に対処するためには、より効果的なメモリ管理や分散処理、⻑⽂テキストに特化 したモデルの開発などが必要です。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

15 業界の挑戦 4. IDインデクシング問題︓LLMでは多くのIDが使われているが、相互作⽤があるシーケンス（IDの 特徴）を⾔語化するのは難しい。その対応として2つのケースがあります。 Case 1: 意味を持たないIDを放棄し、⾔語情報のみを使⽤する。 Case 2: IDへの埋め込み⼿法と意味情報を導⼊する。 5. 評価の問題︓LLMは、不適切な形式で回答したり、回答を拒否したりすることがあります。その対 応として、⾃⼰回帰トレーニングモードの採⽤が考えられます。ただし、これではリスト別ランキ ングで好成績を残せない課題が残ります。オープンクエスチョン→公開質問の形式を採⽤し、LLM の⽣成的推薦能⼒を評価することも検討されます。 6. 偏⾒性と公平性の問題︓ l ポジションバイアス︓⾏動順序をうまく捉えることができない l ⼈気バイアス︓事前に訓練されたデータコーパスによる l 公平性の問題︓トレーニングデータにおける敏感な属性による影響 これらの問題に対処するためには、バイアスを減少させるためのデータの多様性の向上、公平性を 確保するためのアルゴリズムの調整、透明性の確保と説明可能性の向上などが必要です。継続的な モデル評価と改善が重要です。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights

16 今後の確⽴したい⽅向性 1. Hallucination Mitigation（幻覚緩和）への取組: LLMの訓練と推論において補⾜知識としての事 実知識グラフを活⽤し、モデルが誤った情報や不正確な予測を最⼩限に抑える⼿法やプロセスを導⼊ することで、Hallucination Mitigationへの取り組みを強化します。 2. Safe and Robust（安全で堅牢）への対策: 細かな⼊⼒変更に対して脆弱性が低くなるようなモデ ルの開発を重視し、安全性と堅牢性に焦点を当てます。この課題はオープンな領域であり、今後の対 応の中でも最⼤のものの⼀つです。 3. United Benchmark（統⼀ベンチマーク）の確⽴: 現在は異なるLLMモデルベースのアプローチを ⽐較するための標準的な評価基準が不⾜しています。様々なLLMベースのRecSysアプローチを堅実 な評価基準と費⽤対効果の⽐較を可能にするために、統⼀ベンチマークの確⽴に投資が必要です。 4. Vertical domain specific LLM's: 特定の業界に特化したLLMの開発に注⼒し、より⾼度な専⾨知 識、実⽤性、パーソナライズが提供できるようにします。これにより、特定の垂直市場や産業におい てLLMの効果的な活⽤が可能になります。 Building Next-Gen Recommender Systems with Large Language Models: Strategies and Insights