How to Index Item IDs for Recommendation Foundation Models

Slide 1

Slide 1 text

© 2023 Wantedly, Inc. 論文紹介: How to Index Item IDs for Recommendation Foundation Models ウォンテッドリー社内勉強会~推薦論文読み会~ Nov. 22 2023 - @nogawanogawa Wenyue Hua, Shuyuan Xu, Yingqiang Ge, Yongfeng Zhang SIGIR-AP 2023 https://arxiv.org/abs/2305.06569

Slide 2

Slide 2 text

tl;dr; © 2023 Wantedly, Inc. ● 生成的推薦（Generative Recommendation）で有効そうな4種類のItem id作成手法を考案 1. Sequential Indexing 2. Collaborative Indexing 3. Semantic (Content-based) Indexing 4. Hybrid Indexing ● これら単体 (もしくはこれらの組み合わせ)を使用することで生成的推薦によって従来の推薦手法より高い性能が得られる

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

背景: 出力の柔軟性の弊害 © 2023 Wantedly, Inc. ● 生成的推薦では言語モデルがitem idを生成する ○ ランダムなitem idは推薦の質の低下やハルシネーションを誘発する恐れがある Output: location_1934 According to the places user_1 has visited: location_1123, location_4332, location_8463, location_12312, can you recommend another place for the user? idに情報が少ないと推論時に検討違いの出力を誘発する (最悪存在しないidを生成する)

Slide 6

Slide 6 text

背景: 出力の制限とLLMの柔軟性とのトレードオフ © 2023 Wantedly, Inc. ● とはいえ、idを機械的に制限するのはLLMを使うメリットを阻害する ○ モデルに特定の記述パターンを守らせることはモデルはレコメンデーション固有の知識に加えて、硬直したテキストパターンを記憶することを要求されるその細かい生成のルールを学習するくらいなら、もっとLLMが識別・表現しやすい idなら良いのでは？ idは〇〇桁 xxの状況のときはidは〜

Slide 7

Slide 7 text

目的とアプローチ © 2023 Wantedly, Inc. - 背景 - 生成的推薦でのid設計において、検討違いの出力のリスクとLLMの柔軟性がトレードオフの関係 - 目的 - 生成的推薦において効果的なidの作成方法の考案 - アプローチ - 4種類のitem_id作成手法によって生成的推薦を行う際に idに意味をもたせる 1. Sequential Indexing 2. Collaborative Indexing 3. Semantic (Content-based) Indexing 4. Hybrid Indexing

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Item idを作る際のポイント © 2023 Wantedly, Inc. - Itemを一意に識別できること - これが大前提 - 逆に、識別できれば数字の羅列である必要はない（原理的には任意の文字列で問題ない）その上で… - 適度な長さ - 長すぎず、短すぎず - テキスト生成が困難でないように、かつ表現力が高い - 同じ最大トークン数 - 特定のアイテムのidだけが長すぎたりするのはダメ - 類似アイテムの表現性 - 類似アイテムほど共通するトークンを多く持つようになっている

Slide 10

Slide 10 text

Item IDのよくある生成手法 © 2023 Wantedly, Inc. - RID (Random) - アイテムを識別できるようにランダムに IDを割り当てる →意図せずアイテムが似てしまったり、似なかったりしてしまう - TID (Title) - タイトルをIDとして利用する - タイトルの生成は一般に難しく、また一部の tokenは意味を持たない場合もある - “lord of the ring” / “lord of the war” → 字面は似ているがジャンルも内容も大きく異なる - IID (独立) - prefixなど（IID_1234）の記号をつけることで独立にする - 固有のIDは振れるが、それでもあんまり Randomと変わらない類似アイテムの表現性が乏しい 🤔

Slide 11

Slide 11 text

Slide 12

Slide 12 text

提案手法②: Collaborative Indexing © 2023 Wantedly, Inc. - idに協調フィルタリングの情報を持たせるために、スペクトル行列分解の情報を idに持たせる - 共起度をエッジに持つグラフ構造を作り、 scikit-learnのスペクトルクラスタリングによってクラスタリング（左図） - 再帰的にクラスタリングを行い、クラスタの IDのつなぎ合わせをアイテムの idとする（右図）

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

性能評価 © 2023 Wantedly, Inc. - 実験方法 - P5 + Index (提案手法)の性能を他の手法と比較して評価 - 実験タスク - Sequential recommendation - Dataset - Amazon Sports - Amazon Beauty - Yelp - 比較対象 - Caser - HGN - GRU4Rec - BERT4Rec - FSDA - SASRec - S3-Rec

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

まとめ © 2023 Wantedly, Inc. ● 背景 ○ 生成的推薦でのID設計において、検討違いの出力のリスクとLLMの柔軟性がトレードオフの関係 ● 目的 ○ 生成的推薦において効果的なidの作成方法の考案 ● アプローチ ○ 4種類のitem_id作成手法によって生成的推薦を行う際に idに意味をもたせる 1. Sequential Indexing 2. Collaborative Indexing 3. Semantic (Content-based) Indexing 4. Hybrid Indexing ● 評価 ○ 提案手法で作ったIDを使用することでSequential Recommendation系の先行研究よりHR・NDCGが向上

Slide 21

Slide 21 text