[論⽂紹介] Personalized Transfer of User Preferences for Cross-domain Recommendation Yongchun Zhu, Zhenwei Tang, Yudan Liu, Fuzhen Zhuang, Ruobing Xie, Xu Zhang, Leyu Lin, Qing He WSDM 2022 論⽂紹介する⼈ 筑波⼤学加藤研究室 新⽥洸平 https://sites.google.com/view/kohei-shinden ※スライド中の図は論⽂より引⽤ 2022年5⽉21⽇ IR Reading 2022 春 セッション 1 No.1

どんな論⽂？ 2 • コールドスタート問題に有効なクロスドメイン推薦⼿法において ユーザことにパーソナライズしたブリッジ関数を⽤いる⼿法を提案 主な貢献 1. ユーザごとにパーソナライズした ブリッジ関数を学習する⼿法を提案 2. 推薦タスク指向の最適化を採⽤すること でメタネットワーク学習を安定化 3. コールドスタートだけでなくウォーム スタートにも有効であることを実証 既存⼿法 提案⼿法 全てのユーザに共通のブリッジ関数 ユーザごとにパーソナライズしたブリッジ関数

推薦システムで起こるコールドスタート問題 3 • 推薦システムにおいて新規のユーザやアイテムに対して 正確な予測を⾏うことは困難→コールドスタート問題 映画ドメインにおけるコンテンツベース推薦の例 ウォームスタート推薦 既存ユーザ 閲覧履歴 ユーザが興味を⽰した アイテムに似ている アイテムを推薦 推薦 コールドスタート推薦 新規ユーザ 閲覧履歴 新規ユーザの興味は わからないため興味を⽰す アイテムの予測は困難 使える情報が ない ？

• 推薦対象となるターゲットドメインに近いドメインの情報を 利⽤することで学習性能の向上や効率の改善を⾏う⼿法 コールドスタート問題に有効なクロスドメイン推薦 4 コールドスタート問題やデータスパース問題に対して有効な解決策 新規ユーザ 映画の閲覧履歴 近いドメインの情報を 利⽤することで補う 本の購買履歴 推薦 本のドメインでは既存ユーザであり アイテムとのインタラクションがある

• ソースドメインからターゲットドメインへユーザの興味を 伝達するために転移学習を⽤いたブリッジ関数を適⽤ 既存のクロスドメイン推薦における主な⼿法 5 ユーザA （本のドメインでは既存） ユーザA （映画のドメインでは新規） ソースドメイン ターゲットドメイン ユーザの興味を 別ドメインへ転移する … … ソースドメインでのユーザ特徴 ソースドメインの特徴を変換した ターゲットドメインでのユーザ特徴 特徴量空間へ 埋め込む ターゲットドメインでの 特徴量の初期値として利⽤ ブリッジ関数 𝒇(#) 同じユーザ

ソースドメイン ターゲットドメイン • ブリッジ関数が単⼀でありユーザごとに異なるソースドメインと ターゲットドメイン間の複雑な興味の関係性を正確に捉えられない 既存のクロスドメイン推薦における課題 6 ユーザA … ユーザAの特徴量 ユーザB … ユーザBの特徴量 ユーザC … ユーザCの特徴量 … ユーザA ユーザAの変換特徴量 … ユーザB ユーザBの変換特徴量 … ユーザC ユーザCの変換特徴量 ブリッジ関数 𝒇(#) 全てのユーザは単⼀の ブリッジ関数を利⽤ ドメイン間の複雑な 興味の関係を捉えられず 性能低下につながる

• ドメイン間で異なるユーザごとの興味の関係性を捉えるために ユーザごとにパーソナライズしたブリッジ関数を実現 ⽬的と提案⼿法の概要 7 ソースドメイン ターゲットドメイン ユーザA … ユーザAの特徴量 ユーザB … ユーザBの特徴量 ユーザC … ユーザCの特徴量 … ユーザA ユーザAの変換特徴量 … ユーザB ユーザBの変換特徴量 … ユーザC ユーザCの変換特徴量 ブリッジ関数 𝒇𝐀 (#) ブリッジ関数 𝒇𝐁 (#) ブリッジ関数 𝒇𝐂 (#)

• ブリッジ関数をユーザごとにパーソナライズするために ソースドメインからの特徴量エンコーダとメタ学習を採⽤ 提案⼿法の全体構成 8 ソースドメイン ターゲットドメイン パーソナライズされた ブリッジ関数 ソースドメインの ユーザ埋め込み ソ " ス ド メ イ ン に お い て ユ " ザ が 消 費 し た ア イ テ ム 特 徴 量 ユーザごとの 伝達特徴量 Attention ベースの 特徴量エンコーダ 変換した ユーザ特徴量 アイテム 特徴量 内積 メタネットワーク

• ブリッジ関数をユーザごとにパーソナライズするために ソーズドメインからの特徴量エンコーダとメタ学習を採⽤ 提案⼿法の全体構成 9 提案⼿法のコア部分

• 推薦タスク指向のメタ学習によってドメイン間で ユーザの興味を伝達するブリッジ関数をパーソナライズ 推薦タスク指向のメタ学習 10 推薦タスク指向損失 min !,# 1 |ℛ$ % | ' &!"∈ℛ# $ (𝑟)* − 𝑓+! 𝑢) ,; 𝑤+! 𝑣* )- 誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新 • ℛ% & : ターゲット・ソースに共通するユーザの ターゲットにおけるユーザ・アイテム評価値⾏列 • 𝑟'( : ユーザ・アイテム評価値 • 𝑢' ): ソースユーザ, 𝑣( : アイテム

• RQ1. コールドスタート設定でどの程度の性能を発揮するか？ →SOTA を⼤幅に上回りコールドスタート問題に有効 • RQ2. より実⽤的なシナリオでどのように機能するか？ →既存のモデルにも適⽤できてウォームスタートでも性能を発揮 • RQ3. なぜ提案⼿法は性能向上するのか？ →パーソナライズしたブリッジ関数や Attention ベースの特徴量 エンコーダが⼤きく貢献していることが分析からわかった リサーチクエスチョン 11

• Amazon レビューデータセットを⽤いた推薦タスクによる評価実験 実験設定 12 タスク１ 映画 ⾳楽 タスク２ 本 映画 タスク３ 本 ⾳楽 ソ " ス タ " ゲ & ト • 0~5 のアイテムに対する評価値が含まれている • 評価指標は MAE, RMSE による予測誤差の⼤きさ で評価→値が⼩さければより性能が良い Overlap はソース・ ターゲットドメインに 共通のユーザ クロスドメイン推薦タスク

• 提案⼿法はクロスドメイン推薦における SOTA を⼤幅に上回り コールドスタート問題に有効であることがわかった 実験結果: RQ1.コールドスタート設定でどの程度の性能を発揮するか？ 13 ターゲットドメイン のみの⼿法は最も 性能が悪いことが わかる 提案⼿法は全ての既存クロスドメイン推薦より誤差が⼩さい βはテスト ユーザの割合

• 提案⼿法は⾏列因⼦分解やニューラルモデルなどに適⽤でき ⼀般化しても⼗分な性能を発揮することがわかった 実験結果: RQ2.より実⽤的なシナリオでどのように機能するか？ 1/2 14 緑⾊が提案⼿法であり全ての⼿法よりも予測誤差が⼩さいことがわかる • (Non-NN) MF Based: ⾏列因⼦分解への適応 • (NN) GMF Based:ブリッジ関数でユーザ埋め込みを直接変換 • (NN) YouTube DNN Based: Two tower model と呼ばれる⽅式 ※ NN = Neural Network

• ウォームスタートな状況でもより良い性能を⽰すことがわかった ‒ 既存⼿法は極端なコールドスタート設定下での実験結果のみ⽰していた 実験結果: RQ2.より実⽤的なシナリオでどのように機能するか？ 2/2 15 薄い⾊がコールドスタート、濃い⾊がウォームスタート βはテストユーザの割合 ⾚⾊が提案⼿法であり全ての⼿法よりも予測誤差が⼩さいことがわかる

• ターゲットドメインに変換した埋め込みを可視化することで 提案⼿法がより正解に近い表現を学習していることがわかった 実験結果: RQ3.なぜ提案⼿法は性能向上するのか？ 16 Scikit-learn の t-SNE でタスク３における SOTA⼿法, 提案⼿法 の ターゲットドメインのユーザ埋め込みを β = 0.2 で可視化 既存の SOTA 提案⼿法 • ⻘い点： Train, Test 両⽅のユーザを⽤いて学習した ターゲットモデルから取り出した埋め込み（正解データ） • オレンジの点：変換後の埋め込み 変換後の埋め込みが 集中してしまっている 変換後の埋め込みが 正解によく適合

まとめ 17 • コールドスタート問題に有効なクロスドメイン推薦⼿法において ユーザことに異なるブリッジ関数を⼿法を提案 既存⼿法 提案⼿法 全てのユーザに共通のブリッジ関数 ユーザごとに異なるブリッジ関数 • RQ1. コールドスタート設定でどの程度の 性能を発揮するか？ →SOTA を⼤幅に上回りコールドスタート 問題に有効 • RQ2. より実⽤的なシナリオでどのように 機能するか？ →既存のモデルにも適⽤できてウォームス タートでも性能を発揮 • RQ3. なぜ提案⼿法は性能向上するのか？ →パーソナライズしたブリッジ関数や Attention ベースの特徴量エンコーダが⼤ きく貢献していることが分析からわかった

Appendix 18

• 𝜽 はソースドメインからユーザの興味を伝達特徴量として 埋め込むための Attention ネットワークのパラメータ 推薦タスク指向のメタ学習: θ 19 誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新 伝達特徴量 𝒑*! = ) +" #∈-$! 𝑎( 𝑣( ) Attention スコア 𝑎( = exp(𝑎′( ) ∑ +% #∈-$! exp(𝑎′. ) 推薦タスク指向損失 min !,# 1 |ℛ$ % | ' &!"∈ℛ# $ (𝑟)* − 𝑓+! 𝑢) ,; 𝑤+! 𝑣* )- 伝達特徴量 Attention Network 𝑎′( = ℎ(𝑣( ; 𝜃) 𝒗 はアイテム特徴 𝑺 はソースドメイン

• 𝝓 はブリッジ関数をパーソナライズするためのパラメータ 推薦タスク指向のメタ学習: φ 20 誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新 推薦タスク指向損失 min !,# 1 |ℛ$ % | ' &!"∈ℛ# $ (𝑟)* − 𝑓+! 𝑢) ,; 𝑤+! 𝑣* )- 伝達特徴量 ブリッジ関数のパラメータ 𝑤+! = 𝑔(𝑝+! ; 𝜙) 変換したユーザ特徴量 5 𝑢) % = 𝑓+! 𝑢) ,; 𝑤+! メタネットワークによる パラメータ⽣成 パーソナライズされた ブリッジ関数

• ケーススタディより Attention ベースの特徴量エンコーダは アイテムごとに異なる貢献度をよく捉えられている 実験結果: RQ3.なぜ提案⼿法は性能向上するのか？ 21 左の例におけるクロスドメイン推薦の⽬標 CD を購⼊したことがない ユーザに対してユーザの映画の インタラクションを使って CD を推薦 ⾊の濃さは Attentionにおける 注⽬度の⾼さ • Attention によってソースドメインの 異なるアイテムの重要度を適切に モデル化できていることが性能向上の 要因と考えられる SF ドラマ コメディ ハードロック