[IR Reading 2022春 論文紹介] Personalized Transfer of User Preferences for Cross-domain Recommendation (WSDM 2022) /IR-Reading-2022-spring

Published on May 21, 2022
IR Reading 2022春（オンライン） 開催案内 - ACM SIGIR 東京支部: https://sigir.jp/post/2022-05-21-irreading_2022spring/

論文:
Zhu et al., Personalized Transfer of User Preferences for Cross-domain Recommendation, WSDM 2022, https://dl.acm.org/doi/10.1145/3488560.3498392, (arXiv: https://arxiv.org/abs/2110.11154)

Transcript

1. [論⽂紹介]
   Personalized Transfer of User Preferences
   for Cross-domain Recommendation
   Yongchun Zhu, Zhenwei Tang, Yudan Liu, Fuzhen Zhuang,
   Ruobing Xie, Xu Zhang, Leyu Lin, Qing He
   WSDM 2022
   論⽂紹介する⼈
   筑波⼤学加藤研究室
   新⽥洸平
   https://sites.google.com/view/kohei-shinden
   ※スライド中の図は論⽂より引⽤
   2022年5⽉21⽇
   IR Reading 2022 春
   セッション 1 No.1
   

   View Slide

2. どんな論⽂？ 2
   • コールドスタート問題に有効なクロスドメイン推薦⼿法において
   ユーザことにパーソナライズしたブリッジ関数を⽤いる⼿法を提案
   主な貢献
   1. ユーザごとにパーソナライズした
   ブリッジ関数を学習する⼿法を提案
   2. 推薦タスク指向の最適化を採⽤すること
   でメタネットワーク学習を安定化
   3. コールドスタートだけでなくウォーム
   スタートにも有効であることを実証
   既存⼿法
   提案⼿法
   全てのユーザに共通のブリッジ関数
   ユーザごとにパーソナライズしたブリッジ関数
   

   View Slide

3. 推薦システムで起こるコールドスタート問題 3
   • 推薦システムにおいて新規のユーザやアイテムに対して
   正確な予測を⾏うことは困難→コールドスタート問題
   映画ドメインにおけるコンテンツベース推薦の例
   ウォームスタート推薦
   既存ユーザ 閲覧履歴
   ユーザが興味を⽰した
   アイテムに似ている
   アイテムを推薦
   推薦
   コールドスタート推薦
   新規ユーザ 閲覧履歴
   新規ユーザの興味は
   わからないため興味を⽰す
   アイテムの予測は困難
   使える情報が
   ない
   ？
   

   View Slide

4. • 推薦対象となるターゲットドメインに近いドメインの情報を
   利⽤することで学習性能の向上や効率の改善を⾏う⼿法
   コールドスタート問題に有効なクロスドメイン推薦 4
   コールドスタート問題やデータスパース問題に対して有効な解決策
   新規ユーザ 映画の閲覧履歴
   近いドメインの情報を
   利⽤することで補う
   本の購買履歴
   推薦
   本のドメインでは既存ユーザであり
   アイテムとのインタラクションがある
   

   View Slide

5. • ソースドメインからターゲットドメインへユーザの興味を
   伝達するために転移学習を⽤いたブリッジ関数を適⽤
   既存のクロスドメイン推薦における主な⼿法 5
   ユーザA
   （本のドメインでは既存）
   ユーザA
   （映画のドメインでは新規）
   ソースドメイン ターゲットドメイン
   ユーザの興味を
   別ドメインへ転移する
   … …
   ソースドメインでのユーザ特徴 ソースドメインの特徴を変換した
   ターゲットドメインでのユーザ特徴
   特徴量空間へ
   埋め込む ターゲットドメインでの
   特徴量の初期値として利⽤
   ブリッジ関数 𝒇(#)
   同じユーザ
   

   View Slide

6. ソースドメイン ターゲットドメイン
   • ブリッジ関数が単⼀でありユーザごとに異なるソースドメインと
   ターゲットドメイン間の複雑な興味の関係性を正確に捉えられない
   既存のクロスドメイン推薦における課題 6
   ユーザA
   …
   ユーザAの特徴量
   ユーザB
   …
   ユーザBの特徴量
   ユーザC
   …
   ユーザCの特徴量
   …
   ユーザA
   ユーザAの変換特徴量
   …
   ユーザB
   ユーザBの変換特徴量
   …
   ユーザC
   ユーザCの変換特徴量
   ブリッジ関数 𝒇(#)
   全てのユーザは単⼀の
   ブリッジ関数を利⽤
   ドメイン間の複雑な
   興味の関係を捉えられず
   性能低下につながる
   

   View Slide

7. • ドメイン間で異なるユーザごとの興味の関係性を捉えるために
   ユーザごとにパーソナライズしたブリッジ関数を実現
   ⽬的と提案⼿法の概要 7
   ソースドメイン ターゲットドメイン
   ユーザA
   …
   ユーザAの特徴量
   ユーザB
   …
   ユーザBの特徴量
   ユーザC
   …
   ユーザCの特徴量
   …
   ユーザA
   ユーザAの変換特徴量
   …
   ユーザB
   ユーザBの変換特徴量
   …
   ユーザC
   ユーザCの変換特徴量
   ブリッジ関数 𝒇𝐀
   (#)
   ブリッジ関数 𝒇𝐁
   (#)
   ブリッジ関数 𝒇𝐂
   (#)
   

   View Slide

8. • ブリッジ関数をユーザごとにパーソナライズするために
   ソースドメインからの特徴量エンコーダとメタ学習を採⽤
   提案⼿法の全体構成 8
   ソースドメイン ターゲットドメイン
   パーソナライズされた
   ブリッジ関数
   ソースドメインの
   ユーザ埋め込み
   ソ
   "
   ス
   ド
   メ
   イ
   ン
   に
   お
   い
   て
   ユ
   "
   ザ
   が
   消
   費
   し
   た
   ア
   イ
   テ
   ム
   特
   徴
   量
   ユーザごとの
   伝達特徴量
   Attention ベースの
   特徴量エンコーダ
   変換した
   ユーザ特徴量
   アイテム
   特徴量
   内積
   メタネットワーク
   

   View Slide

9. • ブリッジ関数をユーザごとにパーソナライズするために
   ソーズドメインからの特徴量エンコーダとメタ学習を採⽤
   提案⼿法の全体構成 9
   提案⼿法のコア部分
   

   View Slide

10. • 推薦タスク指向のメタ学習によってドメイン間で
    ユーザの興味を伝達するブリッジ関数をパーソナライズ
    推薦タスク指向のメタ学習 10
    推薦タスク指向損失
    min
    !,#
    1
    |ℛ$
    % |
    '
    &!"∈ℛ#
    $
    (𝑟)*
    − 𝑓+!
    𝑢)
    ,; 𝑤+!
    𝑣*
    )-
    誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新
    • ℛ%
    & : ターゲット・ソースに共通するユーザの
    ターゲットにおけるユーザ・アイテム評価値⾏列
    • 𝑟'(
    : ユーザ・アイテム評価値
    • 𝑢'
    ): ソースユーザ, 𝑣(
    : アイテム
    

    View Slide

11. • RQ1. コールドスタート設定でどの程度の性能を発揮するか？
    →SOTA を⼤幅に上回りコールドスタート問題に有効
    • RQ2. より実⽤的なシナリオでどのように機能するか？
    →既存のモデルにも適⽤できてウォームスタートでも性能を発揮
    • RQ3. なぜ提案⼿法は性能向上するのか？
    →パーソナライズしたブリッジ関数や Attention ベースの特徴量
    エンコーダが⼤きく貢献していることが分析からわかった
    リサーチクエスチョン 11
    

    View Slide

12. • Amazon レビューデータセットを⽤いた推薦タスクによる評価実験
    実験設定 12
    タスク１
    映画 ⾳楽
    タスク２
    本 映画
    タスク３
    本 ⾳楽
    ソ
    "
    ス
    タ
    "
    ゲ
    &
    ト
    • 0~5 のアイテムに対する評価値が含まれている
    • 評価指標は MAE, RMSE による予測誤差の⼤きさ
    で評価→値が⼩さければより性能が良い
    Overlap はソース・
    ターゲットドメインに
    共通のユーザ
    クロスドメイン推薦タスク
    

    View Slide

13. • 提案⼿法はクロスドメイン推薦における SOTA を⼤幅に上回り
    コールドスタート問題に有効であることがわかった
    実験結果: RQ1.コールドスタート設定でどの程度の性能を発揮するか？ 13
    ターゲットドメイン
    のみの⼿法は最も
    性能が悪いことが
    わかる
    提案⼿法は全ての既存クロスドメイン推薦より誤差が⼩さい
    βはテスト
    ユーザの割合
    

    View Slide

14. • 提案⼿法は⾏列因⼦分解やニューラルモデルなどに適⽤でき
    ⼀般化しても⼗分な性能を発揮することがわかった
    実験結果: RQ2.より実⽤的なシナリオでどのように機能するか？ 1/2 14
    緑⾊が提案⼿法であり全ての⼿法よりも予測誤差が⼩さいことがわかる
    • (Non-NN) MF Based: ⾏列因⼦分解への適応
    • (NN) GMF Based:ブリッジ関数でユーザ埋め込みを直接変換
    • (NN) YouTube DNN Based: Two tower model と呼ばれる⽅式
    ※ NN =
    Neural Network
    

    View Slide

15. • ウォームスタートな状況でもより良い性能を⽰すことがわかった
    ‒ 既存⼿法は極端なコールドスタート設定下での実験結果のみ⽰していた
    実験結果: RQ2.より実⽤的なシナリオでどのように機能するか？ 2/2 15
    薄い⾊がコールドスタート、濃い⾊がウォームスタート
    βはテストユーザの割合
    ⾚⾊が提案⼿法であり全ての⼿法よりも予測誤差が⼩さいことがわかる
    

    View Slide

16. • ターゲットドメインに変換した埋め込みを可視化することで
    提案⼿法がより正解に近い表現を学習していることがわかった
    実験結果: RQ3.なぜ提案⼿法は性能向上するのか？ 16
    Scikit-learn の t-SNE でタスク３における SOTA⼿法, 提案⼿法 の
    ターゲットドメインのユーザ埋め込みを β = 0.2 で可視化
    既存の SOTA 提案⼿法
    • ⻘い点： Train, Test 両⽅のユーザを⽤いて学習した
    ターゲットモデルから取り出した埋め込み（正解データ）
    • オレンジの点：変換後の埋め込み
    変換後の埋め込みが
    集中してしまっている
    変換後の埋め込みが
    正解によく適合
    

    View Slide

17. まとめ 17
    • コールドスタート問題に有効なクロスドメイン推薦⼿法において
    ユーザことに異なるブリッジ関数を⼿法を提案
    既存⼿法
    提案⼿法
    全てのユーザに共通のブリッジ関数
    ユーザごとに異なるブリッジ関数
    • RQ1. コールドスタート設定でどの程度の
    性能を発揮するか？
    →SOTA を⼤幅に上回りコールドスタート
    問題に有効
    • RQ2. より実⽤的なシナリオでどのように
    機能するか？
    →既存のモデルにも適⽤できてウォームス
    タートでも性能を発揮
    • RQ3. なぜ提案⼿法は性能向上するのか？
    →パーソナライズしたブリッジ関数や
    Attention ベースの特徴量エンコーダが⼤
    きく貢献していることが分析からわかった
    

    View Slide

18. Appendix
    18
    

    View Slide

19. • 𝜽 はソースドメインからユーザの興味を伝達特徴量として
    埋め込むための Attention ネットワークのパラメータ
    推薦タスク指向のメタ学習: θ 19
    誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新
    伝達特徴量
    𝒑*!
    = )
    +"
    #∈-$!
    𝑎(
    𝑣(
    )
    Attention スコア
    𝑎(
    =
    exp(𝑎′(
    )
    ∑
    +%
    #∈-$!
    exp(𝑎′.
    )
    推薦タスク指向損失
    min
    !,#
    1
    |ℛ$
    % |
    '
    &!"∈ℛ#
    $
    (𝑟)*
    − 𝑓+!
    𝑢)
    ,; 𝑤+!
    𝑣*
    )-
    伝達特徴量
    Attention Network
    𝑎′(
    = ℎ(𝑣(
    ; 𝜃) 𝒗 はアイテム特徴
    𝑺 はソースドメイン
    

    View Slide

20. • 𝝓 はブリッジ関数をパーソナライズするためのパラメータ
    推薦タスク指向のメタ学習: φ 20
    誤差が最⼩化されるようにパラメータ 𝜽, 𝝓 を更新
    推薦タスク指向損失
    min
    !,#
    1
    |ℛ$
    % |
    '
    &!"∈ℛ#
    $
    (𝑟)*
    − 𝑓+!
    𝑢)
    ,; 𝑤+!
    𝑣*
    )-
    伝達特徴量
    ブリッジ関数のパラメータ
    𝑤+!
    = 𝑔(𝑝+!
    ; 𝜙)
    変換したユーザ特徴量
    5
    𝑢)
    % = 𝑓+!
    𝑢)
    ,; 𝑤+!
    メタネットワークによる
    パラメータ⽣成
    パーソナライズされた
    ブリッジ関数
    

    View Slide

21. • ケーススタディより Attention ベースの特徴量エンコーダは
    アイテムごとに異なる貢献度をよく捉えられている
    実験結果: RQ3.なぜ提案⼿法は性能向上するのか？ 21
    左の例におけるクロスドメイン推薦の⽬標
    CD を購⼊したことがない
    ユーザに対してユーザの映画の
    インタラクションを使って CD を推薦
    ⾊の濃さは
    Attentionにおける
    注⽬度の⾼さ • Attention によってソースドメインの
    異なるアイテムの重要度を適切に
    モデル化できていることが性能向上の
    要因と考えられる
    SF
    ドラマ
    コメディ
    ハードロック
    

    View Slide