SIGIR2020 Paper (Recommendation for New Users and New Items)

Transcript

1. Copyright © BizReach, Inc. All Rights Reserved. Recommendation for New Users and New Items via Randomized Training and Mixture-of-Experts Transformation (SIGIR2020) 紹介 中江 俊博 (株式会社ビズリーチ) 2020/10/31 @ SIGIR 東京支部 IR-Reading秋
2. Copyright © BizReach, Inc. All Rights Reserved. 自己紹介 ▪ 中江 俊博（なかえ としひろ） • 株式会社ビズリーチ CTO室 AIグループ ▪ 経歴 • NTTデータ数理システム – データ分析コンサルタント • トリプル・ダブリュー・ジャパン – 排尿予測モデル実装 • ビズリーチ (現職) – 推薦モデルなどのデータサイエンス 関連の業務を担当 2
3. Copyright © BizReach, Inc. All Rights Reserved. 対象論文/概要 ▪ 論文 • Ziwei Zhu, Shahin Sefati, James Caverlee • Recommendation for New Users and New Items via Randomized Training and Mixture-of-Experts Transformation (SIGIR2020) ▪ 結論の概要 • User/Item 両方の Cold-Start の状況に対応したレコメンドの提案 • 推薦モデル Heater を提案 ▪ 3つの工夫 • 学習済みの中間 representation との誤差項を Loss に入れる • 属性モデル出力を学習済み representation とランダムに入れ替える。 • モデルを多数組み合わせて、アンサンブルをとる。 3
4. Copyright © BizReach, Inc. All Rights Reserved. 問題意識 ▪ 過去履歴のある User/Item (warm) については、 Collaborative Filtering (CF) によりレコメンドできる。 • CFモデルにより計算された representation の 内積などを計算することによりスコアリング可能。 ▪ 過去履歴が全くない User/Item (cold) については、 CFモデルが使えない • ただし User/Item それぞれの属性情報を使うことで、 過去履歴を補うモデルを作ることができる。 • 属性情報から representation を予測すれば解決。 ▪ Warm User/Item の過去履歴と属性情報の両方をうまく 使うことで、Cold User/Item に対しても精度の高いレコメンド となるようなモデルを構築したい！ 4
5. Copyright © BizReach, Inc. All Rights Reserved. Cold-Start 典型構成 (1) 分離学習型 ▪ CFモデルを学習した後、学習したrepresentationを 属性情報から予測するモデルを学習 ▪ 欠点 • 2つのモデルの誤差の和が最終的な誤差になってしまい、 誤差が積みあがってしまう。 5 user representation item representation inner product user 属性変数 item 属性変数
6. Copyright © BizReach, Inc. All Rights Reserved. Cold-Start 典型構成 (2) 一体型 ▪ 属性情報をrepresentationに変換してinner productを 計算するようなモデルを一度に学習する。 ▪ 欠点 • モデルが大きくなり学習が非効率 – と、論文では指摘しているがこのような実装は非常に多い ... 6 user 属性変数 item 属性変数 user representation item representation inner product
7. Copyright © BizReach, Inc. All Rights Reserved. Heaterの工夫 (1) : 中間表現の誤差項 ▪ モデルを2段構えにする。 • 属性情報から中間 representation を生成 • 中間representation から最終 representation を生成 ▪ 中間representationが、事前にCFモデルによって計算した representation の値に近くなるように損失を設定 7 user 属性情報 item 属性情報 user final representation item final representation inner product user representation (CF model) item representation (CF model) 計算済み representation と 中間 representation の誤差
8. Copyright © BizReach, Inc. All Rights Reserved. Heaterの工夫 (2) : ランダム入れ替え ▪ 中間representationの代わりに、一定の確率 p で 学習済みrepresentationを使う。 ▪ 属性情報の質が低い場合に、pを大きな値にして モデルの学習を効率的にすることができる。 8 user 属性情報 item 属性情報 user final representation item final representation inner product user representation (CF model) ランダムにどちらかを選択 ランダムにどちらかを選択 item representation (CF model)
9. Copyright © BizReach, Inc. All Rights Reserved. Heaterの工夫 (3) : Mixture-of-Experts ▪ 属性情報から中間representationを出力する部分を 複数の変換関数でアンサンブルする。 • 異なるuser/itemに対して、異なる変換を許容する。 9 user 属性情報 Gate 重み付き和 ... ※ 実際には ψ は、論文では行列の掛け算を使っている。
10. Copyright © BizReach, Inc. All Rights Reserved. RQ1 : ベースラインとの比較 10 ＊論文 Table 2 から再構成 ・LinMap : CFモデルで学習後、属性から線形変換する予測モデルを学習 ・NLinMap : CFモデルで学習後、属性から(MLPで)非線形変換する 予測モデルを学習 ・DropoutNet : CFモデルの学習結果と属性を入力し、CF結果をDropout （提案法）Heater (ランダム入れ替えの p=0.5 で固定) Item Cold User Cold User Cold Item Cold User Item Cold いずれの問題設定でも 改善した、と説明している ・User Cold ・Item Cold ・User Item Cold
11. Copyright © BizReach, Inc. All Rights Reserved. RQ2 : Ablation Study ・w/o SC : Similality Constraint (学習済みrepresentationとの誤差項) ・w/o MoET : Mixture-of-Experts Transformation ・w/o RT : Randomized Control (ランダム入れ替え) 11 ＊論文 Table3 から再構成 Item Cold User Cold User Cold Item Cold User Item Cold 3つの対策いずれも重要。 ただしデータセットにより 改善幅は異なるとの説明
12. Copyright © BizReach, Inc. All Rights Reserved. RQ3 : パラメータ変更による精度の傾向 ランダム入れ替え確率 p (=学習済みrepresentationを使う確率) を変えた場合の nDCG の算出結果 12 データセットに応じた p を利用することで、精度向上することができる。 （属性情報の品質が低い場合に p を大きくすることで、品質の低さを 補うことができると説明されている） ＊論文 Figure7 より抜粋
13. Copyright © BizReach, Inc. All Rights Reserved. RQ4 : CFモデルの精度との関係 13 事前学習したCFのモデルの精度をそろえた状況で比較しても、 Heaterは他の手法と比較して精度が高い、と説明されている。 ＊論文 Figure8 より抜粋