DEIM2022 補助行動データと明示的な選好データを活用した求人推薦手法

DEIM2022 第14回データ工学と情報マネジメントに関するフォーラム（第20回日本データベース学会年次大会）での発表資料です．

Transcript

1. DEIM2022 C24-5 補助行動データと明示的な選好データを 活用した求人推薦手法 京都大学 斎藤 陽介，杉山 一成
2. DEIM2022 C24-5 研究背景 - オンライン転職サービスにおける，求職者（ユーザ）に対する求人の推薦 - 転職サービスのオンライン化が進み，オンライン上の求人数は膨大に - ユーザが従来の検索機能を用いて求人を探すのは時間がかかる → 求人推薦が重要になってきている - ユーザが将来的に応募するであろう求人を推薦したい 2
3. DEIM2022 C24-5 求人推薦の特徴 - 求人推薦では一般に次の2種類のデータを利用できる 3 東京都 Webエンジニア IT業界 1. 補助行動を含むユーザと求人の インタラクションデータ 応募（ターゲット行動）以外の 閲覧やお気に入り登録など（補助行動）の インタラクションデータ 2. ユーザが明示的に設定する 選好データ 職種や勤務地などの求人に対する希望条件
4. DEIM2022 C24-5 仮説 - 両方のデータを同時に活用した求人推薦の手法はこれまで研究されていなかった - 他の推薦分野に比べ，求人推薦はターゲット行動（応募）のインタラクションデータ を得にくい - 求人への応募は比較的考慮を要する行動だから - 補助行動データと明示的選好データの両方を活用することで，応募データの不足を補 い推薦精度を向上させることができるのでは？ 4
5. DEIM2022 C24-5 提案手法の概要 5 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
6. DEIM2022 C24-5 提案手法の概要 6 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
7. DEIM2022 C24-5 提案手法の概要 7 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
8. DEIM2022 C24-5 提案手法の概要 8 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
9. DEIM2022 C24-5 関連研究との差異 9 関連分野＼利用データ ユーザ アイテム インタラクション ターゲット 補助 求人推薦 [1] ◦ ◦ ◦ × 補助行動データを用いた推薦 [2, 3] × × ◦ ◦ グラフ表現に基づいた推薦 [4, 5] × ◦ ◦ × 提案手法 ◦ ◦ ◦ ◦ 提案手法は利用するデータの種類が関連研究と異なる [1] Dave et al. A Combined Representation Learning Approach for Better Job and Skill Recommendation. CIKM 2018. [2] Gao et al. Learning to Recommend with Multiple Cascading Behaviors. TKDE 2021. [3] Chen et al. Graph Heterogeneous Multi-Relational Recommendation. AAAI 2021. [4] Wang et al.Neural graph collaborative filtering. SIGIR 2019. [5] He et al. Translation-based Recommendation. RecSys 2017.
10. DEIM2022 C24-5 提案手法 10
11. DEIM2022 C24-5 問題の定式化 - 入力：2種類のデータ - ユーザの求人に対するインタラクションデータ - ユーザの明示的な選好データ - 出力：ユーザの求人に対する応募可能性を計算するモデル 11 インタラクションデータ 明示的選好データ モデル f 提案手法 利用例
12. DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and Explicit Preferences (JME) - 3つのモジュールから成り，マルチタスク学習 [6]で損失を最小化する 12 [6] Rich Caruana. Multitask learning. Machine Learning 1997.
13. DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and Explicit Preferences (JME) - 3つのモジュールから成り，マルチタスク学習 [6]で損失を最小化する 13 (1) Multi Behavior Learningモジュール [6] Rich Caruana. Multitask learning. Machine Learning 1997.
14. DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and Explicit Preferences (JME) - 3つのモジュールから成り，マルチタスク学習 [6]で損失を最小化する 14 (2) Explicit Preference Learningモジュール [6] Rich Caruana. Multitask learning. Machine Learning 1997.
15. DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and Explicit Preferences (JME) - 3つのモジュールから成り，マルチタスク学習 [6]で損失を最小化する 15 (3) 統合レイヤ [6] Rich Caruana. Multitask learning. Machine Learning 1997.
16. DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and Explicit Preferences (JME) - 3つのモジュールから成り，マルチタスク学習 [6]で損失を最小化する 16 損失関数 [6] Rich Caruana. Multitask learning. Machine Learning 1997.
17. DEIM2022 C24-5 (1) Multi Behavior Learningモジュール - インタラクションデータから，知識グラフの埋め込み手法であるTransE [7]を用いて ユーザと求人の潜在表現を学習 - 行動タイプ別にリレーションを割り当てるのではなく，行動タイプの組み合わせに対 しリレーションを割り当て 17 日本 (エンティティ) 東京 belongsTo (リレーション) 知識グラフの例 潜在空間 view, apply view, favorite view, favorite, apply view TransE 変換 [7] Bordes et al. Translating Embeddings for Modeling Multi-relational Data. NIPS 2013.
18. DEIM2022 C24-5 (2) Explicit Preference Learningモジュール - ユーザの明示的な選好データから，TransEを用いてユーザと求人の潜在表現を学習 18 潜在空間 TransE
19. DEIM2022 C24-5 (3) 統合レイヤ - (1)と(2)から得られる潜在表現を統合 - ユーザと適合求人の距離が小さくなるように学習 - 行動組み合わせ別の選好の強さをネガティブサンプルとのマージンに反映 - 推論時は統合レイヤ上の潜在空間における距離を応募可能性の値として用いる 19 (1)の潜在空間 統合レイヤ上の 潜在空間 統合 強い選好の場合 例：view, favorite, apply 弱い選好の場合 例：viewのみ ユーザと求人との距離 = 応募可能性の値 (2)の潜在空間
20. DEIM2022 C24-5 評価実験 20
21. DEIM2022 C24-5 データセット - 国内で実際に運営されているオンライン転職サービス(注1)から得られたデータを用いて 評価実験を実施 - 収集期間：2020年1月1日〜2021年7月31日 - 前処理 - 1件も応募のないユーザと求人を削除 - 総インタラクション数が5件未満のユーザと求人を削除 21 ユーザ 求人 インタラクション 閲覧 お気に入り 応募 1,996 3,444 24,542 5,918 4,112 エンティティ リレーション トリプル ユーザ 求人 その他 1,996 3,444 546 10 45,529 インタラクションデータの統計情報 明示的選好データの統計情報 (注1): https://glit.io
22. DEIM2022 C24-5 評価方法 - 時系列を考慮してデータセットを学習用・バリデーション用・テスト用に分割 - 適合データ1件と未観測データ99件を合わせた100件のランキングで評価 - 評価指標：MRR, nDCG@{5, 10, 20} - ベースライン：関連分野から最新の手法を採用 - 一般的な推薦手法 - 補助行動データを用いた推薦手法 - グラフ表現に基づいた推薦手法 - 補助行動データを用いない推薦では，学習データの多寡による不公平をなくすため 補助行動データもターゲット行動データとみなして使用 22
23. DEIM2022 C24-5 実験結果 23 カテゴリ 手法 MRR nDCG@5 nDCG@10 nDCG@20 一般的な推薦手法 MF-BPR [8] 0.2511 0.2475 0.2836 0.3090 補助行動データを 用いた推薦手法 KHGT [9] 0.1415 0.1229 0.1593 0.2014 MB-GMN [10] 0.2577 0.2502 0.2901 0.3333 GHCF [3] 0.3112 0.3305 0.3573 0.3706 グラフ表現に 基づいた推薦手法 CKE [11] 0.2981 0.3041 0.3327 0.3571 KGIN [12] 0.4415 0.4607 0.5031 0.5344 提案手法 JME 0.5133** 0.5385** 0.5793** 0.6025** - すべての評価指標にお いて提案手法が最も高 い推薦精度を示した - 補助行動データとユー ザの明示的選好データ の両方を同時に活用し た効果と考えられる “**”は提案手法とKGIN(下線付き)の差がp < 0.01の水準で有意であることを示す [8] Rendle et al. BPR: Bayesian Personalized Ranking from Implicit Feedback. UAI 2009. [9] Xia et al. Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation. AAAI 2021. [10] Xia et al. Graph meta network for Multi-Behavior recommendation. SIGIR 2021. [11] Zhang et al. Collaborative Knowledge Base Embedding for Recommender Systems. KDD 2016. [12] Wang et al. Learning intents behind interactions with knowledge graph for recommendation. WWW 2021.
24. DEIM2022 C24-5 アブレーションテスト 24 カテゴリ パターン 説明 MRR nDCG@5 nDCG@10 nDCG@20 差(%) データ アブレーション w/o View 行動データから閲覧 データを除去 0.2699 0.2648 0.3077 0.3493 -46.79 w/o Favorite 行動データから お気に入りデータを除去 0.5107 0.5369 0.5768 0.6012 -0.36 w/o View, Favorite 応募データのみを使用 0.0803 0.0650 0.0772 0.0951 -85.79 モデル アブレーション w/o EPL Module Explicit Preference Learningモジュールを除去 0.3364 0.3414 0.3732 0.3992 -35.10 提案手法 Full Model すべてのデータ・ モジュールを使用 0.5133 0.5385 0.5793 0.6025 ±0.00 推薦精度に対する影響：閲覧データ ＞ EPLモジュール ＞ お気に入りデータ
25. DEIM2022 C24-5 議論 25
26. DEIM2022 C24-5 表現学習 - Multi Behavior Learningモジュールにおける行動の組み合わせベクトル - ユーザと適合求人の距離が小さくなるように学習するため，強い選好を表す行動 の組み合わせはノルムが小さくなるはず - 同じ行動タイプを持つ組み合わせベクトルは類似するはず 26 行動の組み合わせベクトルのノルム 行動の組み合わせベクトル間の コサイン類似度 - 最も強い選好を表すと 考えられるvfa(view, favorite, apply)のノルムが最小に - 同じ行動タイプを持つ 組み合わせベクトルが 類似している - 提案手法は潜在表現を 効率的に学習できている v: view, f: favorite, a: apply
27. DEIM2022 C24-5 詳細分析 - 推薦の成功例と失敗例 27 手法 順位 JME 1位 KGIN 63位 GHCF 60位 手法 順位 JME 44位 KGIN 53位 GHCF 56位 成功例：user 1845 (適合求人：job 3358) 失敗例：user 323 (適合求人：job 1178) 提案手法はユーザと適合求人が職種や勤務地など， 何らかの属性を共有している場合に特に効果的に推薦可能
28. DEIM2022 C24-5 まとめ - 求人推薦における補助行動データとユーザの明示的な選好データを同時に活用した推 薦手法を提案 - 知識グラフの埋め込み手法を用いて，それぞれのデータからユーザと求人の潜在表現 を獲得し，それらの潜在表現を統合し推薦に利用 - 実際の転職サービスから得られたデータセットを用いて評価実験を行った結果，提案 手法は最新の手法よりも高い推薦精度を達成することができた 28