Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DEIM2022 補助行動データと明示的な選好データを活用した求人推薦手法
Search
Yosuke Saito
March 01, 2022
Research
0
120
DEIM2022 補助行動データと明示的な選好データを活用した求人推薦手法
DEIM2022 第14回データ工学と情報マネジメントに関するフォーラム(第20回日本データベース学会年次大会)での発表資料です.
Yosuke Saito
March 01, 2022
Tweet
Share
More Decks by Yosuke Saito
See All by Yosuke Saito
論文紹介: Learning Recommender Systems with Implicit Feedback via Soft Target Enhancement (SIGIR’21)
saitoxu
0
280
React Nativeで作る色々なジェスチャー
saitoxu
3
1.5k
Other Decks in Research
See All in Research
精度を無視しない推薦多様化の評価指標
kuri8ive
1
290
大規模言語モデルのバイアス
yukinobaba
PRO
4
760
打率7割を実現する、プロダクトディスカバリーの7つの極意(pmconf2024)
geshi0820
0
130
システムから変える 自分と世界を変えるシステムチェンジの方法論 / Systems Change Approaches
dmattsun
3
900
医療支援AI開発における臨床と情報学の連携を円滑に進めるために
moda0
0
120
機械学習による言語パフォーマンスの評価
langstat
6
800
さんかくのテスト.pdf
sankaku0724
0
520
marukotenant01/tenant-20240916
marketing2024
0
620
Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 2024)
kampersanda
2
250
湯村研究室の紹介2024 / yumulab2024
yumulab
0
350
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
780
非ガウス性と非線形性に基づく統計的因果探索
sshimizu2006
0
430
Featured
See All Featured
Statistics for Hackers
jakevdp
796
220k
How STYLIGHT went responsive
nonsquared
95
5.2k
Mobile First: as difficult as doing things right
swwweet
222
9k
Measuring & Analyzing Core Web Vitals
bluesmoon
4
170
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Embracing the Ebb and Flow
colly
84
4.5k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
127
18k
Docker and Python
trallard
41
3.1k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
2
290
The Cost Of JavaScript in 2023
addyosmani
45
7k
Transcript
DEIM2022 C24-5 補助行動データと明示的な選好データを 活用した求人推薦手法 京都大学 斎藤 陽介,杉山 一成
DEIM2022 C24-5 研究背景 - オンライン転職サービスにおける,求職者(ユーザ)に対する求人の推薦 - 転職サービスのオンライン化が進み,オンライン上の求人数は膨大に - ユーザが従来の検索機能を用いて求人を探すのは時間がかかる →
求人推薦が重要になってきている - ユーザが将来的に応募するであろう求人を推薦したい 2
DEIM2022 C24-5 求人推薦の特徴 - 求人推薦では一般に次の2種類のデータを利用できる 3 東京都 Webエンジニア IT業界 1.
補助行動を含むユーザと求人の インタラクションデータ 応募(ターゲット行動)以外の 閲覧やお気に入り登録など(補助行動)の インタラクションデータ 2. ユーザが明示的に設定する 選好データ 職種や勤務地などの求人に対する希望条件
DEIM2022 C24-5 仮説 - 両方のデータを同時に活用した求人推薦の手法はこれまで研究されていなかった - 他の推薦分野に比べ,求人推薦はターゲット行動(応募)のインタラクションデータ を得にくい - 求人への応募は比較的考慮を要する行動だから
- 補助行動データと明示的選好データの両方を活用することで,応募データの不足を補 い推薦精度を向上させることができるのでは? 4
DEIM2022 C24-5 提案手法の概要 5 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ
ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
DEIM2022 C24-5 提案手法の概要 6 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ
ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
DEIM2022 C24-5 提案手法の概要 7 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ
ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
DEIM2022 C24-5 提案手法の概要 8 モジュール 東京都 Webエンジニア IT業界 1. 複数行動のインタラショ
ンデータと明示的な選好 データの両方を活用 2. それぞれのデータからグラフ 表現学習の手法を用いてユーザ と求人の潜在表現を獲得 3. それらを統合した潜在 表現を獲得 モジュール モジュール 潜在空間
DEIM2022 C24-5 関連研究との差異 9 関連分野\利用データ ユーザ アイテム インタラクション ターゲット 補助
求人推薦 [1] ◦ ◦ ◦ × 補助行動データを用いた推薦 [2, 3] × × ◦ ◦ グラフ表現に基づいた推薦 [4, 5] × ◦ ◦ × 提案手法 ◦ ◦ ◦ ◦ 提案手法は利用するデータの種類が関連研究と異なる [1] Dave et al. A Combined Representation Learning Approach for Better Job and Skill Recommendation. CIKM 2018. [2] Gao et al. Learning to Recommend with Multiple Cascading Behaviors. TKDE 2021. [3] Chen et al. Graph Heterogeneous Multi-Relational Recommendation. AAAI 2021. [4] Wang et al.Neural graph collaborative filtering. SIGIR 2019. [5] He et al. Translation-based Recommendation. RecSys 2017.
DEIM2022 C24-5 提案手法 10
DEIM2022 C24-5 問題の定式化 - 入力:2種類のデータ - ユーザの求人に対するインタラクションデータ - ユーザの明示的な選好データ -
出力:ユーザの求人に対する応募可能性を計算するモデル 11 インタラクションデータ 明示的選好データ モデル f 提案手法 利用例
DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and
Explicit Preferences (JME) - 3つのモジュールから成り,マルチタスク学習 [6]で損失を最小化する 12 [6] Rich Caruana. Multitask learning. Machine Learning 1997.
DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and
Explicit Preferences (JME) - 3つのモジュールから成り,マルチタスク学習 [6]で損失を最小化する 13 (1) Multi Behavior Learningモジュール [6] Rich Caruana. Multitask learning. Machine Learning 1997.
DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and
Explicit Preferences (JME) - 3つのモジュールから成り,マルチタスク学習 [6]で損失を最小化する 14 (2) Explicit Preference Learningモジュール [6] Rich Caruana. Multitask learning. Machine Learning 1997.
DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and
Explicit Preferences (JME) - 3つのモジュールから成り,マルチタスク学習 [6]で損失を最小化する 15 (3) 統合レイヤ [6] Rich Caruana. Multitask learning. Machine Learning 1997.
DEIM2022 C24-5 概要 - Job Recommendation with Multi Behaviors and
Explicit Preferences (JME) - 3つのモジュールから成り,マルチタスク学習 [6]で損失を最小化する 16 損失関数 [6] Rich Caruana. Multitask learning. Machine Learning 1997.
DEIM2022 C24-5 (1) Multi Behavior Learningモジュール - インタラクションデータから,知識グラフの埋め込み手法であるTransE [7]を用いて ユーザと求人の潜在表現を学習
- 行動タイプ別にリレーションを割り当てるのではなく,行動タイプの組み合わせに対 しリレーションを割り当て 17 日本 (エンティティ) 東京 belongsTo (リレーション) 知識グラフの例 潜在空間 view, apply view, favorite view, favorite, apply view TransE 変換 [7] Bordes et al. Translating Embeddings for Modeling Multi-relational Data. NIPS 2013.
DEIM2022 C24-5 (2) Explicit Preference Learningモジュール - ユーザの明示的な選好データから,TransEを用いてユーザと求人の潜在表現を学習 18 潜在空間
TransE
DEIM2022 C24-5 (3) 統合レイヤ - (1)と(2)から得られる潜在表現を統合 - ユーザと適合求人の距離が小さくなるように学習 - 行動組み合わせ別の選好の強さをネガティブサンプルとのマージンに反映
- 推論時は統合レイヤ上の潜在空間における距離を応募可能性の値として用いる 19 (1)の潜在空間 統合レイヤ上の 潜在空間 統合 強い選好の場合 例:view, favorite, apply 弱い選好の場合 例:viewのみ ユーザと求人との距離 = 応募可能性の値 (2)の潜在空間
DEIM2022 C24-5 評価実験 20
DEIM2022 C24-5 データセット - 国内で実際に運営されているオンライン転職サービス(注1)から得られたデータを用いて 評価実験を実施 - 収集期間:2020年1月1日〜2021年7月31日 - 前処理
- 1件も応募のないユーザと求人を削除 - 総インタラクション数が5件未満のユーザと求人を削除 21 ユーザ 求人 インタラクション 閲覧 お気に入り 応募 1,996 3,444 24,542 5,918 4,112 エンティティ リレーション トリプル ユーザ 求人 その他 1,996 3,444 546 10 45,529 インタラクションデータの統計情報 明示的選好データの統計情報 (注1): https://glit.io
DEIM2022 C24-5 評価方法 - 時系列を考慮してデータセットを学習用・バリデーション用・テスト用に分割 - 適合データ1件と未観測データ99件を合わせた100件のランキングで評価 - 評価指標:MRR, nDCG@{5,
10, 20} - ベースライン:関連分野から最新の手法を採用 - 一般的な推薦手法 - 補助行動データを用いた推薦手法 - グラフ表現に基づいた推薦手法 - 補助行動データを用いない推薦では,学習データの多寡による不公平をなくすため 補助行動データもターゲット行動データとみなして使用 22
DEIM2022 C24-5 実験結果 23 カテゴリ 手法 MRR nDCG@5 nDCG@10 nDCG@20
一般的な推薦手法 MF-BPR [8] 0.2511 0.2475 0.2836 0.3090 補助行動データを 用いた推薦手法 KHGT [9] 0.1415 0.1229 0.1593 0.2014 MB-GMN [10] 0.2577 0.2502 0.2901 0.3333 GHCF [3] 0.3112 0.3305 0.3573 0.3706 グラフ表現に 基づいた推薦手法 CKE [11] 0.2981 0.3041 0.3327 0.3571 KGIN [12] 0.4415 0.4607 0.5031 0.5344 提案手法 JME 0.5133** 0.5385** 0.5793** 0.6025** - すべての評価指標にお いて提案手法が最も高 い推薦精度を示した - 補助行動データとユー ザの明示的選好データ の両方を同時に活用し た効果と考えられる “**”は提案手法とKGIN(下線付き)の差がp < 0.01の水準で有意であることを示す [8] Rendle et al. BPR: Bayesian Personalized Ranking from Implicit Feedback. UAI 2009. [9] Xia et al. Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation. AAAI 2021. [10] Xia et al. Graph meta network for Multi-Behavior recommendation. SIGIR 2021. [11] Zhang et al. Collaborative Knowledge Base Embedding for Recommender Systems. KDD 2016. [12] Wang et al. Learning intents behind interactions with knowledge graph for recommendation. WWW 2021.
DEIM2022 C24-5 アブレーションテスト 24 カテゴリ パターン 説明 MRR nDCG@5 nDCG@10
nDCG@20 差(%) データ アブレーション w/o View 行動データから閲覧 データを除去 0.2699 0.2648 0.3077 0.3493 -46.79 w/o Favorite 行動データから お気に入りデータを除去 0.5107 0.5369 0.5768 0.6012 -0.36 w/o View, Favorite 応募データのみを使用 0.0803 0.0650 0.0772 0.0951 -85.79 モデル アブレーション w/o EPL Module Explicit Preference Learningモジュールを除去 0.3364 0.3414 0.3732 0.3992 -35.10 提案手法 Full Model すべてのデータ・ モジュールを使用 0.5133 0.5385 0.5793 0.6025 ±0.00 推薦精度に対する影響:閲覧データ > EPLモジュール > お気に入りデータ
DEIM2022 C24-5 議論 25
DEIM2022 C24-5 表現学習 - Multi Behavior Learningモジュールにおける行動の組み合わせベクトル - ユーザと適合求人の距離が小さくなるように学習するため,強い選好を表す行動 の組み合わせはノルムが小さくなるはず
- 同じ行動タイプを持つ組み合わせベクトルは類似するはず 26 行動の組み合わせベクトルのノルム 行動の組み合わせベクトル間の コサイン類似度 - 最も強い選好を表すと 考えられるvfa(view, favorite, apply)のノルムが最小に - 同じ行動タイプを持つ 組み合わせベクトルが 類似している - 提案手法は潜在表現を 効率的に学習できている v: view, f: favorite, a: apply
DEIM2022 C24-5 詳細分析 - 推薦の成功例と失敗例 27 手法 順位 JME 1位
KGIN 63位 GHCF 60位 手法 順位 JME 44位 KGIN 53位 GHCF 56位 成功例:user 1845 (適合求人:job 3358) 失敗例:user 323 (適合求人:job 1178) 提案手法はユーザと適合求人が職種や勤務地など, 何らかの属性を共有している場合に特に効果的に推薦可能
DEIM2022 C24-5 まとめ - 求人推薦における補助行動データとユーザの明示的な選好データを同時に活用した推 薦手法を提案 - 知識グラフの埋め込み手法を用いて,それぞれのデータからユーザと求人の潜在表現 を獲得し,それらの潜在表現を統合し推薦に利用 -
実際の転職サービスから得られたデータセットを用いて評価実験を行った結果,提案 手法は最新の手法よりも高い推薦精度を達成することができた 28