相互推薦システムでのPseudo Label を活用したマッチ予測精度向上の取り組み

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2025 Wantedly, Inc. Agenda 1. 企業紹介 ○ 会社とプロダクトの紹介 ○ プロダクトにおけるデータサイエンスの活用事例 ○ アカデミアにおける活動 2. マッチングプラットフォームにおける推薦の難しさ ○ マッチングプラットフォームでの推薦の特徴 ○ 相互推薦システムとその難しさ 3. Pseudo Labelによるマッチング予測モデルの性能向上 ○ 提案手法 ○ オフラインテストの結果と考察

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2025 Wantedly, Inc. 正解ラベルがスパースユーザーが気になる興味がない興味がない会社が気になる ◯ マッチ成立 ☓ スカウト返信が来ない ☓ スカウト送信されない ☓ 何も起きないジョブマッチングサービス ECサービスアイテムが気になる興味がない ◯ 購入 ☓ 購入しないマッチングサービスでは、推薦の成功（マッチ)を表すラベルが非常にスパース → マッチを直接予測しようとすると難易度が高い

Slide 12

Slide 12 text

© 2025 Wantedly, Inc. 相互推薦モデルによるスパーシティの緩和相互推薦システムスカウト送信予測スカウト返信予測集約最終スコア ● メリット ○ 各コンポーネントのラベルはマッチよりは多い→スパーシティの課題が緩和 ○ 両サイドの嗜好を別々に学習しているため、嗜好のバランスを調整しやすい ● デメリット ○ 確率のスケールが異なる2つのモデルの予測値を集約していることにより、最終スコアの誤差が大きくなりやすい e.g. 単純積、調和平均

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2025 Wantedly, Inc. 実験手法 ● データ：Wantedly Visitでのスカウト推薦のデータを利用 (2023/11 ~ 2024/2) ○ コンテンツデータ：Wantedly Visit上でのユーザーのプロフィール ○ 行動データ：Wantedly Visit上でのユーザーの行動ログ ● 評価指標：NDCG@10 ● ベースライン： ○ 相互推薦モデル ○ 相互推薦モデルの部分モデル (スカウト送信予測モデル、返信予測モデル) ● 実験パターン： 1. すべての採用担当者に対して、同じ比率で予測値を混ぜ合わせて学習 2. 採用担当者の行動量セグメントごとに予測ラベルの比率を変えて学習

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2025 Wantedly, Inc. 結果 - セグメントごとに擬似ラベルの比率を変える採用担当者の行動量が多い順に High, Middle, Lowのセグメントを切り、手法の効果を比較 ● High セグメントで大きな性能向上が見られた ● Highセグメントではα=0.0が最適だが、Lowセグメントではα=0.75が最適 ● セグメントごとにαを変えることで、NDCG@10 が 0.1021 → 0.1050 に向上 1段構成のモデルがベースライン

Slide 20

Slide 20 text

© 2025 Wantedly, Inc. 考察行動量セグメントごとに、相互推薦モデルの予測値の質が大きく異なっていた可能性 ① High Segmentで提案手法による大きな精度改善が見られた行動量が少ない採用担当者 ● モデルの学習に使えるログが少ない ● 正解ラベルの数が少ない行動量が多い採用担当者 ● モデルの学習に使えるログが多い ● 正解ラベルの数が多い相互推薦モデルの予測値に有益な情報が少なかった相互推薦モデルの予測値に有益な情報が多かった