推薦システムにおけるPost Processの取り組み

Transcript

1. © 2025 Wantedly, Inc. 推薦システム におけるPost Processの取り組み Recommendation Industry Talks #7 Jul.16 2025 - nogawanogawa
2. © 2025 Wantedly, Inc. 自己紹介 - 角川拓也 - X: @nogawanogawa - 所属 - ウォンテッドリー株式会社 データサイエンティスト - ex. - ITコンサル @コンサル会社 - システムエンジニア @金融系SIer
3. © 2025 Wantedly, Inc. 本日の発表の概要はテックブログでも公開しています ご興味ある方はこちらもご参照ください。 今回はもう少し詳しい話まで紹介しようと思います。
4. © 2025 Wantedly, Inc. Wantedlyのスカウト推薦について 01
5. © 2023 Wantedly, Inc. 究極の適材適所により、 シゴトでココロオドルひとをふやす © 2025 Wantedly, Inc. 私たちのミッション
6. © 2025 Wantedly, Inc. • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に 会社に遊びに行こう ミッションや価値観への共感でマッチング • 会社の Why と What が伝えられる場所 • 人と会社を「想い」でマッチング ｢話を聞きに行く」体験 会社訪問アプリ「Wantedly Visit」
7. © 2025 Wantedly, Inc. Wantedly Visitのプラットフォーム構造 ユーザー 企業 経営層 人事 社員 会社員・副業 フリーランス 学生 Wantedly Visit カジュアルにお話しませんか？ 話を聞いてみたいです 是非お話しましょう！ お話聞かせてください！ 参考: Wantedly におけるマッチング体験を最大化させるための推薦システム
8. © 2025 Wantedly, Inc. Wantedlyの推薦システムの役割 Wantedly Visit ユーザーにとって興味があり、そのユーザーと マッチングしやすい募集をおすすめ 企業が興味があり、その企業とマッチング しやすいユーザーをおすすめ 参考: Wantedly におけるマッチング体験を最大化させるための推薦システム 互いの嗜好を考慮して マッチングしやすいように表示 ユーザー 会社員・副業 フリーランス 学生 企業 経営層 人事 社員
9. © 2025 Wantedly, Inc. Wantedly のスカウト検索画面は採用担当者向けにパーソナライズ 企業向けスカウト検索画面 採用担当者A 採用担当者B フィルタ条件を指定 しながら候補者を 探す
10. © 2025 Wantedly, Inc. 背景 02 スカウト推薦において「見たことがないユーザー」を多く表示したい
11. © 2025 Wantedly, Inc. 現状では日次でランキングを再計算している user A user B user C user D user E user G user F ランキング user A user H user E user F user I user C user B ランキング Day 1 Day 2 採用担当者 採用担当者 その日のログデータ をもとにランキング再 計算
12. © 2025 Wantedly, Inc. 平均的な採用担当者には閲覧数の 40％以上閲覧済みユーザーが表示されていた 57% 未閲覧 閲覧済み 未閲覧 未閲覧 閲覧済み 未閲覧 未閲覧 閲覧済み 未閲覧 閲覧済み イメージ
13. © 2025 Wantedly, Inc. 「見たけどコンバージョンしない」に関する考察 user A user B user C user D user E user G user F ランキング 閲覧したがスカウト（CV）しなかった理由 (予想) - 自社の採用要件に合ってなかった - 自分はソーシング担当でスカウトは別の人が送る - スカウトを送るか悩ましかったので他の人に相談中 - etc… どのケースであれ、同じユーザーをランキング上位に表示し続 けても採用担当者によるスカウト送信にはつながらないので は？ 採用担当者
14. © 2025 Wantedly, Inc. 見たことがないユーザーを多く表示したい user A user B user C user D user E user G user F ランキング user H user I user J user K user L user N user M ランキング Day 1 Day 2 採用担当者 採用担当者 スカウト対象を 探索しやすい
15. © 2025 Wantedly, Inc. 推薦のどこで考慮するか 03 Wantedly VisitにおけるPost Process
16. © 2025 Wantedly, Inc. Wantedlyでの推薦の配信方法 BigQuery 推薦配信用 マイクロサービス 採用担当者 に表示 BigQuery ランキング作成ジョブ 「見たことがないユーザー」の表示量について コントロールする必要がある
17. © 2025 Wantedly, Inc. recommendationのアーキテクチャ ranking candidate generation users post process user A user B user C user D user E user G user F 数百万 user 数千〜数万 user ランキング を作成
18. © 2025 Wantedly, Inc. 「見たことがないユーザー」をPost Processで考慮する ranking candidate generation users post process user A user B user C user D user E user G user F 数百万 user 数千〜数万 user ランキング を作成 見たことがあるユーザーを除 外するのは少々強引 コントロールが難しい & 後続のPost Processで更 に並べ替えが発生 最終的に意図通りに 並べ替えるのが比較的容易
19. © 2025 Wantedly, Inc. どう考慮するか 04 見たことないユーザーを多く表示する Post Process
20. © 2025 Wantedly, Inc. ランキング中の見たことがないユーザーの表示割合を調整する rankingフェーズ後の ランキング 閲覧済み 未閲覧 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 閲覧済み 閲覧済み 未閲覧 閲覧済み 過去n日間にランキング に表示された 過去n日間にランキング で表示していない 未閲覧 Post Process後の ランキング
21. © 2025 Wantedly, Inc. 「見たことがないユーザー」をPost Processで考慮する ranking candidate generation users post process user A user B user C user D user E user G user F 数百万 user 数千〜数万 user ランキング を作成
22. © 2025 Wantedly, Inc. 事前実験: 見たことがないユーザーの表示割合を上手くコントロールできなかった 見たことがないユーザーの 表示割合が想定より低下 BigQuery 推薦配信用 マイクロサービス 採用担当者 に表示 BigQuery ランキング作成ジョブ この段階では意図通り 見たことがないユーザーの割 合を調整できている
23. © 2025 Wantedly, Inc. スカウト検索画面におけるフィルタ機能 企業向けスカウト検索画面 採用担当者 その場でフィルタ条 件を指定 採用担当者が使用する フィルターによって 表示割合が想定より低下
24. © 2025 Wantedly, Inc. フィルター条件によっ て比率をコントロール できなくなる フィルターに よって除外 採用担当者のフィルタ条件により未閲覧ユーザーの表示割合をコントロールできなかった 未閲覧 未閲覧 未閲覧 未閲覧 閲覧済み フィルタ適用後 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 閲覧済み 未閲覧 Post Process後
25. © 2025 Wantedly, Inc. ランキング作成ジョブではなくオンラインで動作するマイクロサービス内で実装 マイクロサービスの中で 動的にPost Processを 適用する BigQuery 推薦配信用 マイクロサービス 採用担当者 に表示 BigQuery ランキング作成ジョブ
26. © 2025 Wantedly, Inc. 最終的な設計 スカウトの ランキング 閲覧済み 未閲覧 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 最終的に表示さ れるランキング 閲覧済み 閲覧済み 未閲覧 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 ①フィルター適用後 閲覧済み・未閲覧で 分離 ②未閲覧のユーザー が一定割合で表示さ れるように混ぜ合せ
27. © 2025 Wantedly, Inc. 評価 05 オンラインテスト
28. © 2025 Wantedly, Inc. オンラインテスト設計 • オンラインテスト形式 ◦ インターリービング ▪ Treatment: 見たことがない ユーザーに関するPost Processあり ▪ Control: 従来どおり • 備考 ◦ 検索キーワード入力時は対象外
29. © 2025 Wantedly, Inc. 見たことがないユーザーの表示割合推移 • オンラインテストを通じてすでに見たユー ザーの表示割合が大きく低下 ◦ 見たことがないユーザーを多く表 示できている （意図通りに介入できている） ◦ 採用担当者のフィルタ使用時も閲 覧済みユーザーの表示割合も維 持
30. © 2025 Wantedly, Inc. その他主要KPIの変化率 増加率 主要KPI 1 +13.91% 🎉 主要KPI 2 +17.88% 🎉 主要KPI 3 +3.48% 🎉 • その他の主要KPIに関しても向上 ◦ 見たことがないユーザーの表示割合だけを調 整することにより、主要 KPIが向上 ※値の詳細は公開できないですが、 大きな介入効果になっていました
31. © 2025 Wantedly, Inc. 考察: 頻繁に利⽤する採⽤担当者に関するセグメントで⼀部指標が悪化傾向 指標の増加率 (全体) 指標の増加率 (頻繁に利用する採用担当者 ) 主要KPI 1 +13.91% 🎉 +11.03% ☁ 主要KPI 2 +17.88% 🎉 +11.07% ☁ 主要KPI 3 +3.48% 🎉 -0.04% ☁ 頻繁に利用する採用担当者ではランキングの 良さを表す指標の悪化傾向が見られる
32. © 2025 Wantedly, Inc. 頻繁に利用する採用担当者に起こっていたことの考察 スカウトの ランキング 閲覧済み 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 最終的に表示さ れるランキング 閲覧済み 閲覧済み 未閲覧 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 ①フィルター適用後 閲覧済み・未閲覧で 分離 ②未閲覧のユーザー が一定割合で表示さ れるように混ぜ合せ 閲覧済み 閲覧済み 頻繁に利用しているため、もとのランキング中の 閲覧済みユーザーの割合も高い
33. © 2025 Wantedly, Inc. 頻繁に利用する採用担当者に起こっていたことの考察 スカウトの ランキング 閲覧済み 閲覧済み 閲覧済み 未閲覧 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 閲覧済み 閲覧済み 👍👍👍👍 👍 👍👍👍 👍👍 採用担当者 全体 頻繁に利用する 採用担当者 直感的には頻繁に利用する採用担当者ほ ど介入効果は大きく、ポジティブな影響が 大きそうだがそうならなかった 🤔
34. © 2025 Wantedly, Inc. 頻繁に利用する採用担当者に起こっていたことの考察 スカウトの ランキング 閲覧済み 閲覧済み 閲覧済み 未閲覧 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 閲覧済み 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 未閲覧 ①フィルター適用後 閲覧済み・未閲覧で 分離 閲覧済み 閲覧済み 1. 見たことがないユーザーだけに 絞ったときのランキングに改善余地 - 未閲覧のユーザーに絞ったとき にも性能が高くなるように改善で きる可能性 2. 未閲覧/閲覧済みの混ぜ合わせに 関するパラメータの調整余地 - 未閲覧/閲覧済みを混ぜ合わせ る際のパラメータ（例：直近の表 示回数）の調整によって、最終的 なランキングの質が向上できる 可能性
35. © 2025 Wantedly, Inc. まとめ 06
36. © 2025 Wantedly, Inc. まとめ • 閲覧済みのユーザーのランキング上での表示割合が多かった ◦ 閲覧済みのユーザーをランキング上位に表示し続けてもスカウト送信 にはつながらないと予想 • スカウト一覧でまだ見たことがないユーザーがより多く表示 ◦ 「見たことがないユーザー」の出現割合を動的に調整 • オンラインテスト結果 ◦ 見たことがないユーザーの出現割合が増加 ◦ 同時に主要KPIも向上