推薦システム改善で事業 KPI を改善する：ウォンテッドリーにおけるユーザー離脱 抑制の取り組み

Transcript

1. © 2026 Wantedly, Inc. 推薦システム改善で事業 KPI を改善する： ウォンテッドリーにおけるユーザー離脱 抑制の取り組み Strategic Search & Recommendation Meetup #4 May.25 2026 - 右手達也（ウォンテッドリー株式会社）
2. © 2026 Wantedly, Inc. 右手 達也（うて たつや） 所属と役割 • ウォンテッドリー株式会社 Visit Recommendation Squad (2025/02 ~ ) • データサイエンティスト • 推薦システムの開発及び運用 自己紹介
3. © 2026 Wantedly, Inc. 01 Wantedlyの紹介 02 事業貢献戦略フレームワークを用いた事業貢献 03 まとめ CONTENTS
4. © 2026 Wantedly, Inc. Wantedlyの紹介 01
5. © 2026 Wantedly, Inc. ミッション ウォンテッドリーは、⾃律‧共感‧挑戦のある適材適所を、 ⼀時的でも、局所的でもなく、構造的に⽣み出し続けることによって、 あらゆる⼈がシゴトに没頭し成果を上げ、その結果成⻑を実感できるような 「はたらくすべての⼈のインフラ」を構築していきます。 究極の適材適所により シゴトでココロオドル ひとをふやす
6. © 2026 Wantedly, Inc. iOS, Android and Web 気軽に会社訪問 ミッションや価値観への共感でマッチング • 給与や福利厚生などの条件ではなく、 想いがあれば会社の規模にとらわれない まず「話を聞きに行く」という新しい体験 • 個人と企業がフラットな目線で出会えることで、 より魅力的な場所を見つけることが可能に Wantedly Visit
7. © 2026 Wantedly, Inc. Wantedly Visit のマッチングを支える 推薦システム マッチングの実現のため推薦システムを最も重要な技術領域の一つとして開 発に注力
8. © 2026 Wantedly, Inc. 事業貢献戦略フレームワークを 用いた事業貢献 02
9. © 2026 Wantedly, Inc. 取り組みの背景 • Wantedly の推薦システムでは、長らくマッチ数最大化を主な目的として最適 化してきた • だが「マッチ数最大化 = 事業 KPIの最大化」は本当に成り立つのか？ ◦ 例）事業 KPI ▪ アクティブユーザー数 ▪ 収益 ▪ … → 齋藤さんとの共同研究として、推薦の事業貢献を体系化する 事業貢献戦略フ レームワークを実務に適用 「マッチ数の最大化」が事業 KPIの最大化に貢献しているのか？という疑問から、 事業貢献に向けた推薦システムの改善に挑戦
10. © 2026 Wantedly, Inc. 事業貢献戦略フレームワーク 出典：Strategic Search & Recommendation Meetup #1 の齋藤さん資料 https://speakerdeck.com/usaito/jian-suo-rekomendokai-fa-niokeruzhan-lue-si-k ao-todmmtvniokerushi-li-shao-jie
11. © 2026 Wantedly, Inc. KGIと貢献目標を設定する 本取り組みにおけるKGIを定義 アクティブユーザー数 新規ユーザー数/ 復帰ユーザー数 継続ユーザー数 離脱ユーザー数 → 推薦での貢献は限定的 → 推薦でユーザー体験を変えることで、 　 離脱ユーザーが減り、継続ユーザーが増える = ユーザー離脱率を本取り組みの KGIに設定
12. © 2026 Wantedly, Inc. KGIを重要KPIに分解する ユーザー離脱率を新規ユーザーと継続ユーザーの離脱に分解 KGI: ユーザー離脱率 KPI①: 新規ユーザー離脱率 KPI②: 継続ユーザー離脱率
13. © 2026 Wantedly, Inc. ボトルネックを特定する 推薦システムによって n% 離脱率の改善ができたと仮定した時の 離脱抑制人数から、継続ユーザーがボトルネックになっていることを特定 現在の離脱率 n% 改善後離脱率 n% 改善後 離脱抑制人数 新規ユーザー aaa % bbb % ccc 継続ユーザー yyy % xxx % zzz ※ 今回の集計では、zzz >> ccc 集計のイメージ
14. © 2026 Wantedly, Inc. ユーザー離脱の先行指標の洗い出し 介入可能なユーザー離脱の先行指標を分析して、 過去スカウト受信数が少ないユーザーの離脱率が高い傾向を発見 ※離脱率は過去スカウト受信数0の値を1とした相対値
15. © 2026 Wantedly, Inc. ボトルネックの解消度を測るための評価基準を確立する ABテスト中にユーザー離脱率の傾向を早期に把握するため、 先行指標としてスカウト受信数が少ないユーザー数を設定 ターゲット指標 • ユーザー離脱率 先行指標 • スカウト受信数が少ないユーザー数 ◦ ボトルネックの解消度を早期に測る ◦ ターゲットが動く前に、介入が効いているかをオンラインテストで検出できる ガードレール • 既存の主要指標 ◦ これまで最適化してきた指標群 ◦ 離脱率抑制が他の指標を犠牲にしていないかを担保する
16. © 2026 Wantedly, Inc. ボトルネックを狙い撃ちするモデル改善を行う 過去スカウト受信数が少ないユーザーがランキング上位に来やすくなる 様にリランクで簡易的に実装 Before After 2位：ユーザー B スコア: 0.78 過去スカウト受信数：0 3位：ユーザー C スコア: 0.75 過去スカウト受信数：2 1位：ユーザー A スコア: 0.8 過去スカウト受信数：10 2位：ユーザー A スコア: 0.80 過去スカウト受信数：10 3位：ユーザー C スコア: 0.75 過去スカウト受信数：2 1位：ユーザー B スコア: 0.81 過去スカウト受信数：0
17. © 2026 Wantedly, Inc. ボトルネックを狙い撃ちするモデル改善を行う（詳細） : 元々のランキングのスコア : ユーザーが、リクルーターのランキング上位に出現した回数 : スコアブーストの最大値 : 減衰パラメーター : 過去スカウト受信数が閾値未満の離脱リスクユーザー : 低スコアのユーザーをブーストしないための閾値
18. © 2026 Wantedly, Inc. ABテスト結果 既存の指標の悪化を抑えつつ、ユーザー離脱率は改善する傾向が見え た 指標 結果 p-value ユーザー離脱率 - 4.3% 0.128 ガードレール指標1 - 3.35% 0.731 ガードレール指標2 + 2.48% 0.732 ガードレール指標3 +2.39% 0.652 ※ ユーザー離脱率以外はプラスが改善、マイナスが悪化
19. © 2026 Wantedly, Inc. ユーザー離脱率の事後分析 ユーザー離脱率について事後分析を行い、 過去スカウト受信数が少ないユーザーで効果が高い傾向を確認 指標 結果 p-value 全体 - 4.3% 0.128 過去スカウト受信 0 件 - 4.4% 0.200 過去スカウト受信 1-2 件 - 5.2% 0.359 過去スカウト受信 3 件以上 +1.5% 0.893
20. © 2026 Wantedly, Inc. リリース判断 • 離脱率の事後分析 ◦ 過去スカウト受信数が少ないユーザーで効果が高い傾向を確認 • ガードレールの事後分析 ： ◦ 検出された悪化は限定的な経路に由来し、全体への寄与は小さいと確認 → 期待リターンとダウンサイドを考慮してリリース 有意差は出なかったが、事後分析の結果をもとに関係者と協議して最終 的にリリースした
21. © 2026 Wantedly, Inc. まとめ 03
22. © 2026 Wantedly, Inc. まとめ • 推薦の事業貢献を、マッチ最大化以外にも広げることができた • 観察データで先行指標を洗い出し、 AB テストで効果検証するという 2 段構えで結果が出せた • 軽量なリランクで離脱率を抑制することができた • 綺麗な結果は出なかったが、事後分析を行って関係者と協議して、 最終的にリリースまで漕ぎ着けることができた